어텐션Attention · 주의 집중
각 단어가 문장 속 다른 어떤 단어에 더 주목해야 하는지 점수를 매기는 방법이에요. 트랜스포머의 핵심이에요.
쉽게 말하면
'철수는 사과를 먹었다. 그것은 달았다.' 여기서 '그것'이 무엇인지 알려면 '사과'를 봐야 해요.
어텐션은 '그것'이 문장 속 다른 단어들을 둘러보고, 가장 관련 있는 '사과'에 높은 점수를 주는 방법이에요.
모든 단어가 이렇게 서로 점수를 매겨서, 문장 전체의 뜻을 함께 이해해요.
그림으로 정리하면
'그것'이 주목하는 단어
사과높음
먹었다중간
철수낮음
'철수는 사과를 먹었다. 그것은 달았다.' — 점수는 그림을 위한 예시예요.
모든 단어가 서로 점수를 매겨요
| 이 단어가 → | 철수 | 사과 | 먹었다 |
|---|---|---|---|
| 그것은 | 낮음 | 높음 | 중간 |
| 달았다 | 낮음 | 높음 | 낮음 |
| 먹었다 | 높음 | 높음 | — |
실제로는 모든 단어 쌍마다 숫자 점수를 계산해요. 표의 높낮이는 예시예요.
실제로는
- 단어마다 다른 모든 단어와의 관련 점수를 계산해서 정보를 섞어요.
- 글이 두 배로 길어지면 계산은 대략 네 배가 돼서, 긴 글일수록 비싸요.
- 여러 관점의 어텐션을 동시에 쓰는 것을 멀티헤드 어텐션이라고 해요.
왜 알아야 하나요
긴 문서를 넣으면 왜 느려지고 비싸지는지, 긴 글 한가운데 묻힌 내용을 왜 가끔 놓치는지 이해할 수 있어요.
헷갈리기 쉬운 것
- 어텐션 점수가 높다고 AI가 사람처럼 '이해'했다는 뜻은 아니에요.
- 긴 글을 넣을 수 있다고 모든 부분을 똑같이 잘 보는 건 아니에요.