트랜스포머Transformer
문장 속 모든 단어가 서로를 한꺼번에 살펴보게 만든 신경망 구조예요. 거의 모든 LLM의 뼈대예요.
쉽게 말하면
옛날 방식은 문장을 한 단어씩 차례로 읽어서, 긴 문장의 앞부분을 잘 잊어버렸어요. 줄 서서 귓속말 전달하기처럼요.
트랜스포머는 모든 단어를 한 테이블에 앉혀 놓고, 서로 누구에게 주목해야 하는지 한꺼번에 살펴봐요(어텐션).
그래서 긴 글에서도 '그것'이 무엇을 가리키는지 잘 찾아요. 한꺼번에 계산하니 GPU로 빠르게 배울 수도 있어요.
그림으로 정리하면
줄 서서 전달하기 vs 한 테이블에 앉기
예전 방식 · 줄 서서 전달
- 한 단어씩 차례로 읽어요
- 앞부분을 잘 잊어요
- 느리게 배워요
트랜스포머 · 한 테이블
- 모든 단어를 한꺼번에 봐요
- 멀리 있는 단어도 이어요
- GPU로 빠르게 배워요
트랜스포머 안에서 일어나는 일
토큰글을 조각으로
임베딩조각을 숫자 묶음으로
어텐션 × 여러 층서로 보고 뜻을 섞기
다음 조각 확률가장 그럴듯한 말
실제로는
- 2017년 구글 연구진의 논문 「Attention Is All You Need」에서 처음 나왔어요.
- GPT의 'T', BERT의 'T'가 모두 트랜스포머예요.
- 글뿐 아니라 그림·소리 모델에도 널리 쓰여요.
왜 알아야 하나요
LLM이 왜 컨텍스트 윈도우 안의 글을 한꺼번에 보고 답하는지, 왜 글이 길수록 계산이 많아지는지 이해하는 열쇠예요.
헷갈리기 쉬운 것
- 영화 속 변신 로봇과는 관계없어요.
- 트랜스포머는 구조 이름이고, GPT·Claude는 그 구조로 만든 모델 이름이에요.