다음 토큰 예측Next-token Prediction
지금까지의 글을 보고 다음에 올 조각(토큰)이 무엇일지 확률로 맞히는 것. LLM이 글을 쓰는 원리예요.
쉽게 말하면
'오늘 날씨가 정말 ___' 빈칸에 들어갈 말을 맞혀 보세요. '좋네요', '덥다'가 떠오르죠?
LLM은 이 빈칸 맞히기를 엄청나게 잘해요. 후보마다 확률을 매기고 하나를 골라요.
고른 말을 붙이고 다시 다음 빈칸을 맞혀요. 이걸 반복하면 긴 답이 완성돼요.
그림으로 정리하면
'오늘 날씨가 정말 ___' 다음 말 후보
좋네요45%
맑아요30%
덥다15%
기린0.01%
확률은 그림을 위한 예시예요.
한 조각씩 붙여 가며 써요
- 후보에 확률 매기기좋네요 45%, 맑아요 30% …
- 하나 고르기'좋네요'
- 붙이고 다시 맞히기'오늘 날씨가 정말 좋네요' 다음은?
- 끝 표시가 나올 때까지 반복답 완성
실제로는
- 사전학습은 바로 이 다음 토큰 맞히기 연습이에요.
- 가장 높은 확률만 고를지, 조금 낮은 것도 고를지는 온도 설정으로 정해요.
- 다음 말을 '그럴듯하게' 고를 뿐 사실을 확인하는 건 아니라서 환각이 생길 수 있어요.
왜 알아야 하나요
AI 답이 매번 조금씩 다른 이유, 자신 있게 틀리는 이유가 모두 여기서 나와요.
헷갈리기 쉬운 것
- 한 조각씩 쓰기 때문에, 앞에서 틀리면 그 틀린 말을 바탕으로 계속 이어 써요.
- '다음 말 맞히기'라고 단순해 보여도, 잘 맞히려면 문맥과 지식을 많이 써야 해서 능력이 커져요.