토크나이저Tokenizer
글을 토큰(조각)으로 자르고, 각 조각에 번호를 붙여 주는 '글 자르는 칼'이에요.
쉽게 말하면
피자를 자르는 칼을 떠올려 보세요. 어떤 칼은 8조각, 어떤 칼은 12조각으로 잘라요.
토크나이저는 글을 자르는 칼이에요. 모델마다 칼이 달라서, 같은 문장도 조각 수가 달라져요.
자른 조각마다 번호표를 붙여 줘야 AI가 숫자로 계산할 수 있어요.
그림으로 정리하면
토크나이저가 하는 일
글unbelievable
자르기un · believ · able
번호표403 · 12729 · 481
조각과 번호는 그림을 위한 예시예요.
칼이 다르면 조각 수도 달라요
모델 A의 칼
- '안녕하세요' → 2조각
- 자주 본 말을 크게 잘라요
모델 B의 칼
- '안녕하세요' → 5조각
- 작게 잘게 잘라요
실제로는
- 자주 나오는 글자 묶음은 한 조각으로, 드문 말은 여러 조각으로 잘라요.
- 모델과 토크나이저는 짝이에요. 다른 모델의 토크나이저로 센 토큰 수는 맞지 않아요.
- 한국어처럼 학습 자료가 상대적으로 적은 언어는 같은 뜻에 조각이 더 많이 드는 편이에요.
왜 알아야 하나요
같은 글이라도 모델에 따라 요금과 길이 한도가 다르게 계산되는 이유예요.
헷갈리기 쉬운 것
- 토큰 수를 글자 수로 어림하면 틀리기 쉬워요. 정확한 수는 그 모델의 토큰 세기 도구로 확인해요.
- 토크나이저가 바뀌면 같은 프롬프트의 비용도 바뀔 수 있어요.