토큰Token
AI가 글을 읽고 쓸 때 쓰는 가장 작은 조각이에요. 요금과 길이 제한도 토큰 개수로 세요.
쉽게 말하면
AI는 글을 글자 그대로 읽지 않고, 레고 블록처럼 작은 조각으로 잘라서 읽어요. 그 조각이 토큰이에요.
영어 'playing'은 'play' + 'ing' 두 조각이 될 수 있고, 한국어 '안녕하세요'도 몇 조각으로 쪼개져요.
AI는 조각을 하나씩 이어 붙이며 답을 써요. 그래서 요금도 '조각 몇 개 썼나'로 계산해요.
그림으로 정리하면
글이 토큰이 되는 길
문장I am playing
조각내기I · am · play · ing
번호로 바꾸기40 · 716 · 1708 · 278
조각과 번호는 그림을 위한 예시예요. 실제로는 모델마다 달라요.
토큰은 두 번 세요
입력 토큰
- 내가 넣은 질문·문서·대화 기록
- 보통 더 싸요
- 긴 문서를 붙이면 확 늘어요
출력 토큰
- AI가 쓴 답
- 보통 더 비싸요
- '짧게 답해 줘'로 줄일 수 있어요
실제로는
- 영어는 대략 단어 하나가 1~2토큰이고, 한국어는 같은 뜻이라도 토큰이 더 드는 편이에요.
- 질문(입력)과 답(출력) 토큰을 따로 세고, 보통 출력 토큰이 더 비싸요.
- 한 번에 다룰 수 있는 토큰 수의 한도가 컨텍스트 윈도우예요.
왜 알아야 하나요
긴 문서를 통째로 넣으면 왜 비싸고 느린지, 왜 '너무 길어서 다 못 읽는다'는 말이 나오는지 알 수 있어요.
헷갈리기 쉬운 것
- 토큰 1개 ≠ 글자 1개 ≠ 단어 1개예요. 모델마다 자르는 방법(토크나이저)도 달라요.
- 같은 글도 모델이 바뀌면 토큰 수가 달라질 수 있어요.