추론Inference · 인퍼런스
학습을 마친 AI 모델이 새 질문을 받아 답을 내는 일이에요. 우리가 AI를 '쓰는' 순간이에요.
쉽게 말하면
요리 학교에서 몇 년 배운 요리사(학습)가 손님 주문을 받아 요리를 내는 것(추론)과 같아요.
손님이 주문할 때마다 요리사가 새로 배우지는 않아요. 이미 배운 실력으로 요리할 뿐이에요.
ChatGPT에 질문하면 답이 나오는 그 순간이 추론이에요. 그래서 질문할 때마다 계산 비용이 들어요.
그림으로 정리하면
배우는 때와 쓰는 때
학습 · 요리 학교
- 딱 한 번, 아주 오래
- 엄청난 비용
- 모델이 바뀌어요
추론 · 손님 주문
- 질문할 때마다
- 한 번에 작은 비용
- 모델은 그대로예요
질문 하나에 일어나는 일
질문내가 보낸 글
조각내기토큰으로 자르기
모델 계산다음 조각을 하나씩
답조각을 이어 붙인 글
넣은 조각과 쓴 조각만큼 요금과 시간이 들어요.
실제로는
- AI 서비스 요금(토큰 요금)은 대부분 이 추론에 드는 계산값이에요.
- 모델이 클수록, 질문과 답이 길수록 추론이 느리고 비싸요.
- 같은 질문에도 매번 조금씩 다른 답이 나올 수 있어요(온도 설정).
왜 알아야 하나요
AI를 쓰는 비용과 속도를 이해하는 출발점이에요. 긴 문서를 통째로 넣으면 추론이 비싸지고 느려져요.
헷갈리기 쉬운 것
- 한국어 '추론'은 두 뜻으로 쓰여요. ① 모델을 돌려 답을 내는 일(inference) ② 단계를 밟아 따져 보는 생각(reasoning). '추론 모델'의 추론은 ②예요.
- 추론하는 동안 모델은 새로 배우지 않아요.