사전학습Pre-training
LLM이 엄청난 양의 글을 읽으며 '다음 말 맞히기'를 연습해 언어와 지식의 기초를 쌓는 첫 학습 단계예요.
쉽게 말하면
아기가 말을 배울 때, 문법책보다 먼저 주변 말을 엄청나게 많이 들어요.
사전학습도 같아요. 책·웹 글·코드를 끝없이 읽으며 '이 다음엔 무슨 말이 올까'를 맞히는 연습을 해요.
이 연습만으로 문법, 상식, 글쓰기 습관이 몸에 배요. 하지만 아직 '질문에 친절히 답하는 법'은 몰라요.
그림으로 정리하면
LLM 교육 과정
- 사전학습 · 엄청 읽기다음 말 맞히기로 언어와 상식을 익혀요
- 파인튜닝 · 말 잘 듣기질문-답 예시로 비서처럼 답하는 법
- RLHF · 취향 맞추기사람이 고른 더 나은 답 쪽으로
드는 비용으로 보면
사전학습대부분
파인튜닝 · RLHF일부
대략적인 비교예요. 모델과 회사마다 달라요.
실제로는
- LLM을 만드는 비용과 시간의 대부분이 이 단계에 들어요.
- 정답 라벨 없이 글 자체에서 문제를 만들어 배우기 때문에 자기지도학습이라고 해요.
- 사전학습이 끝난 모델을 '베이스 모델'이라고 하고, 그 위에 파인튜닝·RLHF로 다듬어요.
왜 알아야 하나요
AI가 왜 일반 상식은 많이 아는데 우리 회사 사정은 모르는지 알 수 있어요. 사전학습에 쓴 글에 없었으니까요.
헷갈리기 쉬운 것
- 사전학습한 내용을 AI가 정확히 기억하는 건 아니에요. 패턴으로 남아 있어서 틀리게 떠올릴 수 있어요.
- 사전학습이 끝난 날짜 뒤의 일은 몰라요(지식 컷오프).