파라미터Parameter · 매개변수
모델 안에 들어 있는, 학습으로 정해진 숫자들이에요. 그 개수가 모델 크기를 나타내요.
쉽게 말하면
손잡이가 수십억 개 달린 커다란 음향 믹서를 떠올려 보세요. 손잡이를 어디에 맞추느냐에 따라 소리가 달라져요.
학습은 이 손잡이들을 하나하나 '좋은 소리'가 나도록 맞추는 일이에요. 그 손잡이 하나하나가 파라미터예요.
손잡이가 많을수록 섬세한 소리를 낼 수 있지만, 믹서가 크고 무거워져요.
그림으로 정리하면
파라미터 수로 보는 모델 크기
작은 모델 · 폰·노트북에서도약 10억 개
중간 모델 · 좋은 PC 한 대약 100억 개
큰 모델 · 데이터센터수천억 개 이상
대략적인 예예요. 큰 상용 모델은 정확한 수를 공개하지 않는 경우가 많아요.
'파라미터'의 두 뜻
모델 안의 숫자
- 학습이 정해요
- 수십억~수천억 개
- 쓰는 사람은 못 바꿔요
요청할 때 넣는 설정값
- 내가 정해요
- temperature, 최대 길이 같은 몇 개
- 요청마다 바꿀 수 있어요
실제로는
- '70B 모델'은 파라미터가 약 700억(70 billion) 개라는 뜻이에요.
- 파라미터가 많을수록 대체로 똑똑하지만, 메모리와 계산이 많이 들어 느리고 비싸요.
- API의 temperature 같은 설정값도 '파라미터'라고 부르지만, 그건 모델 안의 숫자가 아니라 쓰는 사람이 정하는 옵션이에요.
왜 알아야 하나요
내 컴퓨터에서 돌릴 수 있는 모델인지(로컬 모델) 가늠할 수 있어요. 파라미터가 많으면 큰 메모리가 필요해요.
헷갈리기 쉬운 것
- 파라미터 수가 많다고 늘 더 좋은 건 아니에요. 데이터와 학습 방법도 중요해요.
- '파라미터'는 두 뜻 — 모델 안의 숫자 / 요청할 때 넣는 설정값 — 으로 쓰여요.