데이터셋Dataset
AI를 가르치거나 시험하려고 모아 둔 예시 묶음이에요.
쉽게 말하면
받아쓰기 연습장과 같아요. 문제와 정답이 잔뜩 적혀 있어서 그걸 보며 연습해요.
AI도 연습장(학습용 데이터)으로 배우고, 처음 보는 시험지(평가용 데이터)로 실력을 확인해요.
연습장에 틀린 답이 많거나 한쪽 문제만 있으면, AI도 그대로 틀리게 배워요.
그림으로 정리하면
예시를 세 묶음으로 나눠요
모은 예시 10,000개
80%학습용이걸 보고 배워요
10%검증용배우는 중간에 점검해요
10%평가용마지막 시험 · 미리 보면 안 돼요
비율은 흔히 쓰는 예시예요.
좋은 연습장, 나쁜 연습장
나쁜 데이터
- 정답이 틀리게 적혀 있어요
- 한쪽 예시만 잔뜩 있어요
- 개인정보가 섞여 있어요
좋은 데이터
- 정답이 정확해요
- 여러 경우가 고르게 있어요
- 쓰면 안 되는 정보는 지웠어요
실제로는
- 보통 학습용·검증용·평가용으로 나눠요. 시험 문제를 미리 보면 실력을 잴 수 없으니까요.
- 언어 모델은 책·웹 문서·코드 같은 엄청난 양의 글로 배워요.
- 데이터의 질(정확성·다양성)이 양만큼 중요해요.
왜 알아야 하나요
내 업무에 AI를 쓸 때도 '좋은 예시'를 몇 개 주느냐에 따라 결과가 달라져요. 프롬프트에 넣는 예시(퓨샷)도 작은 데이터셋이에요.
헷갈리기 쉬운 것
- 데이터에 개인정보나 저작권 있는 글이 섞이면 문제가 될 수 있어요.
- 많기만 하고 엉망인 데이터보다, 적어도 정확한 데이터가 나을 때가 많아요.