환각Hallucination · 할루시네이션
AI가 사실이 아닌 내용을 사실처럼 자신 있게 지어내는 현상이에요.
쉽게 말하면
모르는 질문을 받은 친구가 '음… 그건 1987년에 김 박사가 발견했어!' 하고 그럴듯하게 지어내는 걸 떠올려 보세요.
LLM은 '다음에 올 그럴듯한 말'을 고르는 기계라서, 모를 때도 그럴듯한 말을 이어 써요.
그래서 없는 책 제목, 틀린 날짜, 존재하지 않는 법 조문이 진짜처럼 나올 수 있어요.
그림으로 정리하면
같은 질문, 다른 답
그냥 물었을 때
- '제66조에 따르면 40%입니다'
- 조문 번호와 숫자를 지어낼 수 있어요
- 자신 있는 말투
원문을 붙여 물었을 때
- '조례 원문에는 해당 항목이 없어요'
- 읽어 온 문장을 근거로 답해요
- 모르는 건 없다고 말해요
환각을 줄이는 세 가지
중요한 사실이 들어간 답
원문원문을 찾아 붙이기RAG · 검색 · MCP
지시모르면 모른다고 해근거 문장도 같이 보여 줘
확인사람이 원문 대조숫자·인용·법령은 꼭
실제로는
- 숫자, 인용, 출처, 법령, 사람 이름처럼 정확해야 하는 곳에서 특히 조심해야 해요.
- 원문을 찾아 붙여 주는 RAG·검색 도구·MCP를 쓰면 크게 줄일 수 있어요(그라운딩).
- '모르면 모른다고 말해', '근거 문장을 같이 보여 줘'라고 지시하는 것도 도움이 돼요.
왜 알아야 하나요
AI 답을 그대로 보고서·계약서·고객 안내에 쓰면 안 되는 가장 큰 이유예요. 확인은 사람이 해요.
헷갈리기 쉬운 것
- 말투가 자신 있다고 맞는 게 아니에요.
- 출처 링크를 줘도 그 링크가 실제로 그 내용을 말하는지 열어 봐야 해요.