05. 환각과 한계

LLM은 때때로 그럴듯하지만 틀린 내용을 자신 있게 지어낸다. 이를 환각(Hallucination) 이라 한다. 이건 버그가 아니라 동작 원리에서 비롯되는 본질적 특성이다.

왜 환각이 생기나

LLM은 "사실을 조회"하는 게 아니라 "그럴듯한 다음 말"을 생성한다(02 참고).

• 모르는 것도 빈칸을 자연스럽게 메우려 한다. "모른다"보다 "그럴듯한 말"의 확률이 높게 학습됐을 수 있기 때문.
• 존재하지 않는 논문·판례·함수·URL을 형식만 맞게 만들어내곤 한다.
• 자신감과 정확도는 별개다. 확신에 찬 말투여도 틀릴 수 있다.

어떤 상황에서 특히 위험한가

상황	위험
최신 사건	학습 이후라 모름 → 지어냄
구체적 수치·날짜·인용	그럴듯하게 조작되기 쉬움
전문·법률·의료	틀리면 피해가 큼
존재 여부 질문	없는 것을 "있다"고 만들기도

환각을 줄이는 현실적 방법

방법	설명
근거 제공(RAG)	믿을 자료를 함께 주고 "이 안에서만 답하라" → 07. RAG
출처 요구	"출처를 밝혀라", "모르면 모른다고 하라"고 지시
검증 습관	수치·인용·코드는 사람이 직접 확인. AI 답을 1차 초안으로만
낮은 temperature	사실형 작업은 보수적으로
교차 확인	중요한 건 다른 출처로 재확인

:::tip 핵심 태도 AI는 "빠른 초안 생성기"로 쓰고, 사실은 사람이 검증하는 게 안전하다. (→ AI 취약점 진단 실습에서도 "AI 답을 그대로 믿지 말 것"을 강조한다.) :::

다른 한계들

• 최신성: 학습 시점 이후 모름
• 일관성: 같은 질문에 매번 조금씩 다른 답
• 맥락 한계: 한 번에 볼 수 있는 분량(컨텍스트 윈도)에 제한
• 편향: 학습 데이터의 편향을 그대로 반영할 수 있음

정리

• 환각은 "조회가 아니라 생성"이라는 원리에서 나온다.
• 근거 제공 + 사람 검증이 가장 확실한 대응이다.
• 다음 파트부터 실제로 잘 쓰는 법(프롬프트·RAG)을 본다. → 06. 프롬프트 기초