할루시네이션이 뭐예요?
할루시네이션(AI 환각)을 모르는 것도 자신 있게 그럴듯하게 이어 붙이는 앵무새 이야기로 풀어봤어요.
손님이 논문 저자를 물으니, 앵무새가 이름과 연도와 제목까지 말해요.아주 자신 있게, 아주 그럴듯하게요. 그런데 그런 논문은 세상에 없어요.
책에서 논문 얘기 뒤엔 늘 이름과 연도가 이어졌어요. 그 모양대로 이어 붙여요.'모르겠어요'라는 콩은 골라 본 적이 거의 없어요. 그래서 맨 아래 후보예요. 앵무새는 뜻이 아니라 모양을 이어요.
할루시네이션은 모르는 것도 그럴듯하게 이어 붙이는 앵무새예요.책 산더미 앵무새는 원래 이렇게 태어났어요. 이름·숫자·날짜는 특히 의심하고, 사서가 찾아온 진짜 페이지를 쟁반에 올려 주면 훨씬 덜 틀려요.
줄이는 방법은 여러 가지예요. 사서의 페이지가 제일 세고, 다이얼은 엉뚱함만 줄여요.쪽지 한 줄은 조금 돕고, 짧은 특훈은 말버릇만 고쳐요. 다이얼을 낮춰도 자신 있는 틀림은 그대로예요 — 그건 엉뚱함이 아니니까요.
완전히 없앨 순 없어요. 이어 붙이는 새의 본성이니까요.그래서 답은 초안이고 확인은 사람이 해요. 돈이나 약처럼 위험한 일 앞엔 울타리를 세워요 — 도둑이 기른 앵무새 이야기는 보안 쪽에 있어요.
할루시네이션 = 모르는 것도 자신 있게, 그럴듯하게 이어 붙이는 앵무새. 이름·숫자·날짜를 의심하고, 출처를 달라고 하고, 사서의 진짜 페이지를 쟁반에 올려요. 완전히는 못 없애요 — 답은 초안, 확인은 사람.
Hallucination. 언어 모델이 학습 분포상 그럴듯한 다음 토큰을 이어 가느라 사실이 아닌 내용을 생성하는 현상이에요. 프롬프트 지시·RAG(검색 근거 주입)·파인튜닝·낮은 temperature 로 줄이지만 제거되진 않아요. 출처 인용, 사실성 평가, 캘리브레이션(자신감과 정확도 맞추기), 고위험 작업의 가드레일이 함께 쓰여요.
어른들은 이렇게 불러요
- 할루시네이션
Hallucination - 그럴듯한 거짓말. 모르는 것도 이어 붙여서 생겨요. 틀린 게 아니라 '지어낸' 거예요.
- 근거
Grounding - 진짜 글을 보고 말하기. 사서가 찾아온 페이지를 쟁반에 올려 주면 그걸 보고 이어요.
- RAG
Retrieval-augmented generation - 사서 + 앵무새. 물어볼 때마다 사서가 먼저 찾고, 앵무새가 그 페이지로 답해요. 새 지식을 넣는 제일 쉬운 길이에요.
- 출처 인용
Source citation - 어디서 봤는지 적기. 출처가 붙은 답은 사람이 확인할 수 있어요. 출처가 없으면 초안이에요.
- 온도
Temperature - 엉뚱함 다이얼. 낮추면 뻔한 콩만 골라요. 엉뚱함은 줄지만 자신 있는 틀림은 안 줄어요.
- 사실성 평가
Factuality evaluation - 답을 정답표와 맞춰 보기. 시험관이 진짜 답이 있는 질문 수백 개로 얼마나 지어내는지 재요.
- 자신감 vs 정확도
Calibration - 확신하는 만큼 맞나. 잘 맞춘 앵무새는 모를 때 작게 말해요. 그럴듯 앵무새는 늘 크게 말해요.
- 프롬프트
Prompt - 조련 쪽지. 모르면 모른다고 해 — 이 한 줄이 조금 도와요. → 앵무새에게 주는 조련 쪽지