추론이 뭐예요?
추론 모델(reasoning, chain of thought)을, 답하기 전에 혼자 중얼거릴 시간을 받은 앵무새 이야기로 풀어봤어요.
앵무새가 수학 문제를 바로 답해요. 틀렸어요.곱하기는 했는데 빼기를 빼먹었어요. 답을 먼저 말해 버리면 자주 이래요.
앵무새는 콩을 하나씩 이어 붙여요. 답 콩을 첫 콩에 놓으면 계산할 자리가 없어요.앞 콩이 뒤 콩을 정해요. 중간 걸음을 콩으로 안 적으면 그 걸음은 없는 거예요 — 머릿속 계산은 없어요.
추론은 답하기 전에 혼자 중얼거릴 시간을 주는 거예요.중간 걸음을 콩으로 적어 두면, 그 콩을 보고 다음 콩을 골라요. 그래서 다음 콩이 좋아져요.
바로 답하면 콩 3개, 중얼거리면 콩 11개. 느리지만 맞아요.생각 콩도 콩이라 값과 시간이 들어요. 그래서 쉬운 질문엔 안 켜고, 어려운 문제에만 켜요. 생각 콩을 얼마나 쓸지 정하는 게 추론 예산이에요.
중얼거림이 맞는 생각이라는 보장은 없어요. 그럴듯한 생각도 이어 붙이기예요.첫 걸음이 틀리면 확인 걸음도 틀려요 — 그럴듯 앵무새가 생각까지 그럴듯하게 해요. 그리고 생각 콩만큼 답이 느려지고 콩 값이 들어요.
추론 = 답하기 전에 앵무새에게 혼자 중얼거릴 시간을 주는 것. 중간 걸음을 콩으로 적으면 다음 콩이 좋아져요. 생각 콩은 값과 시간이 드니 어려운 문제에만, 그리고 답은 여전히 초안이에요.
Reasoning / chain of thought. 최종 답 앞에 중간 추론 토큰을 먼저 생성하게 해서 정확도를 높이는 방식이에요. 프롬프트에 '단계별로 생각해'라고 쓰는 것부터, 사고 토큰을 따로 생성하도록 학습된 추론 모델까지 있어요. 사고 토큰은 지연 시간과 비용을 늘리므로 추론 예산(thinking budget)으로 양을 조절하고, 사고 과정이 옳다는 보장은 없어서 결과 검증은 여전히 필요해요.
어른들은 이렇게 불러요
- 추론 모델
Reasoning model - 중얼거리도록 훈련된 앵무새. 답 콩 앞에 생각 콩을 먼저 놓는 습관이 몸에 배었어요.
- 생각의 사슬
Chain of thought - 중얼거림 한 줄 한 줄. '단계별로 생각해'라고 쪽지에 쓰면 보통 앵무새도 해요.
- 사고 토큰
Thinking tokens - 생각 콩. 답 콩보다 많아요. 콩이라서 값도 시간도 들어요.
- 추론 예산
Thinking budget - 중얼거려도 되는 콩 수. 쉬운 질문엔 0, 어려운 문제엔 많이. 조련사가 정해요.
- 지연 시간
Latency - 답이 나오기까지 기다리는 시간. 생각 콩만큼 길어져요. → 앵무새가 답하는 값과 시간
- 비용
Cost - 생각 콩 값. 보이지 않는 콩에도 값을 매겨요. → 콩 값
- 자기 검증
Self-verification - 중얼거리다 다시 확인 ✓. 맞을 확률이 올라가요. 보장은 아니에요 — 첫 걸음이 틀리면 확인도 틀려요.
- 할루시네이션
Hallucination - 그럴듯한 중얼거림. 생각도 이어 붙이기라 틀릴 수 있어요. → 그럴듯 앵무새