평가가 뭐예요?
LLM 평가(eval)를, 시험관이 같은 문제집으로 앵무새마다 채점표를 매기는 이야기로 풀어봤어요.
앵무새를 바꿨어요. 좋아진 건지 나빠진 건지 아무도 몰라요.새 앵무새, 새 쪽지, 새 특훈 — 뭘 바꾸든 같은 질문이 나와요. 나아졌어요? 느낌으로는 답이 안 나와요.
답이 매번 조금 다르고, 손님마다 기준이 달라요.엉뚱함 다이얼 때문에 같은 질문도 답이 흔들려요. 게다가 좋다·나쁘다의 기준이 사람마다 달라요. 그래서 한두 번 보고는 비교가 안 돼요.
평가는 시험관이 같은 문제집으로 앵무새마다 채점표를 매기는 거예요.문제집은 우리 일에서 뽑은 100문항이에요. 같은 문제, 같은 채점 — 그래야 숫자끼리 비교가 돼요.
채점표가 있으면 느낌이 아니라 숫자로 비교해요.정답이 하나인 문항은 기계가 맞다·틀리다를 매겨요. 요약처럼 정답이 없는 문항은 채점관 앵무새나 사람이 점수를 줘요. 다 더하면 총점이에요.
문제집만 잘 푸는 앵무새를 조심하고, 세상 시험과 우리 시험은 다르다는 걸 기억해요.문제집이 새어 나가면 앵무새가 답을 외워 버려요(벤치마크 과적합). 세상 시험 1등이 우리 일 1등은 아니에요. 특훈을 하거나 앵무새를 고를 때, 그리고 앵무새를 돌보는 내내 우리 문제집으로 다시 시험 봐요.
평가 = 시험관이 같은 문제집으로 앵무새마다 채점표를 매기는 것. 정답이 있으면 기계가, 없으면 채점관 앵무새나 사람이 채점하고, 바꿀 때마다 다시 시험 봐요. 문제집만 잘 푸는 앵무새는 조심해요.
Evaluation (eval). 모델·프롬프트·시스템의 품질을 고정된 평가 세트로 반복 측정하는 일이에요. 정답이 있는 문항은 정확도·합격률로 자동 채점하고, 열린 답은 LLM-as-judge 나 사람 평가로 점수를 매겨요. 변경 때마다 다시 돌리는 회귀 테스트가 핵심이고, 공개 벤치마크는 학습 데이터 오염과 과적합 때문에 우리 업무 성능을 대신하지 못해요.
어른들은 이렇게 불러요
- 평가
Eval - 시험관의 채점표. 느낌 대신 숫자로 비교해요. 바꿀 때마다 다시 봐요.
- 평가 세트
Evaluation set - 우리 문제집. 우리 일에서 뽑은 문항과 기대 답. 100문항이면 시작으로 충분해요.
- 벤치마크
Benchmark - 세상 시험. 모두가 보는 공개 문제집. 세상 시험 1등이 우리 일 1등은 아니에요.
- 앵무새 채점관
LLM-as-judge - 답을 매기는 또 다른 앵무새. 정답이 없는 문항(요약·말투)에 점수를 줘요. 채점관도 앵무새라 가끔 틀려요.
- 정확도 · 합격률
Accuracy · pass rate - 맞은 문항 수. 정답이 있는 문항은 기계가 세요. 100문항 중 92 맞으면 92.
- 회귀 테스트
Regression test - 바꿀 때마다 다시 시험. 점수가 떨어지면 무언가 나빠진 거예요 — 되돌려요.
- 사람 평가
Human evaluation - 사람이 직접 채점. 제일 정확하지만 느리고 비싸요. 채점관 앵무새가 잘 매기는지 확인할 때 써요.
- 라우팅
Routing - 어느 앵무새에게 시킬까. 채점표를 보고 문제마다 앵무새를 골라요. → 어느 앵무새에게 시킬까