다섯 살도 알 수 있게 · AI 보안
안전성 평가가 뭐예요?
AI 안전성 평가(safety eval)를, 문을 열기 전 정해진 위험 주문 세트로 미리 채점해 보는 맛 평가 테스트 이야기로 풀어봤어요.
문 열기 전엔, 어떤 요리를 내놓을지 몰라요.위험한 요리도 자신 있게 내놓을 수 있어요. 손님을 받기 전에 미리 알아야 해요.
창의적인 시험만으론 숫자로 비교할 수 없어요.위생 검사관의 불시 방문은 매번 새로운 방법을 찾아요 — 그래서 매번 같은 기준으로 재는 다른 시험이 필요해요.
손님 받기 전 맛 평가 테스트 = 정해진 위험 주문 세트로 미리 채점하는 일이에요.같은 위험 주문들을 똑같이 넣어 보고, 숫자로 점수를 매겨요.
정해진 위험 주문 세트매번 똑같은 문제예요
숫자로 채점82점처럼 비교 가능해요
반복해서 다시 채점새 버전이 나올 때마다요
기준 넘어야 오픈못 넘으면 문을 못 열어요
같은 세트를 같은 방식으로 채점해요.기준 점수를 넘으면 문을 열고, 못 넘으면 고칠 때까지 보류해요.
기준을 넘었다고 끝이 아니에요.시험지 밖의 새 쪽지는 여전히 통할 수 있어요. 레드팀은 새 약점을 찾고, 이 테스트는 정해진 세트로 반복 채점해요.
한 줄로
안전성 평가 = 문을 열기 전, 정해진 위험 주문 세트로 이 주방을 숫자로 미리 채점하는 맛 평가 테스트.
안전성 평가(Safety Eval)는 AI 모델을 배포하기 전, 표준화된 위험 행동 테스트셋으로 반복 채점해 수치로 비교하는 방법이에요. 레드팀이 사람이 창의적으로 새 약점을 찾는 것과 달리, 평가는 정해진 테스트셋을 매 버전마다 똑같이 돌려서 '이번 버전이 저번보다 안전한가'를 숫자로 답해요.
어른들은 이렇게 불러요
- 안전성 평가
Safety evaluation - 손님 받기 전 맛 평가 테스트. 이 분야 전체 소개는 여기에. → AI 보안이 뭐예요?
- AI 레드팀
AI red team - 위생 검사관의 불시 방문. 창의적으로 새 약점을 찾는 쪽은 여기서. → AI 레드팀이 뭐예요?
- 평가 (Evaluation)
Evaluation (eval) - 시험관의 채점표. AI 세계의 더 넓은 채점 이야기예요. → 평가가 뭐예요?
- 벤치마크
Benchmark - 매번 똑같이 쓰는 100개 문제. 안전성 평가가 쓰는 시험 세트가 바로 이거예요.
- 가드레일
Guardrail - 맛보기 검수대. 평가 점수가 낮으면 가드레일을 더 세워요. → 가드레일이 뭐예요?
- 할루시네이션
Hallucination - 모르는데 자신 있게 답하는 버릇. 맛 평가 테스트가 잡아내려는 문제 중 하나예요. → 할루시네이션이 뭐예요?
- 미세조정
Fine-tuning - 레시피를 다시 손보는 일. 점수가 낮으면 다시 손보고 또 채점해요. → 미세조정이 뭐예요?
- 사장님 최종 승인
The owner's final sign-off - 기준 넘은 뒤에도 남는 마지막 확인. 기준을 넘어도 위험한 행동엔 이게 더 필요해요. → 사장님 최종 승인이 뭐예요?
다음 이야기
사장님 최종 승인 →