휴먼 인 더 루프가 뭐예요?
human-in-the-loop 를, 앵무새가 준비한 것을 사람이 보고 도장을 찍은 뒤에야 밖으로 내보내는 이야기로 풀어봤어요.
앵무새가 환불 이메일을 손님에게 바로 보냈어요. 금액이 틀렸어요.0이 하나 더 붙었어요. 손님은 벌써 받았고, 앵무새는 자기가 틀린 줄 몰라요.
앵무새 답은 초안이에요. 확인 없이 밖으로 나가면 실수가 곧 사고예요.앵무새 답은 초안이라고 했죠. 초안이 집 안에 있으면 고치면 되지만, 밖으로 나간 초안은 되돌리기 어려워요.
앵무새가 준비하고, 사람이 보고 도장을 찍은 뒤에야 밖으로 나가요.사람은 도장을 찍거나, 고치거나, 반려해요. 반려된 건 앵무새에게 돌아가요. 앵무새는 그대로 빠르고, 나가는 건 사람이 본 것뿐이에요.
초안 → 검토(도장 · 수정 · 반려) → 발송. 반려는 앵무새에게 다시.자신 없을 땐 앵무새가 먼저 "이건 사람이 봐 주세요" 하고 물어요. 사람이 고친 건 모아 두면 다음 특훈의 예시가 돼요.
도장은 보고 찍어야 울타리예요. 사람이 도장만 찍는 습관이 들면 자동 승인이에요.그래서 위험한 것만 사람에게 보내요 — 사람이 다 보면 느리고, 느리면 안 보게 돼요. 사람 앞의 자동 검사는 울타리에서, 심부름을 스스로 짜는 앵무새에게 어디에 도장을 둘지는 에이전트에서.
휴먼 인 더 루프 = 앵무새가 준비하고, 사람이 보고 도장을 찍은 뒤에야 밖으로 나가는 것. 되돌리기 어려운 일(보내기·결제·삭제)에 두고, 자신 없으면 앵무새가 먼저 묻고, 위험한 것만 사람에게 — 도장만 찍는 습관은 울타리가 아니에요.
Human-in-the-loop (HITL). 모델 출력이 실행되기 전에 사람이 승인·수정·반려하는 단계를 워크플로에 넣는 설계예요. 되돌리기 어려운 행동(발송·결제·삭제)에 승인 단계를 두고, 신뢰도 임계값 아래면 에스컬레이션하며, 승인·수정 기록은 감사 로그와 파인튜닝 데이터가 돼요. 자동화 수준을 위험에 따라 나누고, 승인이 형식적(rubber-stamp)이 되지 않도록 검토 부담을 줄이는 게 핵심이에요.
어른들은 이렇게 불러요
- 휴먼 인 더 루프
Human-in-the-loop - 마지막은 사람이. 앵무새가 준비하고, 사람이 보고 도장 찍은 뒤에 나가요.
- 승인 단계
Approval step - 도장 찍는 자리. 보내기·결제·삭제 앞에 둬요. 되돌리기 어려울수록 꼭.
- 신뢰도 임계값
Confidence threshold - 앵무새가 먼저 묻는 선. 자신이 이만큼 없으면 사람에게 — 이건 봐 주세요.
- 에스컬레이션
Escalation - 사람에게 올리기. 앵무새가 못 정하는 건 사람에게, 사람이 못 정하는 건 윗사람에게.
- 감사 로그
Audit log - 누가 언제 도장 찍었는지 적은 공책. 사고가 나면 여기서 되짚어요. → 보안 마을의 일지
- 자동화 수준
Level of automation - 어디까지 앵무새 혼자. 인사 이메일은 혼자, 환불은 도장 뒤에, 삭제는 사람이 직접.
- 가드레일
Guardrail - 사람 앞의 자동 울타리. 기계가 먼저 거르고, 남은 걸 사람이 봐요. → 울타리
- 에이전트
Agent - 심부름을 스스로 짜는 앵무새. 심부름 중간중간 어디에 도장을 둘지 정해요. → 에이전트