다섯 살도 알 수 있게 · AI 보안
사람 승인 단계가 뭐예요?
사람 승인 단계를, 위험한 일을 실행하기 전 견습생이 사장님의 도장을 기다리는 이야기로 풀어봤어요.
견습생이 되돌리기 어려운 일을 혼자 하려고 해요.결제나 삭제처럼요. 사장님은 아직 그 사실을 몰라요.
견습생은 스스로 멈추지 않아요.자신 있게 해낼 뿐, 그게 되돌리기 어려운 일인지는 스스로 가리지 못해요.
사장님 최종 승인 = 위험한 행동을 실행하기 전, 사람이 마지막으로 확인하는 것이에요.견습생은 바로 하지 않고 멈춰서 기다려요. 사장님이 보고 나서야 도장이 찍혀요.
실행 전에 멈추기해 버린 뒤가 아니라 전에요
되돌리기 어려운 일만결제·삭제 같은 일요
승인해야 진행도장이 찍혀야 움직여요
거절하면 그대로 멈춤사장님 말이 마지막이에요
요청 → 대기 → 확인 → 승인 또는 거절이에요.애매하거나 되돌리기 어려운 요청만 이 줄을 거쳐요. 검색이나 요약 같은 건 그냥 지나가요.
매번 사장님을 기다리긴 느려요.그래서 언제·어떤 일에 이 승인 단계를 세울지는, 주방 규칙판 전체가 미리 정해 둬요.
한 줄로
사람 승인 단계 = 견습생이 되돌리기 어려운 일을 하기 전, 사장님이 마지막으로 확인하고 도장을 찍는 것.
사람 승인 단계(Human-in-the-loop approval)는 자율 에이전트가 되돌리기 어렵거나 민감한 행동(결제, 삭제, 외부 전송 등)을 실행하기 직전에, 사람의 명시적 승인을 받도록 멈추는 안전장치예요. '권한을 과도하게 많이 쥔 상태' 자체를 고치는 게 아니라, 그 권한이 실제로 쓰이는 순간에 사람을 끼워 넣어 위험을 줄이는 구체적인 장치예요.
어른들은 이렇게 불러요
- 사람 승인 단계
Human approval gate - 사장님 최종 승인. 이 분야 전체 소개는 여기에. → AI 보안이 뭐예요?
- 자율 에이전트
Autonomous agent - 스스로 심부름하는 견습생. 너무 많은 열쇠를 쥐면 이 승인 단계가 더 중요해져요. → 너무 많은 열쇠를 받은 견습생
- 도구 호출
Tool calling - 서랍에서 도구를 꺼내 쓰는 일. 견습생이 결제·삭제를 실행하는 바로 그 동작이에요. → 도구 호출이 뭐예요?
- 최소 권한
Least privilege - 필요한 열쇠만 쥐어 주는 것. 승인 단계보다 먼저, 서랍 자체를 잠가 두는 쪽이에요. → 열쇠 이야기가 뭐예요?
- 주방 규칙판
The kitchen rules board - 언제 이 승인 단계를 세울지 정하는 전체 체계. 이 승인 한 번을 포함하는 더 큰 규칙 체계예요. → 주방 규칙판이 뭐예요?
- 되돌릴 수 없는 행동
Irreversible action - 결제나 삭제처럼 무를 수 없는 일. 이 승인 단계가 특히 지키려는 일이에요.
- 비상벨
The incident bell - 승인을 건너뛴 채 일이 터졌을 때 누르는 벨. 승인 단계가 없었다면 다음에 올 장면이에요.
- 가드레일
Guardrail - 맛보기 검수대. 승인 단계보다 앞서 말과 글을 거르는 쪽이에요. → 가드레일이 뭐예요?
다음 이야기
주방 규칙판 →