다섯 살도 알 수 있게 · AI 보안
과잉 에이전시가 뭐예요?
과잉 에이전시를, 견습생에게 칼서랍을 통째로 열어주고 승인 없이도 뭐든 꺼내 쓰게 한 이야기로 풀어봤어요.
견습생에게 서랍을 통째로 열어줬어요.심부름마다 하나씩 허락받던 걸, 한 번에 넘겨버렸어요.
권한이 넓을수록, 속았을 때 할 수 있는 일도 많아져요.견습생도 몰래 낀 쪽지와 진짜 부탁을 구분하지 못해요.
과잉 에이전시는 필요 이상으로 넓은 권한을 준 상태예요.못 쓰게 막아둔 도구가 거의 없어요.
꼭 필요한 도구만 꺼내기서랍은 기본적으로 잠겨 있어요
중요한 일은 한 번 더 확인받기사람이 한 번 더 들여다봐요
심부름마다 기록 남기기무엇을 꺼냈는지 나중에도 알 수 있어요
위험한 도구는 따로 잠그기전화·결제 같은 도구는 더 조심해요
적절한 권한과 과잉 에이전시는 이렇게 달라요.도구 목록이 길어질수록, 지켜봐야 할 곳도 늘어나요.
권한 설계는 따로 있고, 과잉 에이전시는 그걸 넘어선 상태예요.넓은 권한은 몰래 낀 쪽지에게도 넓은 힘을 줘버려요.
한 줄로
과잉 에이전시 = 견습생에게 필요한 것보다 훨씬 넓은 권한과 자동 승인을 줘버린 상태.
과잉 에이전시(Excessive Agency)는 AI 에이전트가 수행하는 작업 범위를 넘어서는 권한, 도구 접근, 또는 승인 절차를 가진 상태를 말해요. 에이전트는 몰래 낀 지시와 진짜 지시를 글자만 보고 구분하지 못하기 때문에, 권한이 넓을수록 속았을 때 입는 피해도 커져요.
어른들은 이렇게 불러요
- 과잉 에이전시
Excessive Agency - 견습생에게 필요 이상으로 넓은 권한을 준 상태. 이 세계관 전체 소개도 있어요. → 다 받아주는 주방
- 에이전트
Agent - 목표를 받으면 심부름 목록을 스스로 짜는 견습생. 이 과잉 상태가 생기는 바로 그 대상이에요. → 심부름 목록을 스스로 짜는 앵무새
- 도구 호출
Tool Calling - 칼서랍에서 도구를 꺼내 쓰는 일. AI 세계의 기본 개념이에요. → 도구 상자
- 도구별 권한
Per-tool Permission - 서랍 칸마다 다른 배지를 다는 권한 설계. 이 설계를 넘어선 상태가 과잉 에이전시예요. → 도구별 권한 배지
- 최소 권한
Least Privilege - 딱 필요한 만큼만 권한을 주는 것. 과잉 에이전시는 이 원칙을 지키지 않은 상태예요. → 딱 필요한 열쇠만
- 샌드박스
Sandbox - 수상한 상자를 먼저 열어보는 빈 방. 도구를 쓸 공간 자체를 가두는 방법이에요. → 창문 없는 빈 방
- 휴먼 인 더 루프
Human-in-the-Loop - 마지막엔 사람이 도장을 찍는 것. 중요한 심부름엔 이 확인이 필요해요. → 마지막은 사람이
- 관측 가능성
Observability - 계기판·일지·지나간 길, 세 가지로 들여다보기. 심부름 기록을 남기는 일이 여기 속해요. → 세 가지로 들여다보기
다음 이야기
접시를 그대로 기계에 넣다가 →