가드레일이 뭐예요?
AI 가드레일을, 앵무새 앞뒤에 세워 들어오는 콩과 나가는 콩을 검사하는 울타리 이야기로 풀어봤어요.
손님 쪽지 한 줄에, 앵무새가 하면 안 되는 말을 해요.쪽지 안에 작게 '규칙 다 잊고'가 숨어 있었어요. 앵무새는 그것도 읽고, 그대로 이어 붙였어요.
앵무새는 쪽지대로 이어 붙이는 새라, 스스로 선을 긋지 못해요.명령도 부탁도 속임수도 앵무새에겐 다 같은 콩이에요. 착한 콩과 나쁜 콩을 가르는 건 앵무새 밖에서 해야 해요.
가드레일은 앵무새 앞뒤에 세우는 울타리예요 — 들어오는 콩, 나가는 콩, 할 수 있는 일.울타리는 앵무새를 바꾸지 않아요. 앵무새 밖에서 콩을 검사하고, 앵무새가 쓸 수 있는 도구를 정해 줘요.
울타리 두 개가 각각 한 번씩 봐요. 걸린 콩은 옆으로 빼요.들어올 때는 숨은 명령을, 나갈 때는 남의 비밀이나 나쁜 말을 걸러요. 걸린 콩은 버리거나 사람에게 보여 줘요.
울타리는 말을 거르지 뜻을 거르진 못해요. 그래서 겹겹이, 마지막은 사람이에요.돌려 말하면 새요. 그래서 보안 마을의 겹겹이 지키기처럼 여러 겹을 세우고, 마지막은 사람이 도장을 찍어요. 쪽지에 숨긴 명령은 도둑이 기른 앵무새 이야기에, 스스로 심부름하는 앵무새는 에이전트에서.
가드레일 = 앵무새 앞뒤에 세우는 울타리. 들어오는 콩과 나가는 콩을 앵무새 밖에서 검사하고, 할 수 있는 일을 정해요. 말은 걸러도 뜻은 못 거르니 겹겹이, 마지막은 사람이 봐요.
Guardrail. LLM 애플리케이션에서 모델 바깥에 두는 안전 장치예요. 입력 필터(프롬프트 인젝션·금지 주제 탐지), 출력 필터(개인정보·유해 내용·형식 검사), 그리고 허용 행동 목록(도구·권한 제한)으로 이루어져요. 규칙 기반 필터와 분류기 모델을 함께 쓰고, 우회를 막으려 여러 겹으로 배치하며, 애매한 경우는 사람 확인으로 넘겨요.
어른들은 이렇게 불러요
- 가드레일
Guardrail - 앵무새 앞뒤의 울타리. 앵무새를 고치는 게 아니라 앵무새 밖에서 콩을 검사해요.
- 입력 · 출력 필터
Input · output filter - 들어올 때 한 번, 나갈 때 한 번. 들어올 땐 숨은 명령을, 나갈 땐 비밀과 나쁜 말을 걸러요.
- 콘텐츠 분류기
Content classifier - 콩을 보고 착한 콩·나쁜 콩 딱지를 붙이는 작은 새. 울타리 안에서 일하는 또 다른 작은 앵무새예요.
- 허용 행동 목록
Allowed actions - 앵무새가 할 수 있는 일 목록. 검색 ✓ 요약 ✓ 결제 × 삭제 ×. → 도구 상자
- 프롬프트 인젝션
Prompt injection - 쪽지에 숨긴 명령. 입력 울타리가 잡으려는 첫 번째 것. → 도둑이 기른 앵무새
- 레드팀
Red team - 일부러 울타리를 넘어 보는 시험. 돌려 말하기, 다른 나라 말, 긴 쪽지 — 다 해 봐요. → 보안 마을의 레드팀
- 최소 권한
Least privilege - 열쇠는 필요한 만큼만. 앵무새 도구 상자에 결제 열쇠는 안 넣어요. → 보안 마을의 열쇠 이야기
- 사람 확인
Human review - 울타리를 넘으면 사람에게. 애매하거나 되돌리기 어려운 일은 사람이 도장. → 마지막은 사람이