다섯 살도 알 수 있게 · AI 보안
AI 레드팀이 뭐예요?
AI 레드팀을, 이 주방을 일부러 공격해서 약점을 찾는 위생 검사관의 불시 방문 이야기로 풀어봤어요.
평소엔 손님을 잘 대접해요.그런데 위생 검사관이 예고 없이 찾아와요. 진짜 공격이 오기 전에 약점을 먼저 찾으려는 거예요.
매번 다른 방법으로 속일 수 있어요.역할극, 암호, 돌려 말하기 — 한 가지 시험만으로는 다 못 잡아요.
AI 레드팀 = 일부러 이상한 주문서를 써서 미리 시험해 보는 전담팀이에요.실제 공격자처럼 몰래 쪽지를 써 보고, 주방장이 넘어가면 그 방법을 적어 둬요.
역할극으로 시도다른 사람인 척 시켜요
암호·변형으로 시도암호나 다른 말로 바꿔요
계속 다시 시도한 번 막혀도 또 시도해요
찾은 약점은 기록고치도록 장부에 남겨요
일반 레드팀과 AI 레드팀은 노리는 지점이 달라요.보안 마을의 레드팀은 담·자물쇠·가짜 전화를 노려요. AI 레드팀은 주문서에 적힌 말 자체를 노려요.
통과했다고 끝이 아니에요.새로운 쪽지 문구는 여전히 통할 수 있어요. 그래서 다음 페이지의 손님 받기 전 테스트와 함께 계속 반복해요.
한 줄로
AI 레드팀 = 위생 검사관이 일부러 이상한 주문서를 써서, 손님 받기 전에 이 주방의 약점을 미리 찾는 전담팀.
AI 레드팀(AI Red Team)은 AI 모델을 대상으로 사람이 직접 탈옥 시도, 프롬프트 공격, 역할극 같은 LLM 전용 기법을 창의적으로 시도해 약점을 찾는 팀이에요. 네트워크 침투나 피싱을 노리는 일반 보안 레드팀과 달리, AI 레드팀은 모델에게 입력하는 '말' 자체를 공격 표면으로 다뤄요.
어른들은 이렇게 불러요
- AI 레드팀
AI red team - 위생 검사관의 불시 방문. 이 분야 전체 소개는 여기에. → AI 보안이 뭐예요?
- 레드팀
Red team - 보안 마을의 진짜 도둑인 척하는 팀. 담·자물쇠를 노리는 쪽은 여기서. → 레드팀이 뭐예요?
- 탈옥 시도
Jailbreak attempt - 주방장을 구슬려 규칙을 깨게 하기. 레드팀이 즐겨 쓰는 쪽지예요. → 탈옥이 뭐예요?
- 손님 받기 전 맛 평가 테스트
Pre-launch tasting test - 정해진 메뉴로 반복해서 채점하는 일. 레드팀과 짝을 이뤄요. → 맛 평가 테스트가 뭐예요?
- 주문 기록 장부
The order logbook - 찾은 약점을 적어 두는 장부. 고치도록 남겨 두는 기록이에요.
- 가드레일
Guardrail - 맛보기 검수대. 레드팀이 뚫어 보는 대상 중 하나예요. → 가드레일이 뭐예요?
- 모의 침투 테스트
Penetration testing - 보안 마을에서 허락받고 직접 침입해 보는 시험. AI 레드팀의 더 오래된 사촌이에요. → 모의 침투 테스트가 뭐예요?
- 주방 규칙판
The kitchen rules board - 레드팀이 찾은 약점을 반영하는 전체 규칙 체계. 마지막 챕터에서 다뤄요. → 주방 규칙판이 뭐예요?
다음 이야기
손님 받기 전 맛 평가 테스트 →