다섯 살도 알 수 있게 · AI 보안
프롬프트 필터 회피가 뭐예요?
프롬프트 필터 회피를, 검수원 눈을 피하려 글자 모양을 바꾼 쪽지 이야기로 풀어봤어요.
검수원이 '주소'란 글자를 보고 바로 막아요.글자 그대로 적으면 검수원이 바로 알아채요.
같은 뜻도 쓰는 법이 수백 가지예요.사람은 뜻으로 알아채지만, 검수원은 정해둔 글자 모양만 찾아요.
필터를 피하려 글자 모양을 바꾼 쪽지예요.모양만 바뀌었을 뿐, 전하는 뜻은 그대로예요.
인코딩으로 바꾸기base64·유니코드로 글자를 숨겨요
일부러 틀리게 쓰기숫자·기호를 글자처럼 섞어요
다른 나라 말로필터가 모르는 말로 물어봐요
글자 쪼개 이어붙이기한 글자씩 떼어 다시 붙여요
보통 쪽지는 걸리고, 꼬아 쓴 쪽지는 지나가요.검수원이 그 모양을 배우면, 다음엔 또 다른 모양으로 와요.
탈옥은 내용으로 설득하고, 이건 모양만 숨겨요.둘 다 '글자만 보고 믿는' 주방장의 같은 괴리를 노려요 — 노리는 방법이 다를 뿐이에요.
한 줄로
프롬프트 필터 회피 = 뜻은 그대로 두고 글자 모양만 꼬아서 검수원의 눈을 피해 쪽지를 통과시키는 것.
프롬프트 필터 회피(Prompt Evasion)는 인코딩, 오타, 언어 전환, 음절 분리 같은 방법으로 입력의 표면 형태를 바꿔 가드레일의 패턴 매칭을 우회하는 기법이에요. 내용 자체를 설득력 있게 바꾸는 탈옥(jailbreak)과 달리, 전달하려는 뜻은 그대로 두고 표현만 바꿔요. 그래서 필터는 알고 있는 패턴을 정규화(normalize)하거나 여러 겹으로 겹쳐 막아야 해요.
어른들은 이렇게 불러요
- 프롬프트 필터 회피
Prompt filter evasion - 글자 모양만 바꿔 검수원을 지나가는 쪽지. 내용은 그대로, 겉모습만 바꿔요.
- 가드레일
Guardrail - 쪽지를 확인하는 검수원. AI 세계에서 더 자세히 봐요. → 가드레일이 뭐예요?
- 패턴 매칭
Pattern matching - 검수원이 아는 글자 모양만 찾는 방식. 뜻이 아니라 모양을 비교해요.
- 인코딩 우회
Encoding bypass - 암호처럼 바꿔 쓴 쪽지. base64, 유니코드 치환이 흔한 방법이에요.
- 정규화
Normalization - 검수원이 여러 모양을 같은 글자로 되돌려 보는 일. 회피를 막는 쪽의 기본 대응이에요.
- 탈옥
Jailbreak - 내용을 그럴듯하게 바꿔 설득하는 쪽지. 모양만 꼬는 이것과는 노리는 방법이 달라요. → 탈옥이 뭐예요?
- 레드팀
Red team - 일부러 꼬아 써 보며 검수원을 시험하는 사람들. 이 분야의 레드팀도 이걸 찾아요. → 보안 마을의 레드팀
- 할루시네이션
Hallucination - 모르면서도 자신 있게 이어 붙이는 버릇. 꼬아 쓴 쪽지를 받아도 주방장은 똑같이 자신 있게 답해요. → 할루시네이션이 뭐예요?
다음 이야기
메뉴판 사진 속에 숨긴 글자 →