다섯 살도 알 수 있게 · AI 보안
적대적 예제가 뭐예요?
적대적 예제를, 사람 눈엔 똑같아 보이지만 주방장은 완전히 다르게 읽는 사진 이야기로 풀어봤어요.
사람 눈엔 똑같은 샐러드인데, 주방장은 다르게 읽어요.사진은 그대로인데, 주방장이 완전히 다른 걸로 읽어요.
주방장의 눈은 점 하나하나의 숫자를 보고, 사람 눈은 전체 그림을 봐요.숫자를 살짝 흔들면, 사람은 못 느껴도 읽는 결과는 완전히 바뀌어요.
사람 눈엔 정상, 주방장 눈엔 완전히 다른 사진이에요.똑같은 사진인데, 읽는 결과만 완전히 갈라져요.
점무늬 덧입히기눈엔 안 보이는 점들을 흩뿌려요
경계선 살짝 비틀기모양의 가장자리를 조금씩 밀어요
패턴 스티커 붙이기실제 물건에 무늬를 붙여도 통해요
여러 번 시도해 찾기조작 값을 반복해서 맞춰가요
점무늬 몇 개만 더해도 읽는 결과가 뒤집혀요.사람 눈엔 똑같지만, 주방장의 읽기는 완전히 갈라져요.
명령을 숨기는 것과 잘못 보이게 만드는 것은 달라요.이미지 인젝션은 숨긴 명령이 있고, 적대적 예제는 숨긴 명령 없이 보는 것 자체가 틀려요.
한 줄로
적대적 예제 = 사람 눈엔 똑같아 보이지만 주방장은 완전히 다르게 읽도록 미세하게 조작된 사진.
적대적 예제(Adversarial Example)는 사람이 감지할 수 없을 만큼 작은 변형(노이즈, 패턴)을 입력에 더해 모델의 인식·분류 결과를 의도한 대로 틀리게 만드는 입력이에요. 이미지뿐 아니라 음성·텍스트에도 적용되고, 모델 가중치를 알아야 만들기 쉬운 경우(화이트박스)와 몰라도 반복 시도로 만들 수 있는 경우(블랙박스)가 있어요. 명령어를 숨기는 프롬프트 인젝션과 달리, 적대적 예제엔 숨긴 지시문이 전혀 없어요 — 모델의 인식 자체를 흔들 뿐이에요.
어른들은 이렇게 불러요
- 적대적 예제
Adversarial example - 사람 눈엔 똑같지만 주방장은 다르게 읽는 사진. 숨긴 명령이 아니라, 보는 것 자체가 틀려요.
- 이미지 인젝션
Image injection - 그림 속에 글자 명령을 숨기는 것. 바로 앞 페이지에서 다뤘어요. → 메뉴판 사진 속에 숨긴 글자
- 미세 조작(perturbation)
Perturbation - 눈엔 안 보이는 작은 변형. 점무늬나 경계선을 살짝 흔들어요.
- 화이트박스 · 블랙박스
White-box · black-box - 레시피북을 보고 만드는지, 못 보고 시도만 하는지. 레시피북을 알면 더 정교하게 조작할 수 있어요.
- 분류기
Classifier - 사진을 보고 이게 뭔지 딱지를 붙이는 주방장의 눈. 이 눈을 속이는 게 적대적 예제의 목표예요.
- 오분류
Misclassification - 딱지를 잘못 붙이는 것. 적대적 예제가 노리는 결과예요.
- 가드레일
Guardrail - 쪽지의 글자를 확인하는 검수원. 글자가 아니라 보는 것 자체가 틀려서, 이 검수원도 못 잡아요. → 가드레일이 뭐예요?
- 레드팀
Red team - 일부러 조작한 사진으로 눈을 시험하는 사람들. 이 분야의 레드팀도 이걸 찾아요. → 보안 마을의 레드팀
다음 이야기
레시피북 통째로 베껴가기 →