적대적 공격이 뭐예요?
적대적 공격을, 사람 눈엔 멀쩡한 작물인데 선별기만 완전히 다르게 읽는 이야기로 풀어봤어요.
사람 눈엔 멀쩡한 사과인데, 선별기는 썩은 작물로 읽어요.사과 사진에 아주 작은 점무늬 몇 개가 섞여 있을 뿐이에요.
선별기는 숫자를 보고, 사람은 모양을 봐요.사진의 픽셀 숫자를 아주 살짝만 흔들어도, 선별기의 분류 결과가 뒤집힐 수 있어요.
사람 눈엔 정상 사과인데, 선별기는 불합격으로 분류해요.입력 사진은 거의 그대로인데, 선별기의 분류만 합격에서 불합격으로 바뀌어요.
점무늬 몇 개만 더해도, 작물이 합격함 대신 불합격함으로 들어가요.사람 눈엔 똑같은 두 작물인데, 선별기는 하나는 합격, 하나는 불합격으로 판정해요.
데이터 포이즈닝과 적대적 공격은 공격 시점이 달라요 — 가르치는 중인가, 판정하는 순간인가.씨앗을 상하게 하는 건 데이터 포이즈닝, 다 배운 선별기를 속이는 건 적대적 공격이에요.
적대적 공격 = 사람 눈엔 똑같아 보이지만 선별기는 완전히 다르게 분류하도록 입력을 미세하게 조작하는 공격.
적대적 공격(Adversarial Attack)은 사람이 알아채기 어려울 만큼 작은 변형(노이즈)이나 사람은 대수롭지 않게 보는 무늬(스티커)를 입력에 더해, 이미 학습이 끝난 분류 모델의 판정을 공격자가 원하는 대로 틀리게 만드는 추론 단계(inference-time)의 공격이에요. 모델 가중치를 알아야 정교하게 만들 수 있는 화이트박스 공격과, 몰라도 반복 시도로 만들 수 있는 블랙박스 공격으로 나뉘고, 이미지뿐 아니라 음성·텍스트·정형 데이터 분류기에도 똑같은 원리가 적용돼요. 학습 데이터 자체를 오염시키는 데이터 포이즈닝과 달리, 적대적 공격은 이미 다 학습된 모델을 상대로 일어나요.
어른들은 이렇게 불러요
- 적대적 공격
Adversarial attack - 사람 눈엔 똑같지만 선별기는 다르게 분류하는 조작. 이미 다 학습된 모델을 상대로 일어나요.
- 데이터 포이즈닝
Data poisoning - 씨앗(학습 데이터) 자체를 상하게 하는 것. 공격 시점이 달라요(학습 중). → LLM 보안 분야의 데이터 포이즈닝
- 미세 조작(perturbation)
Perturbation - 눈엔 안 보이는 작은 변형. 점무늬나 경계선을 살짝 흔들어요.
- 화이트박스 · 블랙박스
White-box · black-box - 선별기의 속 기준을 아는지, 모르고 시도만 하는지. 속 기준을 알면 훨씬 더 정교하게 조작할 수 있어요.
- 오분류
Misclassification - 작물을 엉뚱한 분류함에 떨어뜨리는 것. 적대적 공격이 노리는 바로 그 결과예요.
- 혼동행렬
Confusion matrix - 합격·불합격 도장을 네 칸으로 정리한 표. 적대적 공격이 섞이면 실수 칸(FP·FN)의 숫자가 늘어요. → 네 칸으로 나눈 도장 기록부
- 이상치
Outlier - 유난히 튀는 작물 한 개. 적대적 공격을 막는 방법 중 하나가 유난히 튀는 입력을 찾는 거예요. → 무리에서 유난히 튀는 작물
- 이미지 인젝션(LLM/비전 각도)
Image injection (LLM/vision angle) - 사진 속에 숨긴 명령으로 LLM을 속이는, 닮은 갈래의 공격. LLM이 사진 속 명령을 읽는 각도는 LLM 보안 분야에서 다뤄요. → 눈속임 그림 주문서