데이터 포이즈닝이 뭐예요?
데이터 포이즈닝을, 주방장이 연습을 시작하기도 전에 재료 창고에 수상한 자루 하나가 몰래 섞여 들어가는 이야기로 풀어봤어요.
공급업체가 재료 자루를 들여와요 — 그 중 한 자루가 수상해요.겉에서 보면 다른 자루들과 똑같아 보여요. 안을 열어 보지 않으면 알 수 없어요.
창고에 들어온 재료는 다 똑같이 믿고 연습해요.사람 주방장은 자루를 하나하나 열어 보지만, 이 주방장은 창고에 있는 걸 전부 똑같이 믿어요.
데이터 포이즈닝은 연습을 시작하기도 전에 재료 창고에 수상한 자루를 몰래 섞어 넣는 일이에요.다 차려진 접시가 아니라, 연습에 쓸 재료 자체에 몰래 손을 대는 거예요. 그래서 습관이 처음부터 비틀려요.
한 번 비틀린 습관은 많은 연습 끝에 몸에 배어, 쉽게 되돌리기 어려워요.수상한 자루 하나만으로도, 아주 많이 연습하면 그 영향이 '평범한 습관'처럼 자리 잡을 수 있어요.
이미 몸에 밴 습관은 다시 연습해야만 바뀌고, 재료 단계에서 섞는 공격이라는 점이 중요해요.재료 단계가 아니라 다듬는 중(파인튜닝)에 몰래 버릇을 심는 건 또 다른 이야기예요. 그래서 공급업체부터 믿을 수 있어야 해요.
데이터 포이즈닝 = 주방장이 연습(학습)을 시작하기도 전에, 재료 창고에 수상한 자루 하나를 몰래 섞어 넣는 일. 이미 연습해서 몸에 밴 습관은 되돌리기 어려워요.
Data Poisoning. 모델 학습(또는 파인튜닝) 데이터에 악의적인 예시를 몰래 섞어 넣어, 모델의 전반적인 품질을 떨어뜨리거나 특정 입력에서 의도한 대로 틀리게 반응하도록 만드는 공급망 공격이에요. 크롤링한 웹 데이터, 외부 데이터셋, 사용자 피드백 루프 등이 주입 경로가 돼요. 방어는 데이터 출처 확인, 샘플링 검사, 통계적 이상치 탐지, 데이터 출처 기록(프로비넌스)이에요. 이미 학습에 반영된 뒤에는 재학습 없이는 되돌릴 수 없어요.
어른들은 이렇게 불러요
- 데이터 포이즈닝
Data Poisoning - 재료 창고에 몰래 섞인 수상한 자루. 학습이 시작되기 전, 재료 단계에서 섞여요.
- 공급망 공격
Supply Chain Attack - 공급업체부터 믿을 수 없을 때 생기는 문제. 보안 세계의 일반 개념이에요. → 공급망 공격이 뭐예요?
- SBOM · 재료 출처표
SBOM - 어느 자루가 어디서 왔는지 적어 둔 표. 섞인 뒤 되짚어가려면 출처표가 꼭 필요해요. → 재료 출처표
- 파인튜닝
Fine-tuning - 짧은 특훈. 좁은 특훈 재료에도 똑같이 섞여 들어갈 수 있어요. → 짧은 특훈
- 오픈 웨이트
Open Weights - 어디서 가져왔는지 알 수 있는 우리 집 앵무새. 빌려온 모델일수록 재료 출처를 확인하기 어려워요. → 우리 집 앵무새 vs 빌린 앵무새
- 레드팀
Red Team - 일부러 수상한 자루를 넣어 보는 시험. 출시 전에 이런 섞임을 미리 찾아내요. → 보안 마을의 레드팀
- 메모리제이션
Memorization - 외운 걸 그대로 말해버리는 버릇. 수상한 자루가 아주 많이 반복되면 그대로 외워질 수도 있어요. → 그대로 베낀 접시
- 트로이목마 모델
Trojan Model - 다듬는 중(파인튜닝)에 몰래 심어진 버릇. 재료 단계가 아니라 다듬는 단계에서 심는다는 점이 달라요. → 다듬는 중에 몰래 심은 버릇