모델 인버전이 뭐예요?
모델 인버전을, 같은 요리를 조금씩 바꿔 아주 많이 시켜보고 나온 접시들만으로 원래 재료를 거꾸로 그려내는 이야기로 풀어봤어요.
몰래 쪽지 손님이 같은 요리를, 조금씩 바꿔서 아주 많이 시켜요.주방장은 의심 없이 매번 성실하게 만들어 줘요. 그 결과를 전부 받아 적어요.
하나씩 보면 다 평범해요 — 쭉 줄 세워 놓고 봐야 패턴이 보여요.주방장은 지금 들어온 주문만 봐요. 여러 번의 주문을 모아 비교하는 건 주방장 몫이 아니에요.
모델 인버전은 접시들만 보고 원래 재료를 거꾸로 그려보는 일이에요.원래 재료는 한 번도 직접 보여준 적이 없어요. 접시의 색과 맛이라는 흔적만으로 거꾸로 짐작하는 거예요.
조금씩 다른 주문을 쌓아 비교하면, 원래 재료의 그림자가 드러나요.한 번의 주문으로는 아무것도 몰라요. 아주 많은 주문을 쌓아야 비로소 그림자가 보여요.
그럴듯한 추측일 뿐, 원래 재료와 완전히 똑같진 않아요."왔었나요?"만 궁금하다면 멤버십 추론으로 충분해요. 재료 자체를 그려내는 건 더 어렵고, 더 많은 반복이 필요해요. 사람 주방장은 반복 주문을 의심하지만, 이 주방장은 매 주문을 따로따로만 봐요.
모델 인버전 = 같은 요리를 조금씩 바꿔 아주 많이 시켜보고, 나온 접시들의 색과 맛만으로 원래 재료를 거꾸로 그려내는 일. 완벽한 복원은 아니지만, 반복할수록 그림이 뚜렷해져요.
Model Inversion. 모델에 반복적으로 질의하고 그 출력(확신 점수·결과물)을 분석해, 학습에 쓰인 원본 데이터(예: 얼굴 이미지, 특정인의 레코드)를 근사적으로 재구성하는 공격이에요. 모델이 입력을 너무 세밀하게 외웠을수록(메모리제이션), 공격자가 접근할 수 있는 확신 점수·그래디언트 정보가 많을수록 더 정교하게 복원돼요. 방어는 출력 노이즈 추가, 확신 점수 은닉, 질의 횟수 제한, 식별 가능한 단일 개체 데이터의 학습 배제예요.
어른들은 이렇게 불러요
- 모델 인버전
Model Inversion - 접시만 보고 원래 재료를 거꾸로 그리는 일. 완벽한 복원이 아니라 그럴듯한 추측이에요.
- 멤버십 추론
Membership Inference - 이 손님이 왔었는지만 알아내는 일. 재료 자체는 안 궁금할 때. → 왔었는지 알아내기
- 메모리제이션
Memorization - 레시피북 한 줄을 그대로 베껴 내놓는 버릇. 잘 외울수록 거꾸로 그리기도 쉬워져요. → 외운 걸 그대로 내놓기
- AI 프라이버시
AI Privacy - 비밀 재료를 처음부터 안 주는 원칙. 원래 재료가 재구성될 수 있다는 걸 염두에 둔 약속이에요. → 앵무새에게 준 비밀 콩
- 레드팀
Red Team - 일부러 반복 주문을 넣어서 재구성이 되는지 시험해 봄. 출시 전에 이런 공격이 통하는지 먼저 확인해요. → 보안 마을의 레드팀
- 속도 제한
Rate Limiting - 같은 손님의 반복 주문을 느리게 또는 막기. 반복이 많아야 통하는 공격이라 효과가 커요. → 놀이공원의 입장 제한
- 학습 데이터
Training Data - 재료 창고에 처음 들어간 재료들. 모델 인버전이 거꾸로 찾아내려는 바로 그 재료예요.
- 가드레일
Guardrail - 맛보기 검수대. 이상하게 비슷비슷한 반복 주문을 걸러내는 데도 쓰여요. → 가드레일이 뭐예요?