다섯 살도 알 수 있게 · AI 보안
모델 추출 공격이 뭐예요?
모델 추출 공격을, 질문을 계속 던져서 레시피북 전체를 몰래 베껴가는 이야기로 풀어봤어요.
손님이 쪽지를 수천 장 계속 보내요.한 장 한 장은 그냥 보통 주문이라 아무도 이상하게 보지 않아요.
주방장은 쪽지 하나씩만 보고, 전체 패턴은 못 봐요.이 손님이 벌써 몇만 번째 물어보는지는 기억하지 못해요.
질문을 계속 던져서 레시피북 전체를 몰래 베껴가는 것이에요.레시피북을 직접 훔치지 않고도, 답만 모아 거의 같은 걸 만들어요.
질문 끊임없이 던지기수만 번, 조금씩 다르게 물어요
답을 모두 모으기쌓인 답에서 패턴을 찾아요
비슷한 레시피북 만들기거의 같은 맛을 내는 복제품이에요
원가 없이 베끼기몇 년치 재료비를 몇 주로 줄여요
쪽지 더미가 쌓여, 가짜 레시피북이 만들어져요.원가 들인 레시피북을 거의 공짜로 베껴요.
수칙 한 줄 유출과 레시피 전체 복제는 달라요.새어 나간 양이 달라요 — 한 줄짜리 유출과 책 전체의 복제예요.
한 줄로
모델 추출 공격 = 레시피북을 훔치지 않고도, 질문을 끊임없이 던져서 그 답들로 레시피북 전체를 몰래 복제하는 것.
모델 추출 공격(Model Extraction)은 API에 수많은 질문을 보내고 그 응답을 모아, 원본 모델과 비슷하게 동작하는 대체 모델을 학습시키는 공격이에요. 모델 가중치 자체를 훔치는 게 아니라 행동(입출력 매핑)을 복제하는 거라, 탐지가 어렵고 지적재산·학습 비용을 그대로 빼앗겨요. 방어로는 요청 속도 제한, 응답에 약간의 변주 넣기, 비정상적으로 다양한 질문 패턴 감지, 워터마킹이 쓰여요.
어른들은 이렇게 불러요
- 모델 추출 공격
Model extraction attack - 질문을 모아 레시피북 전체를 복제하는 것. 레시피북을 훔치는 게 아니라 흉내 내는 거예요.
- 프롬프트 유출
Prompt leak - 몰래 한 줄만 유출되는 것. 양과 방법이 달라요 — 한 줄짜리 유출과 책 전체의 복제예요. → 비밀 레시피 수칙을 캐내기
- 쿼리 플루딩
Query flooding - 쪽지를 끊임없이 보내는 것. 복제에 필요한 데이터를 모으는 첫 단계예요.
- 모델 증류
Distillation - 큰 레시피북을 보고 작은 레시피북을 만드는 것. 허락받고 하면 증류, 몰래 하면 추출이에요.
- 오픈 웨이트
Open weights - 레시피북을 처음부터 공개로 내놓는 것. 몰래 복제가 아니라 처음부터 공개돼요. → 오픈 웨이트가 뭐예요?
- 속도 제한
Rate limiting - 한 손님이 하루에 보낼 수 있는 쪽지 수를 제한하는 것. 수만 번 묻는 걸 어렵게 만들어요.
- 워터마킹
Watermarking - 답에 작은 표식을 남겨 베낀 레시피북을 알아보는 것. 복제품이 돌아다니는지 나중에 확인할 수 있어요.
- 레드팀
Red team - 일부러 쪽지를 쏟아부어 보는 시험. 이 분야의 레드팀도 이걸 찾아요. → 보안 마을의 레드팀
다음 이야기
접시 더미에서 되살린 얼굴 →