메모리제이션이 뭐예요?
메모리제이션을, 주방장이 새로 요리하는 대신 레시피북 한 줄을 글자 하나까지 그대로 베껴 접시에 내놓는 이야기로 풀어봤어요.
시 한 편 써달랬는데, 레시피북 한 줄을 그대로 베껴 내놔요.완전히 다른 걸 부탁했는데, 전혀 관계없는 문장이 그대로 튀어나와요.
흔하지 않은데 자주 반복된 문장일수록, 그대로 외워버리기 쉬워요.이해해서 요약하거나 바꿔 쓰는 게 아니에요. 자주 본 문장은 통째로 머릿속에 박혀 버려요.
메모리제이션은 새로 요리하는 대신, 레시피북 한 줄을 그대로 베껴 내놓는 버릇이에요.일부러 거짓말하는 게 아니에요. 그 한 줄을 정말로 '정답'이라고 믿고 그대로 내놓는 거예요.
완전히 똑같은 문장이 나온다면, 그건 새로 지은 게 아니라 베낀 거예요.짧고 희귀한데 자주 반복된 문장일수록 위험해요. 전화번호, 비밀번호, 고유한 문단이 특히 그래요.
정책은 '왜 조심해야 하는가', 메모리제이션은 '실제로 어떻게 새는가'예요.AI 프라이버시는 명부를 통째로 줬을 때의 위험 전반을 다뤄요. 메모리제이션은 그 위험이 실제로 일어나는 구체적인 방식 중 하나이고, 모델 인버전과 멤버십 추론 둘 다 뭔가 외워져 있어야 통하는 공격이에요. 사람 주방장은 이거 베낀 건데? 를 알아채지만, 이 주방장은 외운 문장도 정답이라고 믿어요.
메모리제이션 = 주방장이 이해해서 새로 요리하는 대신, 레시피북 한 줄을 글자 하나까지 그대로 베껴 접시에 내놓는 버릇. 짧고 희귀한데 자주 반복된 문장일수록 이렇게 새어 나오기 쉬워요.
Memorization. LLM이 학습 데이터의 일부를 요약·일반화하지 않고 거의 그대로(verbatim) 출력에 재현하는 현상이에요. 모델 크기가 클수록, 같은 문장이 학습 데이터에 자주 반복될수록, 그 문장이 희귀할수록 메모리제이션이 잘 일어나요. 탐지는 알려진 학습 문장을 일부 입력해 정확히 이어지는지 보는 방식(추출 공격 시험)이고, 방어는 중복 제거, 출력 단계의 유사도 검사, 민감 데이터의 학습 배제예요. 모델 인버전과 멤버십 추론은 모두 메모리제이션을 전제로 작동해요.
어른들은 이렇게 불러요
- 메모리제이션
Memorization - 레시피북 한 줄을 그대로 베껴 내놓는 버릇. 새로 짓는 게 아니라 그대로 베끼는 거예요.
- 모델 인버전
Model Inversion - 접시만 보고 원래 재료를 거꾸로 그려내는 공격. 잘 외울수록 거꾸로 그리기도 쉬워져요. → 접시 더미에서 되살린 얼굴
- 멤버십 추론
Membership Inference - 이 손님이 연습 때 왔었는지만 알아내는 공격. 눈 감고도 척척인 반응도 메모리제이션의 흔적이에요. → 눈 감고도 만드는 요리
- AI 프라이버시
AI Privacy - 명부를 통째로 주면 어떻게 될까 하는 정책의 문제. 메모리제이션은 그 위험이 실제로 일어나는 방식이에요. → 앵무새에게 준 비밀 콩
- 할루시네이션
Hallucination - 모르는데 자신 있게 지어내는 버릇. 같은 뿌리의 다른 얼굴이에요 — 지어내는 대신 이번엔 그대로 베껴요. → 할루시네이션이 뭐예요?
- 파인튜닝
Fine-tuning - 짧은 특훈. 좁고 반복적인 자료로 특훈할수록 메모리제이션이 잘 일어나요. → 짧은 특훈
- 레드팀
Red Team - 표시된 문장으로 미리 떠보는 사람들. 출시 전에 그대로 베껴 나오는 문장이 있는지 확인해요. → 보안 마을의 레드팀
- 데이터 중복 제거
Deduplication - 똑같은 문장을 레시피북에 여러 번 안 넣기. 반복이 줄면, 통째로 외워질 위험도 줄어요.