합성 데이터가 뭐예요?
합성 데이터를, 큰 앵무새에게 예시 카드를 잔뜩 쓰게 해서 작은 앵무새의 특훈 교재로 쓰는 이야기로 풀어봤어요.
특훈엔 우리 예시 500장이 필요한데, 사람이 쓰기엔 너무 오래 걸려요.짧은 특훈은 예시 카드로 해요. 몇백 장이 필요한데, 한 장에 한 시간이면 한 달이 넘어요.
진짜 예시는 비싸고, 비밀 콩이 섞여 있어요.사람이 쓰면 한 장 한 장이 돈이에요. 진짜 손님 이야기를 그대로 쓰면 전화번호·카드 같은 비밀 콩이 특훈 교재에 들어가요.
합성 데이터는 큰 앵무새에게 예시를 잔뜩 쓰게 해서 작은 앵무새를 가르치는 거예요.사람은 씨앗 카드 몇 장만 써요. 나머지는 큰 앵무새가 흉내 내서 채워요. 작은 앵무새에게 흉내 가르치기와 친척이에요.
씨앗 10장, 카드 500장, 사람이 골라내서 420장, 그걸로 특훈해요.큰 앵무새도 그럴듯한 거짓말을 섞어 써요. 그래서 사람이 골라내고, 남은 카드가 얼마나 좋은지는 시험관의 채점표로 재요.
앵무새가 쓴 책만 계속 먹이면 점점 이상해져요. 진짜 책을 꼭 섞어요.앵무새가 쓴 책은 진짜 책의 흉내라, 흉내의 흉내를 거듭하면 드문 것부터 사라져요(모델 붕괴). 그래서 합성은 특훈의 보조이지, 책 산더미를 대신하진 못해요.
합성 데이터 = 사람이 쓴 씨앗 카드 몇 장을 주고 큰 앵무새에게 예시를 잔뜩 쓰게 해서, 사람이 골라낸 뒤 작은 앵무새를 가르치는 교재. 비밀 콩 없이 싸게 많이 만들지만, 앵무새 책만 먹이면 점점 이상해져요.
Synthetic Data. 큰 모델로 학습·평가용 예시를 생성하는 방법이에요. 씨앗 데이터로 방향을 잡고, 다양성을 강제하고, 품질 필터링(중복·오류 제거)을 거쳐 파인튜닝이나 증류에 써요. 개인정보 없는 데이터를 만들 수 있지만, 모델 출력만 반복 학습하면 분포 꼬리가 사라지는 모델 붕괴가 생겨 실제 데이터를 섞어야 해요.
어른들은 이렇게 불러요
- 합성 데이터
Synthetic data - 앵무새가 쓴 예시 카드. 사람이 쓴 게 아니라 큰 앵무새가 흉내 내서 만든 교재예요.
- 데이터 증강
Data augmentation - 있는 카드를 조금씩 바꿔 늘리기. 말투 바꾸기, 순서 바꾸기, 이름 바꾸기로 한 장을 여러 장으로.
- 모델 붕괴
Model collapse - 흉내의 흉내를 거듭해 이상해짐. 앵무새 책만 먹이면 드문 것부터 사라져요. 진짜 책을 섞어요.
- 씨앗 데이터
Seed data - 사람이 쓴 처음 몇 장. 큰 앵무새가 흉내 낼 기준이에요. 씨앗이 나쁘면 500장이 다 나빠요.
- 품질 필터링
Quality filtering - 사람이 골라내기. 틀린 것·똑같은 것을 빼요. 얼마나 좋은지는 → 시험관의 채점표
- 증류
Distillation - 큰 앵무새 흉내를 작은 앵무새에게. 합성 데이터의 친척이에요. → 작은 앵무새에게 흉내 가르치기
- 파인튜닝
Fine-tuning - 예시 카드로 하는 짧은 특훈. 합성 카드를 쓰는 곳이에요. → 짧은 특훈
- 프라이버시
Privacy - 비밀 콩 없이 만들기. 지어낸 이름·번호로 만들면 진짜 손님 정보가 안 들어가요. → 앵무새에게 준 비밀 콩