양자화가 뭐예요?
양자화(quantization)를, 앵무새 머릿속의 정밀한 숫자를 굵은 눈금으로 다시 적어 가볍게 만드는 이야기로 풀어봤어요.
큰 앵무새를 우리 집 작은 횃대(폰·노트북)에 올리고 싶은데, 너무 무거워요.큰 앵무새 학교의 큰 횃대에서만 살 수 있어요. 우리 집에 데려오려면 가벼워져야 해요.
앵무새 머릿속엔 숫자가 수십억 개, 하나하나 아주 정밀하게 적혀 있어요.소수점 여덟 자리 저울은 크고 무겁죠. 숫자 하나하나가 그런 저울로 적혀 있으니 앵무새가 무거운 거예요.
양자화는 정밀한 숫자를 굵은 눈금으로 다시 적어, 앵무새를 가볍게 만드는 거예요.0.4823을 0.5로 적는 식이에요. 조금 둔해지지만 훨씬 작고 빨라요. 새 앵무새가 아니라 같은 앵무새예요.
눈금이 굵을수록 앵무새는 가벼워지고, 점수는 조금씩 떨어져요.8비트·4비트는 보통 괜찮고, 너무 굵으면 확 둔해져요. 어디까지 굵게 할지는 시험으로 골라요. 특훈(파인튜닝)은 굵게 적기 전에 해요.
요약·번역은 굵게 적어도 괜찮지만, 수학·긴 추론은 확 둔해지기도 해요.굵은 눈금이 모자라면 다른 길이 있어요 — 작은 앵무새를 새로 가르치는 증류. 가벼워진 앵무새가 답하는 값과 시간은 추론 이야기에서.
양자화 = 앵무새 머릿속의 정밀한 숫자를 굵은 눈금으로 다시 적어 훨씬 작고 빠르게 만들기. 조금 둔해지니 우리 일로 시험해서 눈금 굵기를 골라요.
Quantization. 모델 가중치(파라미터)를 FP16·BF16 같은 고정밀 표현에서 INT8·INT4 등 낮은 비트 폭으로 바꿔 메모리와 추론 비용을 줄이는 기법이에요. 정밀도 손실이 있으므로 벤치마크로 확인하고, 파인튜닝 뒤에 적용해요. 온디바이스(폰·노트북) 배포에선 거의 필수예요.
어른들은 이렇게 불러요
- 양자화
Quantization - 숫자를 굵은 눈금으로 다시 적기. 같은 앵무새가 가볍고 빨라져요. 조금 둔해져요.
- 비트 (FP16 · INT8 · INT4)
Bits (FP16 · INT8 · INT4) - 눈금 굵기. 16비트는 촘촘, 8비트는 굵게, 4비트는 더 굵게. 숫자가 작을수록 가볍고 둔해요.
- 정밀도 손실
Precision loss - 굵게 적어서 둔해진 만큼. 0.4823을 0.5로 적으면 조금 틀려요. 수학·긴 추론에서 더 티가 나요.
- 온디바이스
On-device - 우리 집 작은 횃대. 폰·노트북에서 앵무새를 직접 돌리는 것. 가벼운 앵무새만 올라가요.
- 추론 속도
Inference speed - 답하는 데 걸리는 시간. 가벼운 앵무새가 더 빨리 답해요. → 앵무새가 답하는 값과 시간
- 메모리
Memory - 앵무새가 차지하는 자리. 16 GB 앵무새가 8비트면 8 GB, 4비트면 4 GB가 돼요.
- 증류와의 차이
Versus distillation - 같은 새를 가볍게 vs 새로 가르치기. 양자화는 숫자를 굵게, 증류는 작은 앵무새를 새로 키워요. → 작은 앵무새에게 흉내 가르치기
- 평가
Evaluation - 굵게 적은 뒤 시험. 점수가 얼마나 떨어졌는지 우리 일로 확인해요. → 시험관의 채점표