파인튜닝이 뭐예요?
파인튜닝을 책을 다 읽은 앵무새에게 우리 집 예시 몇백 장으로 시키는 짧은 특훈 이야기로 풀어봤어요.
앵무새는 우리 집 말투와 용어를 몰라요. '정산'을 우리와 다르게 써요.책 산더미엔 세상 말이 다 있지만, 우리 집에서만 쓰는 말과 표 모양은 없어요.
매번 쪽지에 길게 적거나, 한 번 특훈을 시켜요. 그런데 특훈은 책을 다시 읽히는 게 아니에요.긴 쪽지는 매번 콩이 많이 들어요. 특훈은 한 번이면 돼요 — 책 산더미를 다시 읽는 게 아니라, 다 읽은 새에게 예시 몇백 장을 보여 주는 거예요.
파인튜닝은 다 읽은 앵무새에게 우리 예시 몇백 장으로 시키는 짧은 특훈이에요.재료는 예시예요 — 수백에서 수천 장. 말투와 표 모양은 잘 배워요. 새 지식은 잘 못 들어가요 — 그건 사서가 찾아 쟁반에 올리는 쪽(RAG)이 나아요. 특훈이 끝나면 시험을 봐요.
특훈에도 종류가 있어요. 따라 하기, 간식으로 고치기, 작은 딱지만 바꾸기.따라 하기가 기본이에요. 간식은 두 답 중 더 좋은 쪽을 고르게 해요. 작은 딱지는 앵무새 전체를 바꾸지 않아서 싸고 빨라요.
특훈이 과하면 예시만 외우고 다른 걸 잊어요. 그리고 특훈은 맨 마지막 카드예요.먼저 쪽지로 시켜 보고, 부족하면 사서가 쟁반에 페이지를 올리고, 그래도 안 되면 특훈이에요. 지어내는 버릇은 특훈으로도 다 못 고쳐요 — 그럴듯 앵무새 이야기예요.
파인튜닝 = 책을 다 읽은 앵무새에게 우리 예시 몇백 장으로 시키는 짧은 특훈. 말투와 형식은 잘 배우고, 새 지식은 사서(RAG)가 나아요. 과하면 예시만 외우니 특훈 뒤엔 시험을 봐요. 순서는 쪽지 → 사서 → 특훈.
Fine-tuning. 사전 학습이 끝난 모델을 소규모 라벨 데이터(수백~수천 예시)로 추가 학습해 말투·형식·작업 방식을 맞추는 거예요. SFT(지도 미세조정)가 기본, RLHF 는 선호 비교로 보상을 주고, LoRA 는 작은 어댑터만 학습해 싸고 빨라요. 과적합·파국적 망각을 막으려면 평가 세트로 검증하고, 프롬프트 → RAG → 파인튜닝 순으로 시도해요.
어른들은 이렇게 불러요
- 파인튜닝
Fine-tuning - 짧은 특훈. 다 읽은 앵무새에게 우리 예시로 말버릇과 형식을 가르쳐요.
- SFT
Supervised fine-tuning - 예시 따라 하기. 질문과 정답 카드를 보여 주고 똑같이 말하게 해요. 제일 기본 특훈이에요.
- RLHF
Reinforcement learning from human feedback - 간식으로 고치기. 두 답 중 사람이 더 좋아한 쪽에 간식을 줘요. 존댓말, 안전한 답이 여기서 나와요.
- LoRA
Low-rank adaptation - 작은 딱지 특훈. 앵무새 전체가 아니라 작은 딱지만 바꿔요. 싸고 빠르고, 딱지를 떼면 원래 새로 돌아가요.
- 과적합
Overfitting - 예시만 외우기. 특훈이 과하면 예시 카드는 완벽한데 새 질문엔 엉뚱해요.
- 파국적 망각
Catastrophic forgetting - 특훈하다 다른 걸 잊기. 정산표만 파다가 날씨 얘기를 못 하게 돼요. 예시를 섞고 특훈을 짧게 해요.
- 평가 세트
Evaluation set - 특훈 뒤 시험지. 특훈에 안 쓴 예시로 시험관이 재요. 특훈에 쓴 카드로 시험 보면 반칙이에요.
- 프롬프트 vs 파인튜닝
Prompt vs fine-tuning - 매번 쪽지 vs 한 번 특훈. 쪽지가 먼저예요 — 싸고 바로 돼요. → 앵무새에게 주는 조련 쪽지