라우팅이 뭐예요?
모델 라우팅을 문 앞 안내 앵무새가 질문을 보고 작은·중간·큰 앵무새 중 누구에게 보낼지 정하는 이야기로 풀어봤어요.
모든 질문을 제일 큰 앵무새에게 보내요. 인사 한마디에도요. 청구서가 터져요.큰 앵무새는 답 하나에 콩이 많이 들어요. 인사, 요약, 계약서 검토가 다 같은 값이면 콩 값이 금방 쌓여요.
질문마다 필요한 앵무새 크기가 달라요. 한 마리만 쓰면 낭비 아니면 부족이에요.큰 앵무새는 더 알고 느리고 비싸고, 작은 앵무새는 빠르고 싸지만 어려운 일엔 모자라요. 어려운 걸 작은 새에게 주면 그럴듯한 오답이 나가요.
라우팅은 문 앞 안내 앵무새가 질문을 보고, 작은·중간·큰 앵무새 중 누구에게 보낼지 정하는 거예요.안내 앵무새는 질문을 읽고 "쉬움·보통·어려움" 딱지를 붙여요. 딱지대로 보내면 쉬운 건 싸게, 어려운 건 제대로 답해요. 안내 앵무새 자체는 아주 작은 새거나 쪽지 몇 줄이에요.
질문마다 맞는 크기로 보내면 답은 같고 콩은 훨씬 적어요.작은 앵무새는 빠르기도 해요 — 답하는 시간이 짧아요. 여러 단계 심부름 순서표에서는 단계마다 다른 앵무새를 골라요.
안내 앵무새도 틀려요. 어려운 걸 쉬운 줄 알면 품질이 새요. 그래서 폴백과 시험이 같이 가요.작은 새가 "자신 없어요" 하면 큰 새로 넘겨요(폴백). 그리고 시험관이 어디까지 작은 새로 되는지 재요. 아낀 콩 값보다 새는 품질이 크면 손해예요.
라우팅 = 문 앞 안내 앵무새가 질문을 보고 작은·중간·큰 앵무새 중 누구에게 보낼지 정하는 것. 쉬운 건 싸게, 어려운 건 제대로. 안내 앵무새도 틀리니 폴백(자신 없으면 큰 새로)과 시험이 같이 가요.
Model routing. 요청마다 난이도·종류를 분류해 알맞은 모델(작은·중간·큰)로 보내 비용과 지연 시간을 줄이는 기법이에요. 분류기는 작은 모델이나 규칙·프롬프트로 만들고, 작은 모델이 확신이 낮으면 큰 모델로 넘기는 폴백(캐스케이드)을 둬요. 어느 요청까지 작은 모델로 충분한지는 평가 세트로 재고, 잘못 분류한 요청의 품질 손실이 절감액보다 크지 않은지 계속 확인해요.
어른들은 이렇게 불러요
- 모델 라우팅
Model routing - 안내 앵무새. 질문을 보고 작은·중간·큰 앵무새 중 누구에게 보낼지 정해요.
- 분류기
Classifier - 질문에 쉬움·어려움 딱지 붙이기. 아주 작은 앵무새이거나 규칙 몇 줄이에요. 빠르고 싸야 해요.
- 폴백
Fallback - 자신 없으면 큰 앵무새로 넘기기. 작은 새가 '모르겠어요' 하면 큰 새가 다시 답해요. 안내 실수를 받아 줘요.
- 캐스케이드
Cascade - 작은 새 먼저, 안 되면 다음 새. 작은 → 중간 → 큰 순서로 올려요. 대부분은 작은 새에서 끝나요.
- 비용 최적화
Cost optimization - 콩 값 아끼기. 쉬운 질문에 큰 새를 안 쓰는 게 제일 큰 절약이에요. → 콩 값
- 지연 시간
Latency - 답이 나오기까지 걸리는 시간. 작은 앵무새가 훨씬 빨라요. → 앵무새가 답하는 값과 시간
- 평가
Evaluation - 어디까지 작은 새로 되는지 재기. 시험 없이 라우팅하면 품질이 새는지 몰라요. → 시험관의 채점표
- 워크플로
Workflow - 단계마다 다른 앵무새. 심부름 순서표의 각 칸에 맞는 새를 골라요. → 심부름 순서표