다섯 살도 알 수 있게 · AI
프라이싱이 뭐예요?
LLM 프라이싱(토큰 과금)을, 앵무새 값이 한 번이 아니라 콩 하나하나에 매겨진다는 이야기로 풀어봤어요.
월말 청구서가 예상의 열 배예요. 그런데 뭐가 비쌌는지 몰라요.앵무새는 시킨 대로 답했을 뿐이에요. 콩이 어디서 새어 나갔는지 세어 본 사람이 없어요.
앵무새 값은 한 번이 아니라 콩 하나하나에 매겨져요.들어간 콩도, 나온 콩도, 다 값이에요. 콩이 뭔지는 앵무새가 말을 콩으로 세요에서.
프라이싱은 들어간 콩 × 값 + 나온 콩 × 값이에요. 나온 콩이 보통 3~5배 비싸요.그리고 앵무새가 클수록 콩당 값이 올라가요. 그러니 콩 수를 줄이거나, 작은 앵무새를 쓰거나, 둘 다예요.
쟁반을 짧게들어가는 콩을 줄여요
나오는 콩을 제한해요최대 길이를 정해요
같은 앞부분은 캐시미리 놓아둔 콩은 열 배 싸요
쉬운 일은 작은 앵무새콩당 값이 열 배 차이
청구서는 콩 종류 × 앵무새 크기로 읽어요. 그러면 어디가 큰지 보여요.나온 콩 20만이 들어간 콩 100만과 값이 같아요. 쟁반(컨텍스트)을 줄이고, 같은 앞부분은 미리 놓아둔 콩으로, 쉬운 일은 작은 앵무새에게.
콩 한 알 값은 싸져요. 그런데 콩 수는 열 배, 백 배 늘어요.심부름하는 앵무새와 중얼거리는 앵무새는 콩을 아주 많이 먹어요. 값과 시간이 어떻게 드는지는 앵무새가 답하는 값과 시간에서.
한 줄로
프라이싱 = 들어간 콩 × 값 + 나온 콩 × 값. 나온 콩이 3~5배 비싸고, 앵무새가 클수록 콩당 비싸요. 쟁반을 짧게, 나오는 콩을 제한, 같은 앞부분은 캐시, 쉬운 일은 작은 앵무새.
LLM API 과금은 입력 토큰과 출력 토큰에 각각 단가를 매기고, 모델 등급에 따라 단가가 달라요(출력이 보통 3~5배). 프롬프트 캐시 히트는 큰 할인, 배치 API는 느리지만 싼 줄이에요. 컨텍스트 길이·출력 길이·모델 선택이 비용을 결정하고, 에이전트와 추론 모델은 토큰을 많이 써서 단가가 내려도 총액이 늘 수 있어요.
어른들은 이렇게 불러요
- 토큰 단가
Token rate - 콩 한 알 값. 보통 콩 백만 개당 얼마로 적혀 있어요. 앵무새 크기마다 달라요.
- 입력 · 출력 토큰
Input · output tokens - 들어간 콩 · 나온 콩. 나온 콩이 3~5배 비싸요. 긴 답을 시키면 그만큼 커요.
- 캐시 할인
Cache discount - 미리 놓아둔 콩은 싸요. 같은 앞부분을 다시 쓰면 열 배쯤 싸요. → 미리 놓아둔 콩
- 컨텍스트 길이 비용
Context length cost - 쟁반이 클수록 값. 쟁반의 콩은 매번 다 값이에요. → 앵무새 앞의 쟁반
- 모델 등급
Model tier - 앵무새 크기. 큰 앵무새는 콩당 열 배 비싸기도 해요. 일에 맞게 골라요.
- 배치 API
Batch API - 느리지만 싼 줄. 급하지 않은 질문을 모아 두면 절반 값에 답해요.
- 예산 한도
Budget cap - 콩 자루 뚜껑. 한 달에 이만큼까지만 — 넘으면 멈추게 미리 정해요.
- 라우팅
Routing - 어느 앵무새에게 시킬까. 쉬운 일은 작은 앵무새, 어려운 일만 큰 앵무새. → 어느 앵무새에게 시킬까
다음 이야기
앵무새의 눈길 →