다섯 살도 알 수 있게 · AI
추론이 뭐예요?
추론(inference)을, 학교를 마친 앵무새가 손님 질문에 콩을 하나씩 만들어 답할 때 드는 값과 시간 이야기로 풀어봤어요.
앵무새 학교는 한 번이에요. 그런데 손님이 물을 때마다 콩 값이 들어요.손님은 학교가 끝났으니 공짜라고 생각해요. 아니에요 — 답 한 번 한 번이 다 값이에요.
학습은 책 읽기 — 한 번, 크게. 추론은 매번 답하기 — 작지만 수백만 번.한 번은 작아도 백만 번이면 커요. 앵무새를 많이 쓰는 집은 답하는 값이 학교 값을 넘기도 해요.
추론은 학교를 마친 앵무새가 손님 질문에 콩을 하나씩 만들어 답하는 거예요.값과 시간은 콩 수, 앵무새 크기, 그리고 답하기 전 중얼거림에 비례해요.
나가는 콩이 더 비싸요들어가는 콩보다 3~5배
큰 앵무새는 콩당 더 비싸요그리고 더 느려요
첫 콩과 끝 콩은 달라요기다림 vs 콩당 시간
같은 앞부분은 미리미리 놓아둔 콩은 싸요
시간은 첫 콩까지와 콩당 시간으로 나뉘고, 값은 콩 수로 세요.첫 콩이 나오면 바로 보여주는 게 스트리밍이에요. 같은 앞부분은 미리 놓아둔 콩으로 싸게 해요.
빠른 게 늘 싼 게 아니에요. 작은 앵무새가 여러 번 틀리면 더 비싸요.콩 값은 콩 값 이야기에서, 어느 앵무새에게 시킬지는 라우팅, 앵무새를 가볍게 하는 건 양자화예요.
한 줄로
추론 = 학교를 마친 앵무새가 손님 질문에 콩을 하나씩 만들어 답하는 것. 학교는 한 번이지만 답은 매번 값이 들고, 값과 시간은 콩 수 · 앵무새 크기 · 중얼거림에 비례해요.
Inference. 학습이 끝난 모델을 실제 입력에 실행해 출력을 만드는 단계예요. 지연 시간은 첫 토큰 시간(TTFT)과 토큰당 시간으로 나뉘고, 비용은 입력·출력 토큰 수와 모델 크기에 비례해요. GPU 같은 가속기에서 여러 요청을 배칭해 처리량을 올려요. 총 비용은 학습보다 추론이 더 클 때가 많아요.
어른들은 이렇게 불러요
- 추론
Inference - 앵무새가 답하는 것. 학교가 끝난 뒤, 손님 질문에 콩을 하나씩 만들어요.
- 학습 vs 추론
Training vs inference - 책 읽기 vs 답하기. 읽기는 한 번에 크게, 답하기는 매번 작게 — 그런데 수백만 번.
- 지연 시간
Latency - 한 답에 걸리는 시간. 첫 콩까지 기다림 + 콩당 시간 × 콩 수.
- 처리량
Throughput - 한 시간에 답하는 횟수. 앵무새 여러 마리, 혹은 한 마리가 여러 손님을 동시에.
- 첫 토큰 시간
Time to first token - 첫 콩까지 기다림. 첫 콩이 나오면 바로 보여줘요. → 콩을 하나씩 바로 보여주기
- GPU · 가속기
GPU · accelerator - 앵무새가 앉는 빠른 횃대. 콩을 빨리 만들게 해 줘요. 비싸고 자리가 한정돼요.
- 배칭
Batching - 손님 여럿을 한 번에. 질문을 모아 함께 답하면 콩당 값이 내려가요. 대신 조금 기다려요.
- 비용
Cost - 콩 값. 들어간 콩 + 나온 콩 × 단가. → 콩 값
다음 이야기
콩 값 →