다섯 살도 알 수 있게 · AI
프롬프트 캐싱이 뭐예요?
프롬프트 캐싱을 자주 쓰는 앞부분 콩을 미리 놓아두고 새 콩만 올리는 쟁반 이야기로 풀어봤어요.
같은 규정집을 매번 다시 올려요. 값도 시간도 매번 들어요.질문은 한 줄인데 규정집이 30장이에요. 앵무새는 30장을 다 읽고 나서야 답해요. 콩 값이 매번 들어요.
앵무새는 쟁반 위 콩을 매번 처음부터 다시 읽어요.앞부분이 어제와 똑같아도 앵무새는 몰라요. 쟁반에 올라온 콩은 전부 새로 읽고, 읽은 만큼 값을 내요.
프롬프트 캐싱은 자주 쓰는 앞부분 콩을 미리 놓아두고, 새 콩만 올리는 거예요.앵무새가 한 번 읽은 앞부분을 잠깐 기억해 둬요. 다음 손님 때는 앞부분을 건너뛰고 새 콩만 읽어요 — 싸고 빨라요.
안 바뀌는 건 앞에규정집·주인 쪽지·예시
바뀌는 건 뒤에손님 질문은 맨 뒤
순서가 바뀌면 깨져요앞부분은 글자 하나까지 똑같이
잠깐만 살아요몇 분 지나면 다시 읽어요
앞부분이 같으면 두 번째부터 싸고 빨라요.회색 콩은 값을 조금만 내요. 첫 번째는 놓아두는 값이 조금 더 들지만, 두 번째부터 이득이에요.
앞부분을 한 글자만 바꿔도 처음부터예요. 그래서 쪽지 순서 설계가 중요해요.오늘 날짜나 손님 이름을 주인 쪽지 맨 위에 쓰면 매번 깨져요. 바뀌는 건 뒤로 보내세요.
한 줄로
프롬프트 캐싱 = 자주 쓰는 앞부분 콩을 미리 놓아두고, 다음엔 새 콩만 올리기. 안 바뀌는 건 앞에, 바뀌는 건 뒤에 — 앞부분이 한 글자라도 다르면 처음부터예요.
Prompt caching. 프롬프트의 앞부분(프리픽스)을 처리한 결과를 짧은 시간(TTL) 동안 저장해 두고, 같은 프리픽스로 시작하는 다음 요청에서 재사용해요. 캐시 적중이면 입력 토큰 비용이 크게 줄고 지연 시간도 짧아져요. 시스템 프롬프트·긴 문서·예시를 앞에, 사용자 질문을 뒤에 두는 배치가 핵심이에요.
어른들은 이렇게 불러요
- 프롬프트 캐싱
Prompt caching - 미리 놓아둔 콩. 앞부분을 한 번 읽어 두고 다음엔 건너뛰어요. 싸고 빨라요.
- 캐시 적중
Cache hit - 앞부분이 딱 맞았어요. 회색 콩으로 처리돼요. 안 맞으면 캐시 미스 — 전부 다시.
- 프리픽스
Prefix - 쟁반 앞부분. 첫 콩부터 어디까지 똑같은지. 여기까지만 캐시가 돼요.
- TTL
TTL (time to live) - 잠깐만 살아요. 보통 몇 분. 지나면 다시 놓아둬야 해요.
- 시스템 프롬프트 배치
System prompt placement - 주인 쪽지는 맨 앞에. 안 바뀌는 쪽지가 앞에 있어야 캐시가 살아요. → 조련 쪽지
- 컨텍스트
Context - 쟁반. 캐시는 쟁반 위 콩의 앞부분을 기억해요. → 앵무새 앞의 쟁반
- 비용
Cost - 콩 값. 회색 콩은 값이 훨씬 싸요. → 콩 값
- 지연 시간
Latency - 답이 나오기까지 기다림. 앞부분을 건너뛰니 첫 답이 빨라요. → 앵무새가 답하는 값과 시간
다음 이야기
정해진 칸에 쓰기 →