컨텍스트 창이 뭐예요?
컨텍스트 창을 앵무새 앞에 놓인 쟁반, 한 번에 올릴 수 있는 콩 수 이야기로 풀어봤어요.
한참 이야기했더니 앵무새가 맨 처음 말을 잊었어요.이름을 분명히 말했는데요. 우산 얘기, 날씨 얘기, 고양이 얘기를 하고 나니 앵무새는 처음을 몰라요.
앵무새는 쟁반 위 콩만 봐요. 쟁반이 차면 앞쪽 콩이 떨어져요.대화가 길어지면 콩이 계속 들어와요. 쟁반은 그대로인데요. 떨어진 콩은 앵무새에게 없는 말이에요 — 잊은 게 아니라 못 보는 거예요.
컨텍스트 창은 앵무새 앞의 쟁반이에요. 한 번에 올릴 수 있는 콩 수예요.쟁반이 클수록 긴 이야기를 한 번에 올려요. 그래도 한도는 있어요. 그래서 중요한 건 앞쪽에, 긴 건 요약해서, 필요한 페이지만 골라 올려요. 앵무새 자체는 책을 산더미로 읽은 앵무새에서.
쟁반 위엔 쪽지도, 예시도, 대화도, 사서가 가져온 페이지도, 앵무새 답도 올라가요.전부 콩으로 세서 쟁반 한 장에 올려요. 주인 쪽지가 길면 대화 자리가 줄고, 답이 길면 앞쪽 콩이 밀려나요.
쟁반이 크다고 다 잘 보는 건 아니에요. 그리고 큰 쟁반은 비싸요.앵무새는 쟁반 가운데 콩을 가끔 놓쳐요 — 앞과 뒤는 잘 보고요. 콩이 많을수록 값도 시간도 늘어요. 콩 값은 콩으로 세는 앵무새에서.
컨텍스트 창 = 앵무새 앞의 쟁반. 한 번에 올릴 수 있는 콩 수예요. 쪽지·예시·대화·사서 페이지·답이 다 콩으로 올라가고, 차면 앞쪽 콩이 떨어져요. 크다고 다 잘 보는 건 아니고, 클수록 비싸요.
Context window. LLM 이 한 번의 호출에서 볼 수 있는 최대 토큰 수예요. 시스템 프롬프트, few-shot 예시, 대화 기록, RAG 로 가져온 문서, 생성 중인 답이 모두 여기에 들어가요. 넘치면 앞부분이 잘리거나 요약·압축해야 하고, 긴 컨텍스트에서도 가운데 정보를 놓치는 lost in the middle 현상이 있어요. 반복되는 앞부분은 프롬프트 캐싱으로 값을 줄여요.
어른들은 이렇게 불러요
- 컨텍스트 창
Context window - 쟁반. 앵무새가 한 번에 볼 수 있는 콩 수예요. 쟁반마다 크기가 달라요.
- 컨텍스트 길이
Context length - 쟁반 크기. 콩 몇 개까지 올라가나. 수천 개부터 수십만 개까지예요.
- 대화 기록
Chat history - 지금까지 한 말 콩. 매번 쟁반에 다시 올라가요. 길어지면 앞쪽이 떨어져요.
- 요약 · 압축
Summarization · compression - 긴 콩 줄을 짧게 접기. 지난 대화를 몇 콩으로 줄여서 자리를 만들어요.
- RAG
RAG (retrieval-augmented generation) - 사서가 골라 올린 페이지. 책을 다 올리는 대신 필요한 페이지만 찾아 쟁반에 놓아요.
- lost in the middle
Lost in the middle - 가운데 콩 놓치기. 쟁반 앞과 뒤는 잘 보는데 가운데는 가끔 놓쳐요.
- 프롬프트 캐싱
Prompt caching - 늘 같은 앞쪽 콩은 미리 세 두기. 주인 쪽지처럼 매번 똑같은 앞부분은 한 번만 세서 값을 줄여요.
- 토큰
Token - 콩 하나. 쟁반에 올라가는 단위. → 앵무새가 말을 콩으로 세요