다섯 살도 알 수 있게 · AI

토큰이 뭐예요?

토큰을 앵무새가 글자도 낱말도 아닌 콩 단위로 말을 읽고 세는 이야기로 풀어봤어요.

손님이 물어요. 왜 긴 글은 돈이 더 들어요?앵무새는 글자 수로 세지 않아요. 콩 수로 세요. 콩이 많으면 값도, 기다리는 시간도 늘어요.

콩은 낱말과 다르게 쪼개져요.짧은 인사가 콩 넷, 긴 영어 낱말이 콩 셋. 한글은 대개 더 잘게 쪼개져서 같은 뜻이라도 콩이 더 들어요.

토큰은 앵무새가 말을 세는 콩이에요.말이 들어오면 콩으로 쪼개고, 답할 때도 콩을 하나씩 내놓아요. 콩 수가 값이고 시간이에요. 쟁반에 올릴 수 있는 만큼만 — 쟁반은 앵무새 앞의 쟁반에서.

콩으로 세요글자도 낱말도 아니에요

한글은 더 잘게같은 뜻, 콩은 더 많이

콩 수 = 값·시간들어간 콩, 나온 콩 둘 다

쟁반만큼만한 번에 올릴 수 있는 콩 수

앵무새마다 콩 세는 기계가 달라요.같은 문장인데 어떤 앵무새는 콩 다섯, 어떤 앵무새는 콩 아홉이에요. 자르는 자리가 다르니까요. 그래서 값도 달라요.

콩 하나가 뜻 하나는 아니에요. 그리고 쟁반엔 한도가 있어요.사과라는 콩 하나만으론 과일인지 사죄인지 몰라요. 앞뒤 콩을 이어 붙이기가 정해요. 한 번에 올릴 수 있는 콩 수는 쟁반이 정해요.

한 줄로

토큰 = 앵무새가 말을 세는 콩. 글자도 낱말도 아닌 조각이고, 한글은 더 잘게 쪼개져요. 콩 수가 값이고 시간이에요.

Token. LLM 이 텍스트를 읽고 쓰는 최소 단위예요. 토크나이저가 서브워드(BPE 등) 규칙으로 문장을 토큰으로 쪼개고, 모델마다 규칙이 달라 같은 문장의 토큰 수가 달라요. 입력·출력 토큰 수로 요금과 지연이 정해지고, 컨텍스트 창은 토큰 수로 한도가 잡혀요.

토큰 Token: 콩 하나. 앵무새가 말을 세는 조각. 낱말보다 작을 때가 많아요.
토크나이저 Tokenizer: 콩 세는 기계. 문장을 콩으로 자르는 규칙. 앵무새마다 달라요.
서브워드 Subword (BPE): 낱말 조각. 자주 붙어 다니는 글자 묶음을 콩 하나로 삼아요. BPE 가 대표적인 방법이에요.
토큰 수와 비용 Token count and cost: 콩 값. 들어간 콩, 나온 콩 둘 다 세요. 콩이 많으면 비싸고 느려요.
컨텍스트 창 Context window: 쟁반. 한 번에 올릴 수 있는 콩 수. → 앵무새 앞의 쟁반
한글 토큰 효율 Korean token efficiency: 한글은 더 잘게. 같은 뜻이라도 영어보다 콩이 더 들어요. 값도 더 들어요.
임베딩 Embedding: 콩마다 붙은 좌표 딱지. 앵무새가 콩을 숫자 묶음으로 바꿔 기억해요. 뜻이 비슷하면 딱지도 가까워요.
프롬프트 Prompt: 조련 쪽지. 쪽지도 콩으로 세요. → 앵무새에게 주는 조련 쪽지

다음 이야기

다른 용어도 그림책으로 보고 싶다면 요청하기 →