다섯 살도 알 수 있게 · AI

temperature가 뭐예요?

temperature(온도)를 앵무새가 1등 콩만 고를지 아래 콩도 가끔 고를지 정하는 엉뚱함 다이얼 이야기로 풀어봤어요.

같은 질문인데 답이 자꾸 바뀌어요.어제는 나비, 오늘은 구름, 방금은 치즈. 손님은 앵무새가 고장 났나 싶어요.

다음 콩 후보가 여럿이에요. 어느 걸 고를지가 문제예요.늘 1등 콩만 고르면 답이 똑같고 지루해요. 아래 콩도 가끔 고르면 새롭지만 가끔 엉뚱해요.

temperature는 1등 콩만 고를지, 아래 콩도 가끔 고를지 정하는 엉뚱함 다이얼이에요.다이얼을 0에 두면 늘 1등 콩. 올릴수록 아래 콩도 자주 뽑혀요. 조련사가 일에 맞게 돌려요.

0에 가까우면 늘 같은 답정리·코드·뽑아내기에 좋아요

높이면 새로운 답아이디어·이야기에 좋아요

사실 질문은 낮게엉뚱한 콩이 끼면 틀려요

같은 다이얼도 완전히 같진 않아요0이어도 가끔 달라요

다이얼만 달라요. 답이 이렇게 달라져요.0은 늘 같은 답, 0.7은 조금씩 다른 답, 1.5는 새롭지만 엉뚱한 답. 대부분의 일은 가운데쯤이 편해요.

다이얼은 고르는 버릇만 바꿔요. 새 지식은 안 생겨요.있는 후보 중에서 고를 뿐이라 읽은 책 밖의 콩은 안 나와요. 대신 높일수록 그럴듯한 거짓말이 끼기 쉬워요.

한 줄로

temperature = 앵무새가 1등 콩만 고를지 아래 콩도 가끔 고를지 정하는 엉뚱함 다이얼. 낮으면 늘 같은 답, 높이면 새롭지만 엉뚱한 답 — 새 지식이 생기는 건 아니에요.

다음 토큰 확률 분포를 얼마나 평평하게 만들지 정하는 샘플링 파라미터예요. 0에 가까우면 최고 확률 토큰만 골라 거의 결정적이고, 높이면 낮은 확률 토큰도 뽑혀 다양해지지만 오류·할루시네이션 확률이 올라가요. top-p, top-k 와 함께 써요.

temperature Temperature: 엉뚱함 다이얼. 0에 가까우면 1등 콩만, 높이면 아래 콩도 가끔. 보통 0~2 사이.
샘플링 Sampling: 후보 중에서 하나 뽑기. 별 개수(확률)에 따라 콩을 뽑는 일. 다이얼은 이 뽑기의 버릇을 바꿔요.
top-p Top-p (nucleus): 별 합이 p가 될 때까지만 후보로. 바나나 ☆ 같은 꼬리 후보를 잘라내요. 다이얼과 같이 써요.
top-k Top-k: 위에서 k개만 후보로. 예: k=3이면 좋다·춥다·바나나까지만.
결정적 출력 Deterministic output: 다이얼 0. 늘 1등 콩이라 거의 같은 답. 완전히 똑같진 않을 수 있어요.
시드 Seed: 뽑기 주사위의 시작 번호. 같은 시드면 같은 뽑기가 나오도록 해 봐요. 모든 앵무새가 지원하진 않아요.
창의성 vs 정확성 Creativity vs accuracy: 다이얼의 양 끝. 이야기·아이디어는 높게, 사실·코드·정리는 낮게.
다음 토큰 후보 Next-token candidates: 다음 콩 후보 쪽지. 별이 많은 콩이 1등. → 콩

다음 이야기

다른 용어도 그림책으로 보고 싶다면 요청하기 →