LLMOps가 뭐예요?
LLMOps 를 손님 앞에 내놓은 앵무새를 매일 돌보는 이야기 — 쪽지 버전 적기, 대화 기록, 콩 값·시간 재기, 시험, 종 울리기 — 로 풀어봤어요.
앵무새를 손님 앞에 내놓았어요. 어느 날 답이 이상해졌는데, 언제부터인지 왜인지 아무도 몰라요.만드는 날은 잘 됐어요. 그런데 손님 앞에 내놓은 뒤가 진짜예요 — 그럴듯한 오답이 언제 새기 시작했는지 기록이 없으면 못 찾아요.
앵무새도 쪽지도 서가도 계속 바뀌는데 기록이 없어요. 게다가 앵무새 답은 원래 매번 달라서 고장인지 알기 어려워요.쪽지 한 줄, 서가 한 칸, 앵무새 새 판 — 뭐 하나만 바뀌어도 답이 달라져요. 그런데 엉뚱함 다이얼 때문에 같은 질문도 매번 조금씩 달라서, 눈으로는 고장을 못 가려요.
LLMOps 는 앵무새를 매일 돌보는 일이에요. 쪽지 버전 적기, 대화 기록하기, 콩 값·시간 재기, 시험 돌리기, 이상하면 종 울리기.만들기가 끝이 아니라 돌보기가 시작이에요. 모든 바꿈을 적고, 모든 대화를 남기고, 매일 시험을 돌려요. 그래야 "언제부터, 왜"에 답할 수 있어요.
한 화면에서 봐요. 쪽지가 바뀌자 콩 값이 오르고 점수가 떨어졌어요 — 종이 울려요.쪽지 v4 가 10시에 들어갔고, 그때부터 콩 값이 오르고 시험 점수가 떨어졌어요. 이제 "언제부터, 왜"를 알아요 — 되돌리기 한 번이면 돼요.
앵무새가 안 바뀌어도 손님 질문이 바뀌면 답이 나빠져요(드리프트). 그래서 계속 봐요.시험은 한 번이 아니라 매일이에요. 콩 값이 튀거나 울타리에 막히는 답이 늘면 종을 울려요. 대화를 기록할 땐 비밀 콩을 꼭 가려요.
LLMOps = 손님 앞에 내놓은 앵무새를 매일 돌보는 일. 쪽지 버전 적기, 대화 기록(비밀 콩은 가리고), 콩 값·시간·거절률 재기, 바꾸기 전후 시험, 이상하면 종. 앵무새가 그대로여도 세상이 바뀌면 답이 나빠지니(드리프트) 계속 봐요.
LLMOps. LLM 앱을 운영하는 일 전체예요. 프롬프트를 코드처럼 버전 관리하고, 요청·응답·도구 호출을 트레이싱해 로그로 남기며(PII 마스킹), 비용·지연 시간·거절률·품질 점수를 모니터링해요. 배포 전 평가 파이프라인으로 회귀를 잡고, 카나리 배포로 일부 트래픽에만 먼저 내보내요. 모델이 그대로여도 입력 분포가 바뀌면 품질이 떨어지는 드리프트 때문에 평가는 상시로 돌려요.
어른들은 이렇게 불러요
- LLMOps
LLMOps - 앵무새 매일 돌보기. 만든 뒤가 진짜예요. 적고, 기록하고, 재고, 시험하고, 종 울리기.
- 프롬프트 버전 관리
Prompt versioning - 쪽지에 v3, v4 적기. 누가 언제 뭘 바꿨는지 남겨요. 나빠지면 전 판으로 되돌려요. → 조련 쪽지
- 트레이싱 · 로그
Tracing · logs - 대화 기록하기. 질문, 답, 도구 쪽지, 걸린 시간을 남겨요. 비밀 콩은 가려요. → 비밀 콩
- 평가 파이프라인
Evaluation pipeline - 바꿀 때마다 자동 시험. 쪽지나 앵무새를 바꾸면 시험지를 자동으로 풀게 해요. → 시험관의 채점표
- 모니터링
Monitoring - 값·시간·품질을 매일 보기. 콩 값, 답하는 시간, 거절률, 시험 점수를 화면에 띄워요. → 콩 값
- 드리프트
Drift - 앵무새는 그대로인데 답이 나빠짐. 손님 질문이 바뀌거나 세상이 바뀌면 생겨요. 그래서 시험은 한 번이 아니라 계속이에요.
- 카나리 배포
Canary release - 손님 열 중 하나에게만 먼저. 새 쪽지를 일부 손님에게만 내놓고 종이 안 울리면 나머지에게도 내놓아요.
- 가드레일
Guardrail - 울타리. 울타리에 막히는 답이 갑자기 늘면 뭔가 바뀐 거예요. → 울타리