다섯 살도 알 수 있게 · AI
멀티모달이 뭐예요?
멀티모달 모델을 그림과 소리까지 콩으로 바꿔 먹는 앵무새 이야기로 풀어봤어요.
손님이 영수증 사진을 내밀어요. 글만 읽는 앵무새는 사진을 못 봐요.표도, 그래프도, 사진도 다 그래요. 앵무새는 눈을 감은 것 같아요.
왜냐면 앵무새는 콩만 먹는 새였거든요. 그림은 콩이 아니에요.앵무새 부리는 콩 모양이에요. 사진 속 숫자는 콩으로 들어오지 않으니, 있는지도 몰라요.
멀티모달은 그림과 소리도 콩으로 바꿔 먹는 앵무새예요.사진 한 장이 콩 수백 개가 돼요. 그러면 글 콩이랑 똑같이 이어 붙일 수 있어요 — 사진을 보고 답하는 것처럼요.
사진·표·그래프 그대로 줘요옮겨 적지 말고 보여줘요
그림은 콩이 많아요쟁반을 많이 써요
그림 속 글자도 읽어요간판, 표, 손글씨
그리는 앵무새는 따로안개에서 그림 꺼내기
그림은 조각조각 콩으로 바뀌어요. 소리도, 그림 속 글자도요.그림 한 장이 콩 수백 개라서 쟁반이 금방 차요. 대답을 그림으로 하는 건 다른 앵무새 일이에요.
큰 모양은 잘 봐요. 작은 글자와 숫자는 틀리기 쉬워요.보는 게 아니라 콩으로 바꾼 걸 이어 붙이는 거라, 콩이 흐리면 그럴듯하게 채워요. 영수증 숫자는 사람이 확인해요.
한 줄로
멀티모달 = 그림·소리도 콩으로 바꿔 먹는 앵무새. 사진 한 장은 콩 수백 개라 쟁반이 금방 차고, 작은 글자·숫자는 사람이 확인해요.
Multimodal model. 텍스트 외에 이미지·오디오·비디오를 입력(때로 출력)으로 다루는 모델이에요. 이미지는 패치 단위로 이미지 토큰이 되어 컨텍스트 창을 크게 차지하고, 음성은 STT 로 토큰이 돼요. 이미지 생성은 보통 별도의 디퓨전 모델이 맡아요.
어른들은 이렇게 불러요
- 멀티모달
Multimodal - 그림도 보는 앵무새. 글·그림·소리를 한 앵무새가 다 콩으로 먹어요.
- 비전 모델
Vision model - 그림 부리. 그림을 콩으로 바꾸는 부분이에요. 큰 앵무새에 붙어 있어요.
- 이미지 토큰
Image tokens - 그림 콩. 사진 한 장이 콩 수백~수천 개. 그래서 쟁반이 금방 차요. → 쟁반
- 음성 인식 · 합성
Speech-to-text · text-to-speech - 소리 → 콩, 콩 → 소리. STT 는 말소리를 콩으로, TTS 는 콩을 말소리로 바꿔요.
- OCR 과의 차이
Difference from OCR - 글자만 뽑기 vs 그림째 먹기. OCR 은 글자만 떼어내요. 멀티모달은 글자·모양·자리를 한꺼번에 봐요.
- 문서 이해
Document understanding - 표·영수증·계약서 읽기. 칸이 어디에 있는지까지 봐요. 그래도 숫자는 사람이 확인해요.
- 비디오 입력
Video input - 그림을 여러 장 이어서. 영상은 사진을 여러 장 뽑아 콩으로 바꿔요. 콩이 아주 많아져요.
- 이미지 생성
Image generation - 그리는 앵무새. 보는 것과 그리는 것은 다른 일이에요. → 안개에서 그림 꺼내기
다음 이야기
안개에서 그림 꺼내기 →