AI 가속기(TPU·NPU)가 뭐예요?
TPU·NPU 같은 AI 가속기를, 오직 한 가지 계산만을 위해 만든 전용 로봇팔 이야기로 풀어봤어요.
AI 작업은 '곱하고 더하기' 한 가지 계산을 산더미처럼 쏟아내요.범용 보조팀(GPU)은 안 쓰는 기능까지 갖춰서, 곱하고 더하기만 하기엔 낭비예요.
GPU 보조팀을 늘리면 쓰지도 않는 기능에 드는 전기도 같이 늘어요.곱하고 더하기만 할 거라면, GPU의 손은 '너무 다재다능'해요.
AI 가속기 = 오직 곱하고 더하기(행렬곱)만을 위한 전용 로봇팔이에요.전용 로봇팔(AI 가속기)은 다른 일엔 안 맞지만, 행렬곱은 같은 전기로 GPU보다 대체로 더 많이 계산해요.
같은 전기를 쓸 때, 할 수 있는 일이 다양한 칩일수록 한 가지 일은 더 느려요.표 아래로 갈수록 할 줄 아는 일은 적지만, 그 일에 드는 전기는 대체로 적어요.
전용 로봇팔은 CPU·GPU를 대신하지 않아요.전용 로봇팔은 행렬곱을 맡고, 나머지 일은 CPU·GPU가 맡아요.
AI 가속기(TPU·NPU) = 오직 한 가지 계산(주로 행렬곱)만을 위해 만든 전용 하드웨어. 그 한 가지를 CPU·GPU보다 적은 전력으로 처리하도록 만들어요.
TPU(Tensor Processing Unit)는 구글이 신경망의 행렬곱·텐서 연산에 맞춰 설계한 전용 가속기(ASIC)이고, NPU(Neural Processing Unit)는 신경망 연산 전용 가속기를 두루 부르는 말로, 스마트폰처럼 기기 안에서 저전력으로 추론을 처리하는 데 많이 쓰여요. CPU는 범용성, GPU는 대규모 병렬 처리, TPU/NPU는 특정 연산 패턴에 대한 전용 최적화라는 축으로 이해하면 돼요. 범용성을 희생하는 대신 그 연산의 전력 효율이 CPU보다 훨씬, GPU보다도 대체로 높아요.
어른들은 이렇게 불러요
- TPU
TPU - 구글의 행렬곱 전용 로봇팔. 신경망 학습·추론에 특화됐어요.
- NPU
NPU - 폰 안에 들어가는 작은 전용 로봇팔. 저전력으로 추론을 처리해요.
- 특화(Specialization)
Specialization - 한 가지만 하도록 만든 것. 범용성을 버리고 속도·효율을 얻어요.
- GPU/GPGPU
GPU/GPGPU - 똑같은 간단한 일을 한번에 나눠 하는 보조 정비팀. 가속기 스펙트럼에서 한 단계 앞에 있어요. → 수백 명이 함께 움직이는 보조 정비팀
- CPU 스케줄링
CPU Scheduling - 리프트에 누가 먼저 올라갈지 정하는 규칙. 가속기에 맡길 계산은 보통 프로그램이 정하고, CPU 차례는 OS 스케줄러가 정해요. 그 페이지의 반장은 CPU가 아니라 OS 스케줄러예요. → 리프트에 누가 먼저 올라갈까
- 캐시 메모리
Cache Memory - 자주 쓰는 공구만 담는 작은 공구함. 전용 로봇팔도 자기만의 작은 공구함(온칩 메모리)을 가져요. → 바로 옆에 놓아둔 공구함
- 복잡도(Big-O)
Time Complexity - 계산량이 늘 때 시간이 느는 정도를 재는 자. 행렬곱의 계산량 자체는 그대로지만, 전용 하드웨어가 상수를 크게 줄여요. → 차가 많아질 때 얼마나 느려질까
- AI 분야의 GPU
GPU in the AI Field - AI 모델(앵무새)을 돌리는 빠른 장비(횃대). 추론 비용 관점에서 가속기를 짧게 다뤄요. → AI 추론