다섯 살도 알 수 있게 · AI이론
온디바이스 AI가 뭐예요?
온디바이스 AI를, 인터넷이 안 되는 외딴 밭에서도 바로 작동하도록 가볍게 줄여 창고 안에 둔 작은 선별기 이야기로 풀어봤어요.
외딴 밭에서는 인터넷이 잘 안 터져요.인터넷이 끊기면 중앙 선별 서비스도 못 써요.
신호를 기다리는 동안 작물이 상해요.제자리에서 바로 판단할 작은 선별기가 필요해요.
온디바이스 AI는 선별기를 작게 줄여 내 창고 안에 직접 두는 것이에요.사진이 밖으로 안 나가고, 그 자리에서 답이 나와요.
가볍게 줄이기압축·양자화로 작게 만들어요
인터넷 없이 작동신호가 없어도 멈추지 않아요
사진이 안 나가요창고 밖 서버로 안 보내요
선별기 판정이 살짝 둔해져요줄인 만큼 중앙 선별기보다 판정이 덜 정교해요
중앙 서비스와 온디바이스를 나란히 비교해요.온디바이스는 통신 대기 없는 응답·오프라인 사용·데이터 보호를 얻는 대신, 판정의 정교함을 살짝 내줘요.
선별기를 작게 줄인 만큼 판정 능력에도 한계가 있어요.기기 저장공간·배터리에 맞춰 줄인 만큼, 큰 선별기보다 아는 게 적어요.
한 줄로
온디바이스 AI = 선별기(모델)를 가볍게 줄여 내 기기(창고) 안에 직접 두고, 인터넷 없이 그 자리에서 바로 쓰는 방식.
On-device AI는 모델을 양자화·경량화(distillation 등)해 폰·노트북·IoT 기기 안에서 직접 추론을 돌리는 방식이에요. 네트워크 왕복 지연이 없고, 데이터가 기기 밖으로 나가지 않아 프라이버시에 유리하지만, 저장공간·배터리·연산력 제약 때문에 중앙 클라우드 모델보다 크기와 성능이 제한돼요. AIaaS(클라우드 서비스)와는 반대되는 선택지로, 지연시간·오프라인·프라이버시가 중요하면 온디바이스를, 최고 성능이 중요하면 클라우드를 골라요.
어른들은 이렇게 불러요
- 양자화
Quantization - 선별기 안의 숫자를 더 적은 자릿수로 줄여 가볍게 만드는 기술. 모델을 작게 만드는 핵심 기술이에요. → 자세히 보기
- 지연시간
Latency - 요청을 보내고 답을 받을 때까지 기다리는 시간. 온디바이스는 통신 지연이 없지만, 기기 계산 시간은 걸려요.
- 오프라인 추론
Offline Inference - 인터넷 없이도 작동하는 판정. 창고 안에서 바로 끝나요.
- 경량화 · 지식증류
Model Compression · Distillation - 큰 선별기의 요령만 작은 선별기에 옮기는 일. 온디바이스에 올리기 전 흔히 거치는 과정이에요.
- AIaaS
AIaaS - 선별기를 사지 않고 구독하는 쪽. 온디바이스와 반대되는 선택지예요. → 자세히 보기
- AI 개인정보보호
AI Data-Privacy Compliance - 작물 사진을 지키는 서류함. 사진이 밖으로 안 나가면 국외이전 같은 서류 부담을 덜 수 있어요. → 자세히 보기
- 엣지 컴퓨팅
Edge Computing - 농가 근처에 둔 작은 계산대. 온디바이스는 엣지 컴퓨팅의 한 종류예요.
- AI 신뢰성
AI Trustworthiness - 정확도만으론 못 받는 품질인증 등급판. 줄인 선별기도 이 기준으로 다시 점검해요. → 자세히 보기
다음 이야기
치우치지 않은 저울눈금 →