다섯 살도 알 수 있게 · AI이론
AI 학습용 데이터 품질관리가 뭐예요?
AI 학습용 데이터 품질관리를, 선별기를 가르치기 전에 씨앗(훈련 데이터) 상태부터 점검하는 이야기로 풀어봤어요.
농부가 훈련 데이터(씨앗) 바구니를 들고 왔는데, 라벨과 상태가 엉망이에요.라벨이 틀리고, 상한 것도 섞이고, 같은 게 여러 번 들어있어요.
교사가 라벨이 틀린 재료를 그대로 가르치면, 선별기는 라벨 실수까지 정답으로 배워요.선별기는 틀린 라벨도 의심 없이 그대로 배워요.
데이터 품질관리 = 가르치기 전에 씨앗 자체부터 검사하는 일이에요.좋은 씨앗만 걸러야, 선별기도 제대로 배워요.
라벨 맞는지 확인하기이름표가 작물과 실제로 맞는지 봐요
중복·결측 걸러내기같은 것·빈 것을 치워요
치우침 점검하기한 종류만 쌓이지 않게요
최신 상태 유지하기오래된 데이터는 새것으로 갈아요
데이터 품질은 흔히 정확성·완전성·일관성·대표성 같은 기준으로 가늠해요.네 기준 중 하나라도 무너지면, 선별기의 '정답률' 숫자를 믿기 어려워져요.
데이터 품질관리만으로 선별기 성능이 보장되진 않아요.좋은 재료는 필요조건일 뿐, 선별기 성적은 따로 재야 해요.
한 줄로
AI 학습용 데이터 품질관리 = 선별기를 가르치기 전에, 씨앗(훈련 데이터)의 라벨·중복·편향부터 검사하는 일.
AI 학습용 데이터 품질관리는 모델을 학습시키기 전, 훈련 데이터의 정확성·완전성·일관성·대표성을 점검하고 개선하는 활동이에요. 라벨 오류, 결측치, 중복, 데이터 편향을 방치하면 '성능 좋은 모델'이 아니라 '엉망을 그대로 외운 모델'이 나와요. Garbage In, Garbage Out — 모델 구조를 아무리 잘 짜도 재료가 나쁘면 결과는 나빠요.
어른들은 이렇게 불러요
- 데이터 품질관리
Data quality management - 씨앗(훈련 데이터)부터 검사하는 일. 가르치기 전에 먼저 봐요.
- 라벨링
Labeling - 농작물에 이름표 붙이기. 틀린 이름표는 흔한 사고예요.
- 데이터 편향
Data bias - 한 종류만 잔뜩 담긴 바구니. 선별기가 많이 본 종류만 잘 맞히게 돼요.
- 결측치
Missing value - 라벨이나 값이 빠져 있는 작물. 빠진 이유를 살핀 뒤 보통 채우거나 빼요.
- 중복 데이터
Duplicate data - 같은 작물 사진이 여러 장. 같은 사진이 훈련과 시험에 함께 들어가면 성적이 부풀려져요.
- 데이터 증강
Data augmentation - 작물을 돌리고 뒤집어 사진을 늘리는 것. 적은 재료로 더 다양하게 가르쳐요.
- 학습/검증/테스트 분할
Train/val/test split - 가르칠 바구니, 연습 바구니, 시험 바구니를 나누는 것. 섞으면 시험이 쉬워져 거짓 성적이 나와요.
- 그라운드 트루스
Ground truth - 검수반장이 확인해 둔 진짜 정답. 모든 품질관리의 기준이 되는 원본이에요.
다음 이야기
모든 검사장이 함께 쓰는 등급 원칙판 →