다섯 살도 알 수 있게 · AI이론
이상치가 뭐예요?
이상치를, 비슷한 크기의 작물 무리 속에서 유난히 튀는 하나를 찾아내는 이야기로 풀어봤어요.
비슷한 크기 사과들 사이에, 유난히 큰 작물이 있어요.큰 작물 하나는 딱 봐도 나머지와 달라요.
이상치를 무시하면 평균이 끌려가고, 무조건 버리면 중요한 신호를 놓쳐요.이상치는 실수의 흔적일 수도, 진짜 중요한 신호일 수도 있어요.
이상치는 나머지 무리와 통계적으로 확연히 다른 데이터 포인트예요.'다르다'는 건 느낌이 아니라, 거리나 흩어진 정도로 재는 거예요.
거리로 보기무리 중심에서 얼마나 먼지요
표준편차로 보기평균에서 표준편차 몇 배만큼 벗어났는지요(Z-점수)
사분위수로 보기가운데 뭉치에서 크게 벗어났는지요(IQR)
이유부터 확인하기무조건 버리지 않아요
이상치를 찾는 방법은 여러 가지지만, 공통점은 '기준선을 정한다'는 거예요.기준선을 어디에 긋느냐에 따라, 같은 작물도 이상치가 되거나 안 되거나 해요.
'이상치'라고 다 지워야 하는 건 아니에요.적대적 공격으로 조작된 작물도 통계적으론 이상치처럼 보일 수 있어요.
한 줄로
이상치 = 거리나 표준편차로 쟀을 때, 나머지 무리와 확연히 다른 데이터 포인트.
이상치(Outlier)는 거리 기반(군집 중심과의 거리), Z-점수(평균에서 표준편차 몇 배 떨어졌는지), IQR(사분위 범위에서 크게 벗어났는지) 같은 통계적 기준으로 찾아내는, 나머지 데이터와 뚜렷이 다른 값이에요. 센서 오류나 입력 실수의 흔적일 수도 있고, 드물지만 진짜 중요한 신호(사기 거래, 희귀 질환, 공격 흔적)일 수도 있어서, 발견했다고 무조건 지우기보다 원인부터 확인하는 게 원칙이에요. 군집분석의 DBSCAN이 찾아내는 '노이즈'도 이상치의 한 모습이에요.
어른들은 이렇게 불러요
- 이상치
Outlier - 무리에서 유난히 튀는 작물. 거리나 표준편차로 측정해 찾아요.
- Z-점수
Z-score - 평균에서 표준편차 몇 배 떨어졌는지 재는 숫자. 데이터가 종 모양에 가까우면 보통 절댓값 3을 넘을 때 이상치로 봐요.
- IQR(사분위 범위)
IQR (interquartile range) - 가운데 50%가 모여 있는 범위. 흔히 이 범위 폭의 1.5배보다 더 벗어나면 이상치로 봐요.
- 노이즈
Noise - DBSCAN이 어느 무리에도 안 넣고 남기는 점. 군집분석에서 이상치가 등장하는 모습이에요. → 이름표 없이 비슷한 것끼리 모으기
- 이상 탐지
Anomaly detection - 이상치를 찾아내는 일 자체를 목적으로 삼는 것. 사기 탐지, 설비 고장 예측 등에 쓰여요.
- 데이터 정제
Data cleaning - 오류로 확인된 이상치를 골라내는 작업. 씨앗(학습 데이터) 품질관리의 한 과정이에요. → 상한 씨앗으로 가르친 선별기
- 적대적 공격
Adversarial attack - 통계적으로도 이상치처럼 보일 수 있는 조작. 방어 중 하나가 이상치 탐지예요. → 작물에 몰래 붙인 가짜 점무늬
- 혼동행렬
Confusion matrix - 이상치 탐지의 성능도 이 표로 확인해요. 무엇을 "놓쳤는지" 역시 네 칸으로 나눠 볼 수 있어요. → 네 칸으로 나눈 도장 기록부
다음 이야기
나라가 정한 최소 등급 기준 →