다섯 살도 알 수 있게 · AI

편향이 뭐예요?

AI 편향을, 앵무새가 읽은 책 더미가 한쪽으로 기울어 있으면 답도 그쪽으로 기우는 이야기로 풀어봤어요.

의사는 늘 같은 모습, 이름만 달라도 점수가 달라요.앵무새 답이 어딘가 한쪽으로 기울어 있어요. 왜일까요?

앵무새는 제일 자주 이어진 콩을 골라요 — 책이 기울면 앵무새도 기울어요.앵무새는 읽은 책에서 제일 자주 본 것을 고르는 새예요. 책에 한쪽 이야기만 많으면, 그쪽 답만 나와요. 앵무새 잘못이 아니에요.

편향은 앵무새가 읽은 책의 치우침이 답에 그대로 나오는 거예요.앵무새 잘못이 아니라, 책과 우리의 거울이에요. 책은 사람이 썼으니까요. 그래서 없애기보다 재고, 줄이고, 중요한 건 사람이 봐요.

문제집에 넣어요치우침 문항으로 재요

이름만 바꿔 봐요성별·지역도 — 같은 답이어야 해요

중요한 결정은 사람이채용·대출·진료

예절 교육으로 줄여요줄이지만 없애진 못해요

같은 이력서에 이름만 바꿔 넣어 보고, 점수가 다르면 표시해요.이름·성별·지역 하나만 바꾸고 나머지는 똑같이 — 답이 달라지면 치우친 거예요. 시험관의 채점표에 이런 문항을 넣어 두고 계속 재요.

고치려다 반대로 기울기도 해요. 그래서 없애는 게 아니라 계속 재요.예절 교육은 치우침을 줄이지만 지나치면 사실까지 바꿔요(과잉 교정). 그래서 채용·대출 같은 중요한 결정은 마지막을 사람이 봐요.

한 줄로

편향 = 앵무새가 읽은 책의 치우침이 답에 그대로 나오는 것. 앵무새 잘못이 아니라 책과 우리의 거울이라, 없애기보다 계속 재고 중요한 결정은 사람이 해요.

Bias. 학습 데이터의 분포가 특정 집단·관점으로 치우쳐 있으면 모델 출력도 그 방향으로 치우쳐요. 반사실 테스트(이름·성별·지역만 바꾸기)와 공정성 벤치마크로 재고, 정렬(RLHF 등)로 줄이되 과잉 교정을 조심해요. 고위험 결정에는 사람 확인이 필수예요.

편향 Bias: 읽은 책의 치우침. 답에 그대로 나와요. 앵무새 잘못이 아니라 거울이에요.
학습 데이터 편향 Training data bias: 책 더미가 한쪽으로 기움. 한쪽 이야기가 훨씬 많아서 그쪽만 나와요. 책 더미 자체는 → 책 읽는 학교
공정성 평가 Fairness evaluation: 시험 문제집의 치우침 문항. 집단별로 답이 다른지 재요. → 시험관의 채점표
반사실 테스트 Counterfactual test: 이름만 바꿔 보기. 이름·성별·지역 하나만 바꾸고 답이 같은지 봐요.
대표성 Representation: 책에 모두가 골고루 있나. 적게 나온 집단은 앵무새가 잘 모르거나 한 가지 모습으로만 그려요.
과잉 교정 Over-correction: 고치려다 반대로 기움. 사실까지 바꿔 말하게 돼요. 그래서 고친 뒤에도 다시 재요.
정렬 Alignment: 앵무새 예절 교육. 치우침을 줄이지만 없애진 못해요. → 앵무새 예절 교육
사람 확인 Human review: 중요한 결정은 사람이. 채용·대출·진료는 앵무새 답으로 끝내지 않아요. → 마지막은 사람이

다음 이야기

다른 용어도 그림책으로 보고 싶다면 요청하기 →