다섯 살도 알 수 있게 · SW공학
통계적 가설검정이 뭐예요?
통계적 가설검정을, 새 표지가 진짜 더 잘 팔리는지 숫자로 가려내는 출판사 이야기로 풀어봤어요.
편집장은 느낌만 있지, 확신은 없어요.느낌만으로 표지를 바꾸면 위험해요.
새 표지가 우연히 하루 반짝 잘 팔린 걸 수도 있어요.우연과 진짜 차이를 가를 숫자가 필요해요.
가설검정은 '차이 없다'고 가정하고 데이터로 따져봐요.p값이 기준(유의수준)보다 작으면 '차이 없다'는 가정을 버려요.
귀무가설 세우기일단 차이 없다고 가정해요
데이터 모으기두 표지를 본 두 그룹의 판매를 비교해요
p값 계산하기차이가 없다면 이만큼 이상 벌어질 확률을 재요
기준과 비교하기p값이 기준보다 작으면 가정을 버려요
p값이 유의수준보다 작으면 귀무가설을 기각하고, 아니면 기각하지 못해요. 기각하지 못했다고 '차이 없음'이 증명된 건 아니에요.가설검정도 틀릴 수 있어요, 틀릴 위험을 감안하고 판단하는 거예요.
통계적으로 '차이 있다'가 '중요한 차이'는 아니에요.p값으로 '차이 있다'고 판단해도, 그 차이가 표지를 바꾼 비용만큼 값어치를 하는지는 따로 봐야 해요.
한 줄로
통계적 가설검정은 '차이가 없다'고 일단 가정하고, 데이터가 그 가정과 얼마나 안 맞는지를 따져 진짜 차이인지 판단하는 절차예요.
가설검정은 귀무가설(차이/효과가 없다)과 대립가설(차이/효과가 있다)을 세우고, 표본 데이터로부터 p-value(귀무가설이 맞다고 할 때 지금 결과 이상이 우연히 나올 확률)를 계산해 유의수준(보통 0.05)과 비교함으로써 귀무가설을 기각할지 결정해요. 실제로는 차이가 없는데 있다고 잘못 판단하면 1종 오류, 실제로는 차이가 있는데 없다고 잘못 판단하면 2종 오류라고 해요.
어른들은 이렇게 불러요
- 귀무가설
Null Hypothesis - '차이가 없다'는 출발 가정. 일단 '차이가 없다'고 가정하고 시작해요.
- 대립가설
Alternative Hypothesis - '차이가 있다'는 주장. 귀무가설이 기각되면 대립가설을 받아들여요.
- p값
p-value - 차이가 없다고 할 때 지금만큼 또는 더 극단적인 결과가 우연히 나올 확률. 작을수록 '차이 없다'는 가정과 안 맞아요.
- 유의수준
Significance Level - 판단의 기준선(보통 0.05). p값이 이보다 작으면 기각해요.
- 1종 오류
Type I Error - 차이 없는데 있다고 오판. 성급한 판단의 위험이에요.
- 2종 오류
Type II Error - 차이 있는데 없다고 오판. 진짜 차이를 놓치는 위험이에요.
- SW 성능테스트
Performance Testing - 시스템의 한계를 숫자로 재는 테스트. 목적은 다르지만 숫자로 판단하는 건 같아요. → 미리 몰려보는 가짜 독자들
- 메타모픽 테스트
Metamorphic Testing - 정답을 몰라도 관계로 확인하는 법. 정답이 아예 없을 때 쓰는 다른 접근이에요. → 정답 없이도 관계로 확인하기
다음 이야기
줄거리는 그대로, 문장만 다시 다듬기 →