목차
- 실무사례 소개시 나왔던 개념/용어들 소개
P value, P 값, Sigma등
- 용어 - 온라인 종합 대조실험, A/B 테스트, 현장 실험 등
- A/B 테스트 형태
- 관련 통계 문제 - 두 집단의 평균차이, 두 집단의 비율차이 —> T 검정
- 핵심 분석 방법론 - 통계적 유의성 확인 = 차이가 없음을 기각
- T분석 과정 이전의 기본 가정들 - 그룹간 독립, 정규성, 등분산
- 모집단 정규성 - Shapiro-Wilk(샤피로-윌크)검정 (W값)
- 실무적으로 신경써야할 지표들 - 표본 수, 유의 수준, 효과 크기, 검정력
- 효과 크기(MDE) - 유의성이 있어도 결국 의사결정은 투자 대비 효율 문제
- 표본의 크기 - 1종 오류와 2종 오류, 검정력(Power)테스트
- 문제에 따른 적절한 표본의 크기 잡는 방법(검정력을 올리거나, 신뢰수준을 올리거나)
- MS의 Metric Taxonomy - A/B테스트 전과정을 보기 위한 지표화
- A/B테스트의 12가지 함정 소개
- T검정 실습(jamovi)