A/B test를 하기 위한 사전 설계

0. 실험 설계 단계에서 무엇을 해야 하나?

이미 가설과 목표 지표(핵심 KPI)가 설정되어 있다고 가정한다.

실험을 설계한다는 건 결국 “얼마나 많은 유저를, 얼마나 오랫동안, 어떤 기준으로 비교할지”를 정하는 과정이다.
특히 전환율/클릭률처럼 비율 지표(Conversion Rate, Click-through Rate)를 핵심 지표로 쓰는 경우가 많기 때문에, 비율 지표를 기준으로 실험 설계 흐름을 정리해 보자.

---

 

1) 모수(분모 규모) 확인

효과를 보고자 하는 지표의 분모가 무엇인지부터 정의해야 한다.
예를 들어 전환율이라면 “전환을 시킬 수 있는 대상 유저 수”가 분모다.
즉, 하루에 몇 명의 유저가 실험에 들어오는지(트래픽)를 먼저 확인한다.

2) 현재 베이스라인(기준 전환율) 확인

현재 핵심 지표가 어느 정도인지 확인한다.
예: 현재 전환율이 10%

3) 의미 있는 효과 기준(MDE) 설정

실제로 제품적으로/비즈니스적으로 “이 정도면 의미 있다”고 판단할 최소 효과를 정한다.
이를 MDE(Minimum Detectable Effect)라고 한다.
예: 전환율 +5%p (10% → 15%)

여기서 중요한 건, MDE는 “통계적으로 유의미할 수 있는 변화”가 아니라

“의미 있다고 볼 변화”를 먼저 정의하는 것이라는 점이다.

4) MDE 기준으로 필요한 표본 수 계산

설정한 MDE를 검출할 수 있도록, 표본 수를 계산한다.
보통 다음 조건을 함께 둔다.

• 유의수준(α): 0.05 (p-value ≤ 0.05)
• 검정력(power): 80%

즉, 실제로 효과가 있을 때 이를 80% 확률로 잡아낼 수 있도록 필요한 표본 수를 구한다.

• MDE가 클수록 → 차이가 크기 때문에 통계적 유의성을 확보하기 쉬워진다.
• 반대로 MDE가 작을수록 → 더 많은 표본이 필요해진다.

5) 필요한 표본 수를 모으기 위한 실험 기간 산정

필요한 표본 수를 확보하는 데 며칠이 걸리는지 계산해 실험 기간을 정한다.
(트래픽이 낮으면 실험 기간이 길어지고, 너무 길어지면 외부 요인에 더 취약해진다.)

---

번외) 표본 수가 제한되어 있을 때 역으로 MDE를 구하는 방법

현실에서는 다음처럼 표본 수가 이미 제한되어 있는 경우가 많다.

• 표본 수를 모으기 어렵다 (트래픽이 작아서)
• 빠른 의사결정이 필요하다
• 따라서, 실험을 오래 할 수 없다

이때는 반대로,

• 표본 수(또는 실험 기간으로 확보 가능한 유저 수)
• 베이스라인
• 유의수준(α=0.05)
• 검정력(power=80%)

을 입력값으로 두고,
통계적으로 유의미한 결과를 얻기 위해 필요한 MDE가 얼마인지를 계산할 수 있다.

---

 

 번외) 절대 MDE(% point) 기준에서 베이스라인과 표본 수의 관계

같은 절대 변화(예: +1%p)라도
베이스라인이 낮을수록(희귀할수록) 상대적 변화가 커질 수 있고,
경우에 따라 필요한 표본 수가 달라진다.

베르누이 분포에서 비율 p의 분산은 아래와 같다.

즉, p가 0이나 1에 가까워질수록 분산이 작아진다.

예시로,

베이스라인	분산 특성	같은 MDE일 때 통계적 유의성	필요한 표본수
50%	분산 큼	p-value ↑, 검정력 ↓	많아짐
10%	분산 작음	p-value ↓, 검정력 ↑	적어짐

단, 성공 건수가 희귀해서 정규 근사가 불안정할 때는
더 많은 표본 수를 요구한다 (각 그룹에서 np ≥ 5 조건 미충족 시)

 

---

 

A/B 테스트에 필요한 사전 설계 작업들을 공부하며 정리해보았습니다.
이론 자체는 비교적 명료하지만, 실무에서는 예상하지 못한 고려사항들이 많습니다.
따라서 이론을 먼저 견고히 이해한 뒤, 상황에 맞게 유연하게 적용하는 것이 중요하다고 생각합니다 ㅎㅎ