[Yammer/Mode] A/B 테스트 분석 : 3️⃣ 목표 지표 설정, 샘플 사이즈 설정, t-test 진행

 

[Yammer/Mode] A/B 테스트 분석 : 2️⃣ 랜덤 샘플링

이전 포스팅에서 샘플이 무작위하게 추출되었는지 확인하였고 새로운 대조집단과 실험집단을 설정해주었습니다.

그리고 기존의 목표지표였던 유저당 포스팅 수는 실험의 효과를 측정하기에 옳지 않다고 판단하여 로그인 대비 포스팅 전환율을 새로운 목표지표로 설정해주었습니다.

이번 포스팅에서는 새로운 목표지표를 계산해보고 샘플 사이즈가 적정한지 확인한 후, t-test를 진행하여 통계적 유의성을 검정해주겠습니다.

 

 

목표지표 재설정하기

 

앞선 포스팅에서 이런 생각이 들기 시작합니다. "실험의 목표지표를 1인당 포스팅 수로 설정하는 게 옳은가?"

집단의 engagement 수도 다를 뿐더러, 단순히 포스팅 수로 새로운 포스팅 기능이 더 효과적이라고 할 수 있을까요?

만약 1번 로그인하고 2번 포스팅한 것과 4번 로그인하고 3번 포스팅한 것 중 어떤 경우가 더 실질적인 기능 개선으로 볼 수 있을까요?

 

따라서 새로운 게시 기능의 효과를 평가하기 위해서는, 로그인 수를 반영한 포스팅 전환율을 핵심 지표로 삼아야 합니다.

 

-- publisher update 실험 데이터 가져오기
with ex as (
SELECT user_id,
               experiment,
               experiment_group,
               occurred_at
          FROM tutorial.yammer_experiments
         WHERE experiment = 'publisher_update'
       ),

-- 실험 처치받은 기간의 데이터 가져오기
a as
(SELECT
       ex.experiment_group,
       ex.user_id,
       e.event_name,
       e.occurred_at,
       case when event_name = 'login' then 1 else 0 end as session
  FROM ex
  JOIN tutorial.yammer_events e
    ON e.user_id = ex.user_id
   AND e.occurred_at >= ex.occurred_at
   AND e.occurred_at < '2014-07-01'
   AND e.event_type = 'engagement'
   AND e.event_name in ('login', 'send_message')
order by 2, 4),

-- 각 login 마다 세션 마킹하기
b as 
(SELECT
  experiment_group,
  user_id,
  event_name,
  occurred_at,
  sum(session) over (partition by experiment_group, user_id order by occurred_at) as session_grp
from a
order by 2, 4),

-- login 세션에 send_message 여부 확인하기
-- 세션에서 login -> send_message 했으면 1, login만 했으면 0으로 표시
c as
(SELECT
  experiment_group, 
  user_id,
  case when count(*) > 1 then 1 else 0 end as conversion
FROM b
group by experiment_group, user_id, session_grp
order by 2)

-- 실험집단과 대조집단의 평균 conversion_rate 구하기
SELECT
d as
(SELECT
  experiment_group,
  count(distinct user_id) as users,
  avg(conversion) as average,
  STDDEV(conversion) AS stdev,
  VARIANCE(conversion) AS variance
from c
group by 1

• 한번 로그인할 때마다 세션 하나로 마킹하였습니다.
• 한 로그인 세션에 send_message를 했으면 1(전환O)으로 표시, send_message를 하지 않았다면 0(전환X)으로 표시했습니다.
• 단, 한 로그인 세션에 여러번 send_message를 한 경우에도, 중복으로 count하지 않고 1번의 전환으로 표시했습니다. 
• 집단별 평균 전환율을 구했습니다.

(왼) 로그인 기준으로 세션을 마킹 (오) send_message한 세션은 1로 마킹 (전환으로 간주)

 

 

목표지표 결과 확인

 

 

실험 결과, 대조집단의 전환율은 0.55, 실험집단은 0.61로, 새로운 기능 도입 시 약 10%의 전환율 증가가 나타났습니다.

 

이전 지표에서는 50%의 지표 상승률이 있었지만 목표지표를 전환하고 난 뒤, 상승률이 조정된 것을 확인할 수 있습니다.

그러나 1인당 포스팅 수보다 로그인에서 포스팅까지의 전환율이 새로운 포스팅 기능의 효과를 잘 나타낼 수 있습니다.

 

 

샘플 사이즈 설정

 

대조집단, 실험집단의 표본의 적정 수는 1081명으로 더 많은 표본을 확보해야 함을 알 수 있습니다.

 

 

t-test 진행하기

• 이표본 t-검정, 양측 검정으로 진행
• 등분산이 아니기 때문에 Welch's t-test에 의해 자유도 계산 후 p값 구하기

welch's t-test에 기반한 등분산이 아닌 경우의 자유도 계산 방법

 

-- 위 코드에서 CTE D 까지는 동일하게 가져왔습니다

e as
(SELECT *,
       MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.users ELSE NULL END) OVER () AS control_users,
       MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.average ELSE NULL END) OVER () AS control_average,
--       MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.total ELSE NULL END) OVER () AS control_total,
       MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.variance ELSE NULL END) OVER () AS control_variance,
       MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.stdev ELSE NULL END) OVER () AS control_stdev,
       SUM(d.users) OVER () AS total_treated_users
  FROM d)

SELECT
  experiment_group,
  users,
  average,
  stdev,
  ROUND((e.average - e.control_average) / SQRT((e.variance/e.users) + (e.control_variance/e.control_users)),4), -- t값 구하기
  WITH e AS (
  SELECT *,
         MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.users ELSE NULL END) OVER () AS control_users,
         MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.average ELSE NULL END) OVER () AS control_average,
         MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.variance ELSE NULL END) OVER () AS control_variance,
         MAX(CASE WHEN d.experiment_group = 'control_group' THEN d.stdev ELSE NULL END) OVER () AS control_stdev,
         SUM(d.users) OVER () AS total_treated_users
    FROM d
)

SELECT
  experiment_group,
  users,
  average,
  stdev,
  -- t값 계산
  ROUND((e.average - e.control_average) / SQRT((e.variance/e.users) + (e.control_variance/e.control_users)), 4) AS t_value,
  -- 자유도 계산 (Welch's formula)
  ROUND(POWER((e.variance / e.users + e.control_variance / e.control_users), 2)
    /(POWER(e.variance / e.users, 2) / (e.users - 1) + POWER(e.control_variance / e.control_users, 2) / (e.control_users - 1)), 2) AS degrees_of_freedom
from e

 

 

계산 결과, 

t값은 2.4088, 자유도는 1332.3이 나왔습니다.

해당 값으로 파이썬에서 p-값을 구해주겠습니다. 

 

 

p값은 0.0161로 0.05보다 작기 때문에 결과가 통계적으로 유의미하다고 해석할 수 있습니다!

 

결과 정리 및 해석

 

A/B test의 목표지표를 포스팅 전환율로 새로 설정했습니다.

그리고 그에 따른 샘플 사이즈 설정과 t-test를 진행했습니다.

t-test에서는 자유도(표본 수)에 따른 p값을 구해줬는데 사실 n>=30 이면, z분포와 매우 가까워 이전 방법으로 p값을 계산해도 무방합니다.
결과적으로 p값이 0.016으로 실험집단과 대조집단의 포스팅 전환율 차이가 통계적으로 유의미하다고 볼 수 있습니다.

 

 

이전 목표지표인 포스팅 수의 결과값 차이는 50% 이상 차이를 보인 반면에, 새로운 목표지표인 전환율는 10%의 차이를 보였습니다.
기존 지표는 실제 유저 행동이나 서비스의 실질 가치를 잘 나타내지 못했다고 생각합니다. 전환율은 Yammer에서 유저가 얼마나 자주 로그인하는지와 상관없이 실제로 서비스를 쓰는지 더 잘 보여주고 있습니다.

전환율 외에도 로그인 빈도나 포스팅 말고 다른 기능(댓글, 알림, 좋아요 등) 사용 빈도도 같이 확인하여, 새 포스팅 기능이 전체적인 서비스 흐름에 부정적인 영향을 주진 않았는지도 살펴볼 수 있습니다. 

한계점은 실험 이전인 5월 기준으로 실험군과 대조군의 전환율이 동일하지 않았습니다. 이 부분이 나중에 결과 해석에 영향을 줄 수 있다는 점에서 아쉬웠고, 실험을 재설계하게 된다면 해당 부분은 통제할 수 있도록 설계하면 좋겠습니다.

 

 

느낀 점

 

실험에서 유의미한 인사이트를 얻기 위해서는 실험을 잘 설계해야 한다는 것을 느꼈습니다.

외부변수가 통제되지 않으면 실험 처치의 실제 효과를 해석하기 힘들며

실험의 성공기준인 목표지표를 제대로 설정하지 않으면 의미없는 결과를 얻게 될 수 있습니다.
외부변수 통제부터 지표설정까지 체계적으로 A/B test를 설계해야 할 것입니다.