[Yammer/Mode] A/B 테스트 분석 : 2️⃣ 랜덤 샘플링

 

[Yammer/Mode] A/B 테스트 결과 검증 : 1️⃣ SQL 쿼리 뜯어보기

 

이전 글을 통해 Yammer사에서 진행한 새로운 포스팅 기능의 A/B test에 대해 알아보았습니다.

SQL을 뜯어보는 과정에서 어떤 오류와 편향이 발생했는지 추측해볼 수 있는데요,

오늘은 A/B test의 샘플에 대해서 샘플링에서 외부 변수가 잘 통제되었는지, 즉 Random Sampling (무작위 추출)이 잘 이루어졌는지
그리고 가설이 통계적으로 유의미하기 위해 샘플 사이즈가 적정한지 알아보겠습니다 😀

 

 

Random Sampling (무작위 추출)

A/B 테스트에서 random sampling은 통제변수가 잘 관리된 것을 전제로 모든 표본이 동일한 확률을 가진 상태에서 뽑는 무작위 추출을 의미합니다.

제3의 변수가 종속 변수(목표지표)에 영향을 미칠 수 있다고 판단된다면 이를 통제하여 샘플링 과정에 반영함으로써 영향을 차단해야 합니다.

흔히 하는 회원번호를 홀/짝으로 나누는 방법은 랜던 샘플링이 아닙니다. 이는 편의 추출(convenient sampling)으로 랜덤 샘플링과 사람들이 흔히 혼동을 합니다.

 

 

 

사용 언어의 분포

select distinct
  a.language, 
  count(a.user_id) over (partition by a.language) * 100 / count(a.user_id) over () as language_proportion,
  count(b.user_id) over (partition by a.language) * 100 / count(b.user_id) over () as control_language_proportion,
  count(c.user_id) over (partition by a.language) * 100 / count(c.user_id) over () as test_language_proportion,
  count(a.user_id) over (partition by a.language) as user_count,
  count(b.user_id) over (partition by a.language) as control_user_count,
  count(c.user_id) over (partition by a.language) as test_user_count,
  count(a.user_id) over () as total_users,
  count(b.user_id) over () as control_total_users,
  count(c.user_id) over () as test_total_users
from tutorial.yammer_users a
left join (select user_id from tutorial.yammer_experiments where experiment = 'publisher_update' and experiment_group = 'control_group') b
  on a.user_id = b.user_id
left join (select user_id from tutorial.yammer_experiments where experiment = 'publisher_update' and experiment_group = 'test_group') c
  on a.user_id = c.user_id
order by 2 desc, 3 desc, 4 desc

 

언어 설정(Language setting)과 같은 외부 변수가 실험 결과에 영향을 줄 수 있기 때문에, 각 그룹 내 해당 변수의 분포를 확인하는 것이 중요합니다.
전체 사용자, 대조군, 실험군의 언어 설정 비율을 비교한 결과, 세 그룹 간 분포가 거의 동일하게 나타나 외부 변수로 인한 영향을 최소화하였음을 알 수 있습니다.

 

 

접속 국가의 분포

select distinct
  a.location, 
  count(a.user_id) over (partition by a.location) * 100 / count(a.user_id) over () as language_proportion,
  count(b.user_id) over (partition by a.location) * 100 / count(b.user_id) over () as control_language_proportion,
  count(c.user_id) over (partition by a.location) * 100 / count(c.user_id) over () as test_language_proportion,
  count(a.user_id) over (partition by a.location) as user_count,
  count(b.user_id) over (partition by a.location) as control_user_count,
  count(c.user_id) over (partition by a.location) as test_user_count,
  count(a.user_id) over () as total_users,
  count(b.user_id) over () as control_total_users,
  count(c.user_id) over () as test_total_users
from 
(select distinct user_id, location
from tutorial.yammer_events) as a
left join (select user_id from tutorial.yammer_experiments where experiment = 'publisher_update' and experiment_group = 'control_group') b
  on a.user_id = b.user_id
left join (select user_id from tutorial.yammer_experiments where experiment = 'publisher_update' and experiment_group = 'test_group') c
  on a.user_id = c.user_id
order by 2 desc, 3 desc, 4 desc

 

접속 국가 또한 실험에 영향을 줄 수 있는 하나의 외부 변수로 이를 통제해야 합니다.

전체 사용자, 대조집단, 실험집단의 접속 국가의 분포를 확인했을 때, 모두 거의 흡사한 비율로 분포되어 있음을 확인할 수 있습니다.
즉, 접속 국가는 잘 통제가 되었습니다.

 

 

가입경과일 분포

 

with a as
(SELECT
  a.user_id,
  a.experiment_group,
  '2014-07-01' - b.created_at::date AS days_since_signup
FROM tutorial.yammer_experiments a
JOIN tutorial.yammer_users b
  ON a.user_id = b.user_id
order by 3)

select 
  experiment_group, 
  days_since_signup,
  count(user_id)
from a
group by 1, 2
order by 1, 2

 

2024-07-01 기준으로 가입경과일을 시각화해보면

대조집단에 최근 가입한 유저가 다수 포함된 것을 확인할 수 있습니다.

최근 가입한 유저는 기존 유저와 달리 서비스의 기능들을 활발하게 탐색하며 포스팅 기능을 더 많이 사용했을 가능성이 있습니다.

따라서, 가입 날짜라는 외부 변수 또한 통제하지 못한 것을 확인할 수 있습니다. 

 

실험집단은 가입일이 32일 미만인 유저는 없는 것을 확인할 수 있습니다.. 

 

 

대조군에서 신규 가입자의 비율이 과도하게 높아 결과에 영향을 줄 수 있으므로,

이를 통제하기 위해 가입일 기준 32일 미만의 사용자를 제외해야 합니다.

또한 실험이 6월 1일자로 시작되었기 때문에 기존 가입자들을 대상으로 실험을 진행하기 위해 가입일을 5월 1일 이전으로 추려 A/B test를 재해석해보겠습니다.

 

 

새로 설정한 대조집단의 언어, 국가, 기기 분포 확인하기

 

신규 가입자를 제외한 새 대조집단이 언어, 국가, 기기 등의 외부 변수에 영향을 받는지 확인하기 위해 다시 분포를 확인합니다.

(위의 코드와 동일하여 코드는 생략하겠습니다.)

언어 분포

나라 분포

기기 분포

확인 결과, 새로운 대조집단과 실험집단의 언어, 국가, 기기 변수는 전체 비율과 동일하게 분포되어 있습니다.

 

 

대조집단과 실험집단의 engagement 비교

-- 5.1 ~ 5.31까지의 engagement
-- 6.1 ~ 6.30까지의 engagement
-- test/control 집단별로 비교
-- engagement은 login과 send_message로 정의

with experiment_table as (
select 
  a.user_id,
  a.experiment_group
from tutorial.yammer_experiments a
join tutorial.yammer_users b
  on a.user_id = b.user_id
where a.experiment = 'publisher_update'
  and b.created_at < '2014-05-01')

SELECT 
  ex.experiment_group,
  count(distinct ex.user_id) as user_count,
  (SUM(CASE WHEN e.event_name = 'login' and e.occurred_at BETWEEN '2014-05-01' AND '2014-05-31' THEN 1 ELSE 0 END) * 1.0)
  / count(distinct ex.user_id) AS old_login_ratio,
  (SUM(CASE WHEN e.event_name = 'send_message' and e.occurred_at BETWEEN '2014-05-01' AND '2014-05-31'  THEN 1 ELSE 0 END) * 1.0) 
  / count(distinct ex.user_id) as old_sendm_ratio,
  (SUM(CASE WHEN e.event_name = 'login' and e.occurred_at BETWEEN '2014-06-01' AND '2014-06-30'THEN 1 ELSE 0 END)*1.0)
  / count(distinct ex.user_id) AS new_login_ratio,
  (SUM(CASE WHEN e.event_name = 'send_message' and e.occurred_at BETWEEN '2014-06-01' AND '2014-06-30' THEN 1 ELSE 0 END) * 1.0)
  / count(distinct ex.user_id) as new_sendm_ratio
FROM tutorial.yammer_events e
JOIN experiment_table ex
  ON e.user_id = ex.user_id
GROUP BY ex.experiment_group
order by 2 desc

 

 

Old ratio는 5월, new ratio는 실험이 진행된 6월의 지표를 의미합니다.
대조군과 실험군의 5월 engagement 지표를 비교해본 결과, 실험군의 engagement rate이 대조군보다 애초에 더 높았던 것을 확인할 수 있습니다.
특히 login과 send_message 지표 모두에서 실험군이 대조군보다 높은 수치를 기록하고 있습니다.

 

따라서, A/B 테스트에서 관찰된 포스팅 수 차이가 실제로는 실험 변수인 새로운 publish 기능 때문이 아닐 가능성이 높으며, 집단 간 사전 차이(pre-existing differences)에 기인했을 가능성을 고려해야 합니다.

 

따라서, 유저의 engagement에 따라 영향을 받는 포스팅 수가 아닌

유저 액션이 로그인한 후에 포스팅까지 이어졌는지, 그 전환율을 측정하는 것이 더 올바른 A/B test의 목표지표가 될 수 있습니다.

 

 

배운 점

 

A/B 테스트의 샘플을 선정할 때는, 국가, 언어 등 외부 변수를 통제한 상태에서 무작위로 추출해야 실험 결과의 신뢰도를 확보할 수 있습니다.

특히, 신규 유저와 기존 유저는 새로우 기능에 대한 반응이 다를 수 있기 때문에 a/b test를 진행할 때에는 신규 유저와 기존 유저를 나누어서 진행해야 합니다. 따라서, 저는 신규 유저를 실험에서 제외하였습니다.

 

다음 포스팅에서는 새로운 목표지표인 전환율의 차이를 구하고 결과가 통계적으로 유의미한지 확인하기 위해 샘플사이즈를 설정하고 t-test를 진행해보겠습니다.