Deep Dive 🌊

0. 실험 설계 단계에서 무엇을 해야 하나?이미 가설과 목표 지표(핵심 KPI)가 설정되어 있다고 가정한다.실험을 설계한다는 건 결국 “얼마나 많은 유저를, 얼마나 오랫동안, 어떤 기준으로 비교할지”를 정하는 과정이다.특히 전환율/클릭률처럼 비율 지표(Conversion Rate, Click-through Rate)를 핵심 지표로 쓰는 경우가 많기 때문에, 비율 지표를 기준으로 실험 설계 흐름을 정리해 보자. 1) 모수(분모 규모) 확인효과를 보고자 하는 지표의 분모가 무엇인지부터 정의해야 한다.예를 들어 전환율이라면 “전환을 시킬 수 있는 대상 유저 수”가 분모다.즉, 하루에 몇 명의 유저가 실험에 들어오는지(트래픽)를 먼저 확인한다.2) 현재 베이스라인(기준 전환율) 확인현재 핵심 지표가 어느 정도인..

1. 개요데이터 분석가가 갖추어야 할 많디 많은 역량 중 데이터 엔지니어링 / 인프라도 있다데이터 분석가가 데이터 엔지니어링 / 인프라를 알아야 하는 이유는 1. 커뮤니케이션 비용 감소DA는 DE와 자주 소통을 하게 되는데 데이터 아키텍쳐를 알면 데이터 적재 요청 등 데이터 관련 요청 및 질문을 더 효과적으로 할 수 있다2. 데이터 거버넌스 유지데이터 아키텍쳐를 이해하면 데이터 원천을 건드려야 할지, 마트를 새로 만들지 판단하는 기준을 세울 수 있다내가 데이터 아키텍쳐를 알고자 하는 주된 이유다3. 분석 속도 최적화이 부분은 몰랐는데 원천 테이블을 매번 Join해서 분석하면 속도가 느려짐으로, 아키텍쳐를 알면 마트를 구성해서 속도를 높여야 겠다는 판단이 된단다.이 이유는 상기와 일맥상통한다데이터 아키텍쳐..

[Yammer/Mode] A/B 테스트 분석 : 2️⃣ 랜덤 샘플링[Yammer/Mode] A/B 테스트 결과 검증 : 1️⃣ SQL 쿼리 뜯어보기Yammer 분석 프로젝트"야머(Yammer)"는 마이크로소프트 산하의 기업용 소셜 네트워크 서비스 회사입니다. Mode에서 가상의 야머사의 데이터를syimmin-data-analysis.tistory.com이전 포스팅에서 샘플이 무작위하게 추출되었는지 확인하였고 새로운 대조집단과 실험집단을 설정해주었습니다.그리고 기존의 목표지표였던 유저당 포스팅 수는 실험의 효과를 측정하기에 옳지 않다고 판단하여 로그인 대비 포스팅 전환율을 새로운 목표지표로 설정해주었습니다.이번 포스팅에서는 새로운 목표지표를 계산해보고 샘플 사이즈가 적정한지 확인한 후, t-test를 진행..

[Yammer/Mode] A/B 테스트 결과 검증 : 1️⃣ SQL 쿼리 뜯어보기Yammer 분석 프로젝트"야머(Yammer)"는 마이크로소프트 산하의 기업용 소셜 네트워크 서비스 회사입니다. Mode에서 가상의 야머사의 데이터를 제공합니다. 이를 활용하여 현업과 유사한 문제 상황을syimmin-data-analysis.tistory.com 이전 글을 통해 Yammer사에서 진행한 새로운 포스팅 기능의 A/B test에 대해 알아보았습니다.SQL을 뜯어보는 과정에서 어떤 오류와 편향이 발생했는지 추측해볼 수 있는데요,오늘은 A/B test의 샘플에 대해서 샘플링에서 외부 변수가 잘 통제되었는지, 즉 Random Sampling (무작위 추출)이 잘 이루어졌는지그리고 가설이 통계적으로 유의미하기 위해 샘플..

Yammer 분석 프로젝트"야머(Yammer)"는 마이크로소프트 산하의 기업용 소셜 네트워크 서비스 회사입니다. Mode에서 가상의 야머사의 데이터를 제공합니다. 이를 활용하여 현업과 유사한 문제 상황을 가정하고 해결하는 프로젝트를 진행하겠습니다. A/B test 상황야머사에서 새로운 포스팅(publisher) 기능을 테스트하기 위해 A/B test를 6월 1일부터 6월 30일까지 진행하였습니다.야머사에 로그인한 일부 사용자들은 기존 버전(대조군)을 보았고, 다른 사용자들은 새로운 버전(실험군)을 보았습니다.7월 1일 A/B 테스트 결과를 확인한 결과, 실험군이 대조군 대비 포스팅 개수가 50% 더 높다는 것을 발견했습니다. 이는 게시 활동이 크게 증가한 것입니다. ⭐️ 이번 글을 통해 야머사에서 진행..

배경토스는 서비스 그로스를 위해 다양한 기능을 실험해왔습니다. 그 예시로 내 주변 토스 찾기, 오늘의 운세, 경제 퀴즈 등이 있습니다.그 중에 송금지원금이라는 기능은 친구에게 송금지원금을 보내서 신규 유저를 유입시키기 위한 기능입니다.과거 토스의 인플로우 사일로에서 오로지 MAU를 성장시키기 위해 inflow를 끌어오는 것을 목표로 만들어진 서비스입니다. 해당 서비스가 탄생한 배경이 흥미로워 이 서비스를 출시하고 팀 내에서 어떤 지표를 성공 척도로 설정하여 성과를 트래킹했을지 분석하고자 합니다. 서비스 목적어플의 inflow(유입)를 성장시킨다어플의 CC(Carrying Capacity)을 성장시킨다CC(Carrying Capacity)는 토스에서 가장 중요하게 내세우는 지표로 서비스가 성장할 수 있는 ..

Cohort Analysis (코호트 분석) Cohort는 '동질집단'이라는 뜻이다.Cohort 분석은 공통된 특성을 가진 사용자 집단(코호트)의 행동 변화를 시간에 따라 분석하여 트렌드와 패턴을 파악하는 기법이다. 플랫폼의 사용자들이 서비스를 어떤 비율로 재방문/재구매하는지 확인하고 싶을 때, 즉 사용자의 리텐션을 파악하고자 할 때 유용하게 사용할 수 있다.보통 월(monthly) 또는 주(weekly) 단위로 리텐션을 확인한다. Data 준비데이터는 캐글의 온라인 세일 데이터를 사용했다. https://www.kaggle.com/datasets/jihyeseo/online-retail-data-set-from-uci-ml-repo Online Retail Data Set from UCI ML repo..