A/B Test, 이중차분법

1. A/B Test

-A와 B를 대조하여 가설을 검정하는 실험법

-ex)배너위치 변경은 클릭전환율이 증가할 것이다 / 5%할인쿠폰보다 5천원 할인쿠폰이 주문이 더 많을 것

---

2. 이중차분법

-독립변수와 종속변수 간 인과효과를 측정하기 위한 인과 추론법(처치 전후 지표와 시계열 데이터 비교)

	처치 전	처치 후
실험군	a	A
대조군	b	B

• 실험군: 실험자가 종속변수와 상관성이 높아 보이는 독립변수에 변화를 주는 그룹
• 대조군: 실험군과 대조하기 위해 처치를 하지 않는 그룹
• 이중차분: (A-a) - (B-b)

---

3. 개요

1)가설: 정액이 기재된 할인쿠폰의 주문 전환율이 더 높을 것이다 2)데이터  -종속변수: 주문전환율(1: 실험기간 중 주문이 1번이라도 있는 경우 / 0: 실험기간 중 주문이 없는 경우)  -독립변수: 쿠폰유형 (5천원 VS 5% 할인)  -대조그룹: 쿠폰 미지급 100명  -실험그룹: 5천원 할인쿠폰 100명 / 5% 할인쿠폰 100명  -관찰기간 6/5~6/11 VS 6/12~6/18(6/12 쿠폰발급)

Mysql 쿼리

with T1 as ( select ctt.mem_no, "group", ord_no, case when ord_dt between '2023-06-05' and '2023-06-11' then '처치 전' when ord_dt BETWEEN '2023-06-12' and '2023-06-18' then '처치 후' end as period from coupon_target_table ctt left join order_master_did omd on ctt.mem_no = omd.mem_no ) select "group", period, count(distinct mem_no) as ord_cnt from T1 where period is not NULL group by 1,2

결과

그룹	처치 전	처치 후	처치 후-처치 전	이중차분
통제	62%	56%	-6%	-
실험1	36%	40%	4%	4%-(-6%) = 10%
실험2	61%	62%	1%	1%-(-6) = 7%