D2C(Direct-to-Consumer, 소비자 직접 판매) 이메일 보고서에 매출이 잡혔다고 그 금액 전체가 이메일 덕분에 새로 생겼다고 볼 수는 없습니다. 이미 구매하려던 고객이 메일을 읽었을 수도 있습니다. 운영 보고서의 귀속 매출과 추가 구매 효과를 검토하는 비교 설계를 나누어 기록해야 합니다.
해외 이메일을 계속 운영할 이유를 설명할 때도 이 구분이 필요합니다. 귀속 보고서는 어떤 메시지와 주문이 연결됐는지 보는 데 쓰고, 예산이나 발송 확대 판단에는 고객의 전체 구매 결과와 비교 조건을 함께 봅니다. 이번 글은 실제 실험 실행 지시가 아니라 사전에 합의할 측정 계획입니다.
귀속 기간을 읽고 질문을 정합니다
Klaviyo 공식 귀속 문서는 메시지 상호작용과 설정된 기간에 따라 전환을 귀속한다고 설명합니다. 계정마다 현재 설정을 확인하고 보고서에 함께 남깁니다. 도구 사이 귀속 매출을 단순 합산하면 같은 주문을 중복 평가할 수도 있습니다.
추가 효과를 묻는다면 “이 메시지를 보내지 않았을 때와 비교해 구매한 사람이 얼마나 달라졌는가”처럼 범위를 좁힙니다. 캠페인 한 건, 재구매 고객군, 전체 CRM 프로그램은 서로 다른 실험입니다. 비교하려는 범위를 먼저 정해야 다른 메시지를 어떻게 처리할지도 결정할 수 있습니다.
티켓 재판매 플랫폼은 이메일을 받지 않은 그룹과 비교했습니다
Management Science에 발표된 연구는 온라인 티켓 재판매 플랫폼에서 할인 이메일을 보내거나 보내지 않도록 무작위로 나눈 현장 실험 70건을 분석했습니다. 행사 기간에 이메일 발송군의 1인당 평균 지출은 비발송군보다 3.03달러 높았습니다. 비발송군 평균 대비 37.2%입니다. 어떤 주문이 이메일에 귀속됐는지 세는 대신 두 그룹의 전체 구매를 비교한 결과입니다. 할인 이메일을 쓴 한 플랫폼에서 관측한 수치를 정가 캠페인의 예상치로 쓰기는 어렵습니다.
가상 4%와 3%를 읽는 방법
설명용으로 공통 대상에서 무작위 배정한 두 군이 각각 1,000명이고 같은 관찰 기간에 발송군 40명, 비발송군 30명이 구매했다고 가정합니다. 여러 번 주문한 사람도 구매자로는 한 번만 셉니다. 결과는 4%와 3%, 차이는 1%포인트입니다. 상대 차이는 약 33.3%이지만 이 값은 실제 브랜드 성과나 예상 상승률이 아닙니다.
배정된 인원을 분모로 유지합니다. 받은 사람·열어 본 사람만 분모로 바꾸면 처음 비교하려던 집단이 달라집니다. 이 가정에서 관측 차이를 발송군 1,000명에 적용한 값은 10명이지만, 그 열 명을 확정된 추가 고객으로 보고하지 않습니다.
차이의 불확실성이 남기 때문입니다. 단순 독립 비율의 정규근사로 계산하면 차이의 표준오차는 약 0.82%포인트, 95% 구간은 대략 −0.61~2.61%포인트입니다. 0을 포함하므로 이 예시만으로 효과를 확정할 수 없습니다. 이는 설명용 근사이며 실제 분석은 배정 구조·반복 관찰·표본 크기에 맞춰 검토합니다.
구매 비율이 비교 가능하려면
관찰 시작과 종료 시각, 시간대, 유효 주문 기준을 양쪽에 똑같이 적용합니다. 취소·환불 처리와 고객 식별 병합 규칙도 고정합니다. 이 예시의 결과 지표는 주문 수나 매출이 아닌 구매자 비율입니다. 이익을 보려면 비용과 환불을 포함한 별도 지표를 사전에 정합니다.
다른 자동화 메일이나 SMS가 한쪽에만 더 나갔는지, 행사 조건이 중간에 바뀌었는지 기록합니다. 고객이 두 군에 섞이거나 비교 중 다시 배정되면 해석이 어려워집니다. 무작위 배정 없이 기존 고객과 신규 고객을 비교한 값은 같은 종류의 증분 효과 근거로 쓰지 않습니다.
글로벌 대조군 기능과 이메일 한 건의 실험은 구분합니다
Klaviyo 글로벌 대조군 문서는 전체 프로필 40만 개 이상 계정을 조건으로 설명하며 여러 마케팅 채널을 함께 다룹니다. 주문 확인 같은 거래 메시지는 예외입니다. 따라서 위의 가상 2,000명 예시는 이 기능의 사용 자격이나 실제 화면 설정을 보여주는 예시가 아닙니다.
공식 문서는 블랙프라이데이 같은 중요한 행사 시기와 대조군 운영의 충돌도 고려하도록 안내합니다. 발행일이 행사 직전이라고 바로 발송을 끊는 실험을 시작할 필요는 없습니다. 필요한 메시지와 고객 경험을 먼저 정하고, 표본·기간이 부족하면 효과 판단을 보류한 채 주문과 노출 기록부터 정리합니다.
다음 의사결정에 남길 결과물
측정 계획에는 대상과 배정 단위, 제외·동의 조건, 중단하지 않을 메시지, 관찰 기간, 주 지표, 필요한 표본과 종료 판단을 적습니다. 실행 후에는 배정 인원, 구매자 수, 노출 오염과 불확실성을 함께 보고합니다. 유리한 수치가 나올 때마다 끝내는 방식은 피합니다.
같은 고객군의 획득비가 언제 회수됐는지 보는 계산과 이메일로 구매가 더 생겼는지 확인하는 비교는 서로 다른 결정에 쓰입니다. 두 결과를 하나의 매출 지표로 합치지 않습니다. klaps의 CRM·전환 업무는 계약 범위에 따라 지표 정의, 데이터 대사와 실험 준비를 구체화할 수 있습니다.
이메일을 보내기로 정한 대상 안에서 두 문안을 고르는 일이라면 이메일 A/B 비교의 관측 기준을 참고하세요.
