전체 아티클로 돌아가기
마케팅·CRM

D2C 이메일 A/B 테스트: 지표·관측 기간·다음 발송을 정하는 법

해외 D2C 캠페인의 비교 변수·지표 정의·관측 종료·미발송 대상 처리를 정리하고, 가상 클릭률2.0%와2.4%의 차이를 해석합니다.

D2C이메일마케팅AB테스트데이터분석klaps
이 글의 목차
가상 A/B 비교에서 각1,000건 전달·고유 클릭자A20명/B24명은2.0%/2.4%, 차이4명·0.4%p입니다. A 대비 상대 차이는20%이나 통계적 승자·구매 증가를 확정하지 않습니다. 실제 성과가 아닙니다.

해외 D2C(Direct to Consumer·소비자 직접 판매) 이메일의 A/B 테스트는 두 버전 중 무엇을 다음에 사용할지 판단하는 방법입니다. 숫자가 높은 칸을 고르기 전에 무엇을 바꾸고, 어떤 지표로, 언제까지 관측할지 정해야 결과를 해석할 수 있습니다.

이 글에서는 캠페인 이메일 한 번의 비교를 위한 결정표를 만듭니다. 공개 사례에서 어떤 비교를 했는지 살펴보고, 별도의 가상 클릭 수로 판단표를 만듭니다.

바꿀 요소 하나와 나머지 조건을 먼저 적습니다

질문이 ‘상품 설명을 강조한 제목과 사용 장면을 강조한 제목 중 어느 쪽의 반응이 나을까?’라면 제목을 비교합니다. 본문·할인·발신자·대상·발송 시각까지 동시에 바꾸면 무엇 때문에 차이가 났는지 분리하기 어렵습니다. 시장·언어가 다르면 같은 표에 무조건 합치지 말고 비교 범위를 먼저 정합니다.

표를 좌우로 스크롤해 읽어 보세요.

사전 결정작성 예시남길 근거
질문·변수제목의 강조점 하나A/B 원문·버전
비교 대상같은 시장·언어의 적격 대상배정 방식·제외 기준
우선 지표고유 클릭자 수 ÷ 전달 수집계·봇 필터 정의
관측 종료발송 전 정한 종료 시각·시간대집계 기준 시각
다음 동작종료 후 채택·보류·재설계판단자·미발송 대상 처리

이 표는 작성 예시입니다. 클릭이 목표가 아니라 구매라면 목표와 관측 기간을 그에 맞춰 바꿉니다. 플랫폼 화면의 지표 이름만으로 분자·분모를 추정하지 않고 실제 정의와 필터를 확인합니다.

가상 A/B 클릭 수 20명과 24명의 계산과 사전 결정 순서

James Wellbeloved는 고객군에 따라 다른 이메일을 선택했습니다

영국 반려동물 식품 브랜드 James Wellbeloved는 기존 이메일의 문의·행동 버튼 3개를 여러 조합으로 나눠 비교했습니다. 재구매자에게 보내는 후속 리마인더에서는 할인 버튼 1개만 둔 버전의 클릭률이 다른 버전보다 높았다고 공급사는 설명합니다. 브랜드와 대행사가 제공한 전년 대비 매출 증가율은 18.85%입니다. 해당 증가분 전체를 버튼을 줄인 효과로 해석할 수는 없습니다. Klaviyo가 공개한 테스트 사례

2.0%와 2.4%의 차이를 정확히 읽으세요

가상으로 각 버전이 1,000건씩 전달됐고 고유 클릭자가 A 20명, B 24명이라고 놓겠습니다. 여기서는 ‘고유 클릭자 수 ÷ 전달 수’를 직접 정의한 계산 예시로 사용합니다. 실제 계정의 지표 정의·필터를 재현한 표는 아닙니다.

표를 좌우로 스크롤해 읽어 보세요.

버전가상 전달 수가상 고유 클릭자예시 클릭률
A1,00020명2.0%
B1,00024명2.4%

차이는 클릭자 4명, 0.4%p입니다. A를 기준으로 한 상대 차이는 (2.4−2.0)÷2.0=20%지만, 이것만 떼어 ‘성과 20% 개선’이라고 발표하면 실제 차이와 불확실성이 가려집니다. 이 표만으로 통계적 승자, 구매 증가 또는 앞으로도 반복될 효과를 확정할 수 없습니다.

Klaviyo의 캠페인 A/B 결과 안내는 진행·완료 상태, 승리 확률, 판단 지표와 lift를 나누어 보여 줍니다. 현재 계정의 집계 정의와 관측 상태를 확인하며, 플랫폼의 승자 표시도 수익성이나 증분 매출을 보장하는 표현으로 바꾸지 않습니다.

테스트 종료와 남은 사람에게 보내는 동작을 연결합니다

Klaviyo 캠페인 A/B 안내는 일부 대상에게 먼저 시험하고 나머지에게 승자 버전을 보내는 방식과 전체를 시험하는 방식을 구분합니다. 수동 승자 선택은 아직 받지 않은 대상에게 즉시 그 버전을 보내는 동작을 포함합니다. 단순한 보고서 메모로 생각하고 누르지 않아야 합니다.

결정표에는 전체 대상 중 시험 비중, 시험 시간, 자동 승자 기준, 남은 대상의 발송 방식을 적습니다. 전체를 시험하더라도 전환 관측 창에서 데이터가 더 들어올 수 있으므로 초기 표시를 최종 결론과 혼동하지 않습니다. 실제 계정의 지원 기능·설정을 확인한 뒤 실행합니다. 이 글에서는 승자를 선택하거나 이메일을 보내지 않았습니다.

수치가 적거나 조건이 달라지면 보류할 수 있습니다

보편적인 ‘최소 몇 명이면 충분하다’는 수치를 정답처럼 두지 않습니다. 기준 반응률, 확인하려는 차이, 배정 방식, 계획한 표본과 관측 기간에 따라 필요한 설계가 달라집니다. 발송 전에 분석 기준을 정하고, 중간에 한쪽이 잠깐 높다는 이유로 종료 기준을 바꾸지 않습니다.

봇 클릭 필터, 제외 대상, 발송 지연, 링크 오류가 달라졌다면 비교 가능성부터 확인합니다. 문제가 없는 유효 비교에서도 근거가 약하면 ‘채택’ 대신 보류·추가 설계를 남길 수 있습니다. 다음 캠페인에서 다른 조건으로 반복한 결과와 이번 결과는 별도로 기록합니다.

버전 비교와 이메일 자체의 기여도는 다른 질문입니다

A와 B를 모두 발송한 비교는 어떤 버전을 쓸지에 관한 근거입니다. 이메일을 보내지 않았을 때보다 주문을 얼마나 더 만들었는지는 별도의 대조 설계가 필요합니다. 플랫폼 귀속 매출과 이메일의 순증 효과를 같은 말로 쓰지 않습니다. 이 구분은 이메일 증분 효과 측정 가이드에서도 다룹니다.

klaps의 CRM·전환 설계는 이벤트·템플릿·발송 조건·운영 가이드를 연결합니다. 캠페인 비교를 맡긴다면 질문, 버전, 지표 정의, 종료 기준과 판단 기록을 결과물로 정하세요. 특정 유의성이나 매출 상승을 일괄 보장하는 작업으로 설명하지 않습니다.

작성자

klaps 팀

디지털 마케팅·데이터·CRM·커머스 운영

클랩스는 브랜드의 디지털 마케팅, 성과 측정, CRM, 전환율 개선과 커머스 운영을 설계하고 실행합니다. Shopify 구축과 이전도 이 운영 범위 안에서 다룹니다.

마케팅 실행측정·CRM 설계커머스 운영