이젠 감이 아닌 데이터로 확인하세요 - 노티플라이 A/B 테스트 가이드

마케팅 메시지는 발송하고 성과를 확인하기 전까지는 누구도 “이게 더 좋다”라고 단언할 수 없습니다.
결국 “어떤 문구가 더 많은 반응을 유도할까?” 에 대한 고민 끝에 지난 경험을 근거로 하나를 고르게 되죠.

하지만 과거의 성공 사례가 이번 캠페인, 이번 타겟에도 똑같이 적용될 확률은 얼마나 될까요? 마케팅 업무에서 나오는 수많은 선택지를 감으로만 판단하다 보면 우리는 성과가 좋아도 왜 좋은지, 나빠도 왜 나쁜지 정확한 원인을 파악하기 어렵습니다. 

노티플라이는 이런 불확실성을 줄이고 데이터로 성과를 검증할 수 있도록 두 가지 A/B TEST 기능을 제공합니다. 

- 캠페인 A/B 테스트 : 같은 고객군을 무작위로 나누어 서로 다른 메시지를 발송하고, 어떤 메시지가 더 좋은 성과를 만드는지 비교하는 기능
- 유저 여정 랜덤 분기 : 여정에 진입한 고객을 설정된 비율에 따라 여러 경로로 무작위 배정하여, 메시지 문구, 채널, 발송 시점, 발송 횟수 같은 개별 요소부터 후속 시나리오 전체까지 성과를 비교할 수 있는 기능

이번 글에서는 두 기능의 특징과 활용 사례를 정리해 보았습니다.

Part 1. 캠페인 A/B 테스트 - 메시지 소재를 정교하게 비교하기

1. 캠페인 A/B 테스트란?

캠페인 A/B 테스트는 같은 고객군을 무작위로 나누어 서로 다른 메시지를 발송하고, 성과를 비교할 수 있는 기능입니다. 만약 앱 푸시를 발송한다면, '오늘만 전 상품 20% 할인'이라는 A안과 '고객님을 위한 특별 할인 혜택이 도착했어요'라는 B안으로 고객을 나누어 테스트를 진행할 수 있습니다.

이후 분석 대시보드에서 클릭률과 구매 전환율을 비교해 어떤 메시지가 고객의 행동에 영향을 미쳤는지 파악할 수 있습니다.

메시지 간의 성과를 비교하는 것뿐만 아니라 마케팅 캠페인의 순수 효과를 정확히 검증하기 위해 ‘컨트롤 그룹’이라는 장치를 활용하기도 합니다. 

컨트롤 그룹은 마케팅 메시지를 발송하지 않은 대조군으로, 아무런 마케팅 액션 없이 발생하는 기본 구매 전환율을 확인하는 데 쓰입니다. 이를 통해 제품을 원래 구매할 계획이었던 고객과 마케팅 메시지의 영향을 받아 구매한 고객을 구분할 수 있게 됩니다.

2. 성공적인 A/B 테스트를 위해 기억해야 할 4가지

앞서 컨트롤 그룹의 필요성을 확인한 것처럼 A/B 테스트는 '어떻게 설계하느냐'에 따라 결과의 신뢰도가 달라집니다. A/B 테스트를 실행하기에 앞서 의미 있는 인사이트를 얻기 위해 실무자가 꼭 지켜야 할 4가지 핵심 원칙을 먼저 살펴보겠습니다.

1) 전환 이벤트를 하나로 설정하기
클릭률이 높다고 반드시 구매율도 높은 것은 아닙니다. 아래와 같은 경우를 생각해 봅시다.

A안이 더 많은 클릭을 받았지만, 구매 전환율에서는 B안이 더 높은 성과를 거두었습니다. 클릭률만 보고 위너 소재를 정하면 이런 차이를 놓치게 될 수 있습니다. 그래서 위너 소재를 결정하는 전환 이벤트는 클릭이 아니라 구매, 가입, 예약처럼 실제 마케팅 캠페인을 진행하는 목표에 맞춰 설정하는 것이 중요합니다.

2) 상황과 목적에 맞는 테스트 변수 설정하기
가장 이상적인 A/B 테스트는 변수를 한 번에 하나씩만 변경하여 어떤 요소가 성공을 이끌었는지 명확히 판단하는 것입니다. 제목이나 내용, 이미지 같은 여러 요소들을 동시에 바꾸면 어떤 변수가 성과 차이를 만들었는지 확인할 수 없기 때문입니다.

하지만 모수가 부족한 상황에서 변수를 하나씩 바꾸게 되면 유의미한 결과를 얻기까지 실험 기간이 길어지거나 A/B 테스트의 검정력 자체가 떨어질 수 있습니다. 이런 경우에는 세부적인 요소보다 전체적인 메시지 컨셉을 다르게 설정하여 그룹 간의 성과 차이를 극대화 하는 것이 현실적인 대안이 될 수 있습니다. 

집행하려는 캠페인의 상황과 목적에 맞는 적절한 방식을 선택하여 테스트를 진행해 보세요.

3) 적절한 표본 크기와 성과 판단 기준(최소 감지 효과) 세우기
대상자가 너무 적으면 결과 차이가 나더라도 우연에 의한 것인지 판단하기 어렵습니다. 

이는 단순히 "많은 사람에게 발송하는 것이 좋다"는 이야기가 아닙니다. 평소 전환율이 낮거나 A안과 B안의 성과 차이가 적은 케이스일수록 더 많은 사람들에게 테스트해야 믿을 수 있는 결과값이 나옵니다.

하지만 아주 작은 성과 차이까지 전부 확인하려고 한다면 테스트 기간이 너무 길어지는 딜레마에 빠지게 될 수 있습니다. 그러므로 테스트를 시작하기 전에 “최소 N% 이상의 차이가 나야만 유의미한 결과로 인정하겠다”는 성과 판단 기준을 세워두는 것이 좋습니다.

4) 초반 결과만 보고 조기 종료하지 않기
테스트를 시작하고 며칠 만에 한쪽의 성과가 눈에 띄게 앞서는 경우가 종종 있습니다. 하지만 이 시점에는 p-value가 우연히 낮게 나오는 경우도 있어서 초반 성과만 보고 테스트를 조기 종료한다면 실제로는 유의미하지 않은 차이를 "이겼다"고 잘못 판단할 위험이 커집니다. 

계획한 최소 기간과 목표 표본이 채워지기 전까지는 중간 결과를 참고만 하고 최종 결과를 보고 위너 소재를 판단하는 것을 권장합니다.

3. 실행 예시: 장바구니 이탈 고객 재구매 유도 캠페인

앞서 살펴본 테스트 가이드를 바탕으로 노티플라이 캠페인 A/B 테스트를 설계하는 과정을 살펴보겠습니다.

장바구니에 상품을 담고 결제하지 않은 고객을 대상으로 메시지 카피 A/B 테스트를 진행하는 경우를 가정해 보겠습니다. 콘솔에서 아래 4단계 순서로 캠페인을 세팅할 수 있습니다.

1단계 - 가설 설정: 가설을 설정할 때는 변수, 예상 결과, 이유를 함께 정리합니다. 여기서 '이유'는 결과가 가설과 다르게 나왔을 때 "왜 예상이 틀렸는가"를 되짚어볼 기준이 되기 때문에 가설 수립 시 함께 설정하는 것이 좋습니다.
예) "이탈 고객은 가격보다 재고 소진에 더 민감하게 반응하기 때문에 장바구니 상품 품절 임박을 강조하면, 무료배송을 강조할 때보다 구매 전환율이 높아질 것이다."

2단계 - 타겟 & 그룹 설정: [발송 대상] 단계에서 세그먼트를 정의하고 [메시지 및 액션] 단계에서 그룹 A, 그룹 B, 컨트롤 그룹의 비율을 배정합니다. 컨트롤 그룹은 뒤에서 살펴볼 증분 효과 측정에 사용되므로 포함하는 것을 권장합니다.

3단계 - 메시지 작성: [메시지 및 액션] 단계에서 테스트할 메시지를 입력합니다. 이번 예시처럼 '메시지 카피'의 성과를 비교하는 것이 목적이라면 카피를 제외한 이미지, 발송 시간 등의 나머지 요소는 모두 동일하게 통제하는 것이 좋습니다.
예) A안: "장바구니 상품이 곧 품절될 수 있어요" / B안: "장바구니 상품 구매 시 무료배송" 

4단계 - 전환 이벤트 설정: [성과 분석 구성] 단계에서 전환 이벤트를 설정합니다. 전환 이벤트는 최대 4개까지 설정할 수 있으며 이 중 가장 집중해야 할 지표를 전환 지표로 설정해야 합니다. 

지표가 여러 개라면 위너 소재를 판단하는 기준이 모호해질 수 있으므로 전환 지표 외의 수치는 참고용으로만 확인하는 것이 좋습니다.

4. 발송 후 결과 확인하기

발송이 시작되면 대시보드에서 그룹별 클릭 수와 클릭률, 전환 수와 전환율, 기준 대비 개선율, p-value, 신뢰구간을 확인할 수 있습니다.

대시보드에서 볼 수 있는 각 지표의 의미를 파악했다면 이제 이 수치들을 활용해 마케팅 메시지의 진짜 성과를 판단할 차례입니다.

컨트롤 그룹 대비 증분 효과 계산하기

컨트롤 그룹을 함께 보면 메시지의 순수한 증분 효과를 계산할 수 있습니다. 예를 들어 메시지 수신군의 구매 전환율이 5%, 컨트롤 그룹의 구매 전환율이 3%라면 메시지의 증분 효과, 즉 마케팅 메시지의 영향을 받아 이루어진 구매는 약 2%p입니다. 

이 2%p라는 숫자에 평균 객단가와 발송 대상자 수를 곱해보면 이 캠페인이 실제로 만들어낸 추가 매출을 대략적으로 가늠할 수 있습니다.

만약 컨트롤 그룹이 없다면 메시지 수신군의 구매 전환율 5%를 모두 마케팅 메시지의 성과로 오인해 결과를 과대평가하게 될 수 있습니다.

p-value와 신뢰구간 확인하기

p-value는 귀무가설(A안과 B안의 효과 차이가 없다는 가설)이 옳다는 가정 하에 순전히 우연만으로 해당 결과가 발생했을 확률을 의미합니다. 보통 이 값이 0.05(5%) 미만일 때 통계적으로 유의미한 차이가 있다고 판단합니다. 즉, p-value가 0.05보다 낮다는 것은 “이번 테스트의 결과가 우연히 일어날 확률이 5% 미만이다”라고 해석할 수 있습니다.

신뢰구간은 테스트 성과가 단순한 우연인지 판단할 수 있도록 도와주는 지표로, 같은 결과를 전체 고객에게 적용했을 때 거둘 수 있는 예상 성과를 예측한 범위입니다. 이 구간의 폭이 좁을수록 추정이 더 정밀하다는 뜻이고, 신뢰구간이 0을 포함한다면 통계적으로 유의미한 차이라고 보기 어렵습니다.

노티플라이 프로젝트 대시보드에서 기준 그룹과 비교 그룹을 설정하면 자동으로 계산된 p-value와 신뢰 구간을 확인할 수 있습니다.

예를 들어, B안의 구매 전환율이 A안보다 3.0% 높게 나타났다는 테스트 결과의 p-value가 0.01, 신뢰구간이 [1.2%, 4.8%]로 나왔다면 이 지표를 다음과 같이 해석할 수 있습니다.

“p-value가 0.05 미만이므로 현재 확인된 3.0%의 차이는 단순한 우연이 아니다. 즉, B안을 전체 고객에게 적용할 경우 구매 전환율이 최소 1.2%에서 최대 4.8%까지 상승할 것이라 예측할 수 있다.”

이처럼 p-value와 신뢰구간을 함께 확인하면, 단순히 'B안이 더 좋다'를 넘어 전체 세그먼트 고객에게 메시지를 발송했을 때 실제로 어느 정도의 성과가 나올지 미리 예상해 볼 수 있습니다.

5. 반복 학습으로 데이터 쌓아가기

한 번의 A/B 테스트로 얻는 것은 하나의 위너 소재이지만, 테스트를 반복하여 누적된 결과는 향후 캠페인에 지속적으로 활용할 수 있는 데이터가 됩니다.

캠페인을 마칠 때마다 가설과 타겟에 따른 결과, 핵심 인사이트를 가볍게라도 메모해 두는 습관을 들여보세요. "A 세그먼트는 B 소구점에 반응한다"와 같은 인사이트를 정리해 두면 동일 타겟을 대상으로 한 다음 캠페인에서 가설을 세우는 시간과 투입되는 리소스를 줄일 수 있습니다.

Part 2. 유저 여정 랜덤 분기 - 시나리오 전체를 실험하기

1. 유저 여정에서의 A/B 테스트란?

유저 여정에서는 랜덤 분기 노드를 이용해 A/B 테스트 형태의 실험을 구성합니다. 여정에 들어온 유저를 설정한 비율에 따라 여러 경로로 분기한 뒤, 각 경로에 서로 다른 메시지, 대기 시간, 발송 채널, 시나리오를 배치하고 전환 성과를 비교하는 방식입니다.

Part 1에서 다룬 캠페인 A/B 테스트가 주로 제목, 본문, 이미지 같은 메시지 소재를 비교했다면, 유저 여정의 랜덤 분기는 메시지뿐 아니라 채널, 발송 시점, 메시지 횟수, 시나리오 전체를 비교할 수 있습니다.

유저 여정을 통해 어떤 운영 방식이 더 나은지 실험할 수 있는 것입니다.

2. 유저 여정에서 테스트할 수 있는 것

그렇다면 이 '운영 방식'을 구체적으로 어떻게 실험할 수 있을까요? 

유저 여정의 랜덤 분기를 활용하면 단순히 어떤 문구가 좋은지를 넘어, 고객이 언제, 어디서, 얼마나 자주 메시지를 받는지 등의 고객 경험 전반을 테스트할 수 있습니다. 실무에서 자주 활용하는 테스트 항목은 다음과 같습니다.

3. 유저 여정 랜덤 분기 설계하기

테스트할 변수를 결정했다면 이제 유저 여정의 랜덤 분기를 통해 A/B 테스트를 설계할 수 있습니다. 콘솔에서 아래 5단계 순서로 여정을 세팅하게 됩니다.

1단계, 진입 조건 설정: 장바구니 상품을 담은 고객, 회원가입을 완료한 고객, 최근 30일간 구매하지 않은 고객, 특정 콘텐츠를 조회한 고객처럼 실험 대상이 여정에 들어오는 기준을 정의합니다.

2단계, 랜덤 분기 노드 추가:진입 고객을 A경로 45%, B경로 45%, 대조 경로(컨트롤 그룹) 10% 처럼 나눕니다. 테스트 목적에 따라 비율을 조정할 수 있지만, 경로가 늘어날수록 표본이 줄어들기 때문에 전환수가 적다면 그룹을 지나치게 많이 나누지 않는 것이 좋습니다. 

3단계, 경로별 시나리오 구성: 각 분기 아래에 테스트할 메시지, 딜레이, 채널 또는 후속 행동을 배치합니다.

4단계, 전환 목표 설정: 구매 완료, 예약 완료, 구독 시작, 앱 재방문, 콘텐츠 재생, 쿠폰사용 처럼 어떤 행동을 전환으로 볼 것인지 설정합니다. 여기서 설정된 전환 목표는 모든 경로에 동일하게 적용됩니다.

5단계, 랜덤 분기 통계 확인: 랜덤 분기 노드에서는 각 하위 경로에서 발생한 전환을 별도로 집계합니다. 이를 통해 경로별 진입 규모와 전환 성과를 비교할 수 있습니다.

4. 발송 후 결과 확인하기

유저 여정이 시작되면 ‘통계 보기’에서 랜덤 분기의 각 경로에 배정된 세션과 하위 노드에서 발생한 전환을 비교할 수 있습니다.

경로별 전환 성과 비교하기

다음과 같은 성과가 나왔다고 가정해 보겠습니다.

- A경로: 배정 세션 5,000개, 전환 세션 200개 (전환율 4%)
- B경로: 배정 세션 5,000개, 전환 세션 300개 (전환율 6%)

이 결과만 보면 B경로가 A경로보다 높은 전환 성과를 보였다고 해석할 수 있습니다. 다만 유저 여정은 단일 캠페인보다 변수가 많고 복잡한 구조를 가지기 때문에 성과 판단 시 다음 항목을 함께 확인하는 것이 좋습니다.

☐ 전환율뿐 아니라 발송 성공률, 클릭률, 이탈률도 함께 개선되었는가?
☐ 마지막 진입 세션까지 충분한 전환 관찰 기간을 확보했는가?
☐ 실험 기간 중 요일, 프로모션, 가격 등 외부 조건이 달라지지 않았는가?
☐ 경로별 표본 규모가 지나치게 차이 나지 않는가?
☐ 각 경로에 충분한 세션이 배정되었는가?

5. 왜 유저 여정을 사용해야 하나요?

유저 여정 랜덤 분기의 장점은 메시지 소재뿐 아니라 발송 타이밍, 채널, 발송 횟수, 시나리오 전체를 실험할 수 있다는 점입니다. 고객을 랜덤으로 분기해 그룹 간의 편차를 최소화하여 유저를 편향 없이 배분할 수 있고, 대조 경로를 두어 캠페인의 순수한 증분 효과도 확인할 수 있습니다.

전환이 높은 경로를 확인한 뒤에는 향후 표준 CRM 여정으로 적용할 수 있습니다. 단발 캠페인 뿐만 아니라 가입, 활성화, 구매, 재구매, 이탈 방지 등 고객 생애주기 전반을 대상으로 한 테스트도 가능합니다.

Part 3. 캠페인과 유저여정, 언제 무엇을 써야 할까요?

지금까지 노티플라이의 두 가지 A/B 테스트 기능을 자세히 살펴보았습니다. 

그렇다면 지금 우리가 준비 중인 캠페인에는 어떤 방식을 선택해야 할까요? 
두 기능의 핵심 차이점과 상황별 선택 기준을 정리했습니다.

카피나 이미지처럼 소재 하나의 승패를 정밀하게 가리고 싶다면 캠페인 A/B 테스트가 더 적합합니다. p-value와 신뢰구간까지 챙겨야 하는 만큼 통계적으로 더 엄밀한 결론을 얻을 수 있습니다.

반면 "언제, 어떤 채널로, 몇 번 보내는 게 나은가"처럼 운영 방식 자체를 비교하고 싶거나, 온보딩처럼 여러 단계로 이어지는 시나리오를 통째로 실험하고 싶다면 유저 여정의 랜덤 분기가 필요합니다.

실무에서는 두 방식을 단계적으로 함께 쓰는 것도 방법입니다. 먼저 캠페인 A/B 테스트로 어떤 문구나 이미지가 더 반응이 좋은지 소재 차원에서 검증한 뒤, 그렇게 확인된 소재를 유저 여정의 각 경로에 넣고 타이밍이나 채널 조합을 비교하는 식입니다. 

소재는 이미 검증됐으니 이 단계에서는 운영 방식의 차이만 온전히 볼 수 있습니다.

마무리

노티플라이는 메시지 소재를 비교하는 캠페인 A/B 테스트와, 시나리오 전체를 비교하는 유저 여정 랜덤 분기라는 두 가지 방식으로 A/B 테스트를 지원합니다. 

어느 쪽이든 클릭이 아닌 실제 전환과 대조군 대비 상승 효과를 기준으로 판단해야 하고, 표본 크기, 변수 통제, 결과 해석까지 함께 챙겨야 신뢰할 수 있는 결론을 얻을 수 있습니다.

처음부터 모든 캠페인과 여정에 A/B 테스트를 적용할 필요는 없습니다. 장바구니 이탈 고객, 휴면 고객 재방문 유도처럼 전환 이벤트가 명확하고 반복되는 케이스 하나부터 시작해보세요. 

소재 비교가 궁금하다면 캠페인 A/B 테스트로, 운영 방식이나 시나리오가 궁금하다면 유저 여정의 랜덤 분기로 시작하되, 가설 하나·변수 하나·지표 하나로 좁혀서 테스트 가설·대상·결과·해석을 기록해두면, 반복할수록 다음 캠페인에서 활용할 수 있는 학습 데이터를 확보할 수 있습니다.

함께 읽어보면 좋은 글

• AB테스트 완벽 가이드: CRM마케터를 위한 핵심 전략
• 유저 여정이란? 고객 여정을 설계하는 방법
• 상품 정보를 메시지마다 다시 넣고 계신가요? 노티플라이 카탈로그 사용법