> ## Content Index
> Fetch the complete content index at: https://blog.notifly.tech/llms.txt
> Use this file to discover other available public pages before exploring further.

# 메시지가 진짜로 만들어낸 매출은 얼마일까?  CRM 캠페인 증분효과 확인하기
- URL: https://blog.notifly.tech/crm-campaign-incrementality/
- Published: 2026-10-07T02:46:48.000Z
- Updated: 2026-10-07T02:46:48.000Z
- Description: 캠페인 직후 대시보드에 찍힌 매출이 모두 CRM 마케팅의 성과일까요? 대조군 비교를 통한 증분 전환 측정법부터 마케팅 비용을 고려한 순이익 계산, 통계적 유의성 검증까지 CRM 캠페인의 진짜 성과를 증명하여 보고서의 신뢰도를 높이는 실전 가이드를 정리했습니다.
- Author: 노티플라이
- Tags: CRM 인사이트

이커머스 앱 서비스의 CRM 마케터 A는 추석 시즌을 맞아 시즈널 쿠폰 사용 유도 캠페인을 진행했습니다. 캠페인 종료 후, 성과 보고를 위해 대시보드를 열어보니 ‘총 구매 이벤트 450건, 전환 매출액 2,250만 원’이라는 만족스러운 숫자가 찍혀있었습니다. 

기분 좋게 성과 보고서를 작성하던 마케터 A에게 팀장님의 질문이 날아옵니다. 

*“A님, 고생 많았어요. 그런데 대시보드에 찍힌 전환 매출 성과 중에서 *메시지 덕분에 진짜 추가로 발생한 성과*는 얼마인가요?”*

메시지를 받은 고객들이 2,250만 원어치의 구매를 한 것은 사실이지만, 그 모든 구매가 순수하게 메시지 때문에 발생했다고 볼 수는 없습니다. 메시지가 없었어도 추석 선물용으로 어차피 구매했을 고객이 섞여 있을 가능성이 높기 때문이죠.

이처럼 CRM 마케팅 캠페인의 성과를 보고할 때는 단순 전환 지표만 확인하는 것보단 캠페인 이후 관찰된 **총 전환**, 메시지를 보내지 않았을 때와 비교해 늘어난 **추가 전환**, 그리고 추가 전환이 만든 매출이나 비즈니스의 **추가 가치**를 모두 고려하는 것이 좋습니다. 

| 지표         | 정의                       | 측정 방법               |
| ---------- | ------------------------ | ------------------- |
| 총 전환       | 메시지 이후 어떤 행동이 일어났는가?     | 캠페인 대시보드            |
| 추가 전환 (증분) | 메시지가 없었을 때보다 얼마나 늘었는가?   | 대조군과의 비교            |
| 추가 가치      | 늘어난 전환이 비용을 빼고 얼마를 남겼는가? | 증분 + 주문, 쿠폰, 원가 데이터 |

## **1\. 캠페인 직후 발생한 매출을 그대로 믿으면 안 되는 이유**

캠페인 대시보드는 메시지 발송 후 정해진 기간 동안 어떤 행동이 일어났는지 수집된 이벤트를 직관적으로 보여주는 도구입니다.

노티플라이의 [대시보드](https://docs.notifly.tech/ko/user-guide/campaigns/campaign-analytics?ref=blog.notifly.tech)를 예시로 살펴보면 성과 데이터가 두 가지로 나뉘어 있는 모습을 확인할 수 있습니다. 메시지를 받은 고객이 정해진 기간 안에 구매를 한다면 집계되는 **전체 전환**과, 그 중에서도 메시지를 직접 클릭해서 들어와 구매한 고객만을 따로 가려내는 **직접 전환**입니다. 

![노티플라이 대시보드 전체 전환 / 직접 전환 UI](https://storage.ghost.io/c/71/dc/71dc3c60-dc2f-4009-b189-22017fd0e537/content/images/2026/10/data-src-image-7359d80f-e518-4d51-a90c-34569d4fe474.png)

노티플라이 대시보드 전체 전환 / 직접 전환 UI

전체 전환은 캠페인의 전반적인 영향력을, 직접 전환은 메시지에 즉각 반응한 성과를 파악할 때 유용합니다. 하지만 두 수치만으로 메시지의 진짜 기여도를 단정하기엔 한계가 있습니다. 클릭 후 구매한 고객이 원래 사려던 사람일 수도 있고, 반대로 클릭하지 않았지만 메시지를 보고 마음을 바꾼 고객도 있으니까요. 결국 메시지 발송 후에 구매가 일어났다는 시간적 순서만으로는 메시지가 없었을 때의 결과를 알 수 없는 것이죠.

인스타그램 광고(Meta Ads)를 보고 들어와 가입한 고객이 며칠 뒤 카카오 브랜드 메시지로 전송된 웰컴 메시지를 클릭해 첫 구매가 이루어졌다고 가정해 보겠습니다. 

대시보드는 이 매출을 카카오 브랜드 메시지의 성과로 기록합니다. 하지만 결정적으로 구매를 결심하게 만든 것은 광고였고 메시지는 마지막 접점인 최종 결제 단계에서 가볍게 개입했을 뿐이라면, 대시보드에서 보여지는 데이터와 메시지의 실제 기여도에 차이가 생기게 됩니다.

호주의 DTC 그로스 에이전시 [Pigeon Digital](https://www.pigeondigital.com/insight/email-marketing-incrementality-testing-holdout-guide?ref=blog.notifly.tech)은 이 구조 때문에 이메일, SMS 대시보드에 35배 같은 ROI가 찍히는 성과 판단 오류가 발생한다고 지적합니다. 이렇게 부풀려진 CRM 마케팅 ROI를 그대로 믿다보면 정작 신규 고객을 유입시키는 핵심 광고(위 사례의 Meta) 캠페인의 예산을 줄이는 등의 잘못된 예산 배분으로 이어질 수 있습니다. 

우리가 마케팅 성과에 대한 브리핑을 할 땐, 반응이 좋아졌다는 보고와 매출이 추가로 늘었다는 보고를 구분해야 합니다. **캠페인 이후 발생한 매출**은 관찰된 결과이고, **캠페인이 추가로 만든 매출**은 비교를 거쳐 추정한 결과이기 때문입니다.

## **2\. 대조군 설정: 메시지를 보내지 않은 고객과 비교하기**

그렇다면 마케팅이 만들어낸 진짜 성과(추가 전환)를 어떻게 측정할 수 있을까요?

가장 확실한 방법은 **메시지를 받지 않는 비교 집단을 만드는 것**입니다. 캠페인 대상 고객 중 일부를 무작위로 제외하고 메시지를 보내지 않는 것이죠. 이렇게 메시지를 받지 않는 그룹을 '대조군’, 메시지를 받는 그룹을 ‘발송군’이라고 부릅니다. 발송군과 대조군을 먼저 설정한 뒤, 같은 기간에 발생한 행동을 비교하면 메시지 발송에 따른 차이를 가늠할 수 있습니다.

비교 실험 전에 먼저 정해야 할 항목은 다음과 같습니다.

- 대상 고객을 확정한 뒤 그룹을 무작위로 나눕니다.
- 구매 고객 수와 구매 이벤트 수 중 무엇을 전환 지표로 볼지 결정합니다.
- 두 그룹에는 같은 관측 기간을 적용합니다.
- 다른 프로모션의 영향을 받지 않도록 그룹의 노출 조건을 점검합니다.

💡

****두 그룹간 성과는 어떤 기준으로 비교해야 할까요?**  
  
성과는 단순 구매 건수가 아닌 ****구매율이나 1인당 매출(ARPU)**을 기준으로 비교해야 합니다. 특히 실무애서는 대조군에게 메시지를 보내지 않아 발생할 수 있는 매출 기회 손실을 최소화 하기 위해 발송군에 비해 대조군의 수를 적게 설정하는 경우가 많으므로 이러한 비율 기반의 비교가 권장됩니다.  
  
****주의사항**  
이 때 발송 실패 유저를 제외하고 발송 성공 유저만 추려내어 분모(모수)를 임의로 줄인다면 무작위 배정의 통계적 타당성이 훼손될 수 있어요. 

#### **대조군은 얼마나 크게 잡을까요?** 

대조군이 작을수록 메시지를 받지 못해 생기는 기회 손실은 줄지만 결과의 불확실성은 커집니다. 따라서 기준 구매율이 낮거나 기대하는 차이가 작을수록 대조군을 넉넉히 설정하는 것을 권장합니다. 

일반적으로 실무에선 대상의 5\~20% 정도를 대조군으로 설정하는 것을 권하는 경우가 많습니다. CRM 솔루션 [Braze](https://www.braze.com/resources/articles/using-global-control-groups-to-measure-the-impact-of-customer-engagement?ref=blog.notifly.tech)는 전체 유저의 1\~15%를 글로벌 컨트롤 그룹으로 지정할 수 있도록 하며, 최소 1,000명 이상의 사용자로 구성하는 것을 권장합니다. 

#### **관측 기간은 얼마나 잡을까요?** 

관측 기간 설정에서 가장 중요한 것은 **고객이 스스로 고민하고 구매를 결정할 시간을 충분히 제공하는 것**입니다. 기간을 너무 짧게 가져간다면 실제로 구매 건수가 늘어난 것인지, 단지 구매할 시점이 앞당겨진 것인지 구분하기 어렵기 때문입니다.

만약 7일 이내 구매 가능성이 높은 고객군을 대상으로 3일 만에 측정을 종료한다면 어떨까요? 대조군(미발송) 고객들이 구매를 완료하기 전이기 때문에 메시지 효과가 큰 것처럼 착시가 생깁니다. 하지만 관측 기간을 7일까지 채워보면 대조군 역시 스스로 구매를 마치면서 실제 성과 차이는 점점 줄어들게 되죠.

이러한 ‘구매 타이밍 착시’를 방지하기 위해 마케팅 측정 솔루션 [Measured](https://www.measured.com/faq/incrementality-testing-examples-two-surprising-results/?ref=blog.notifly.tech)는 관측 기간을 전체 구매 주기를 포착할 수 있을 만큼 충분히 길게 진행해야 하며 일반적으로 소매업의 경우 최소 2\~4주, 구매 고려도가 높은 제품 카테고리의 경우 더 길게 진행하는 것을 권장합니다. 

## **3\. 같은 캠페인을 세 숫자로 보고해 보기**

### **3-1\. 메시지가 진짜로 만들어낸 매출 확인하기**

리텐션 향상을 위한 가상의 재구매 유도 캠페인 사례를 통해 이 개념이 실제 수치로 어떻게 적용되는지 살펴보겠습니다. 

![노티플라이 캠페인 A/B 테스트 발송군, 대조군 설정 화면](https://storage.ghost.io/c/71/dc/71dc3c60-dc2f-4009-b189-22017fd0e537/content/images/2026/10/data-src-image-76259a83-9cd8-4d6e-bd5e-ffe118867a9e.png)

노티플라이 캠페인 A/B 테스트 발송군, 대조군 설정 화면

재구매 유도 메시지 대상 고객 1만명을 발송군 8,000명, 대조군 2,000명으로 무작위 배정했습니다. 그 결과 발송군에서는 960명이 구매하여 12%의 구매율을 기록했으며, 대조군에서는 80명이 구매하여 4%의 구매율을 보였습니다.

여기서 대조군의 구매율 4%를 발송군 8,000명에 적용한다면 메시지가 없어도 구매했을 고객은 약 320명으로 추정할 수 있습니다. *(8,000명x4%)*

이렇게 추정한 구매 고객 수는 실제 매출 금액으로 환산할 수 있습니다. 

두 그룹에서 발생한 구매 이벤트의 쿠폰 적용 전 주문금액이 평균 8만 원으로 같다고 한다면, 발송군 구매 고객의 할인 전 주문금액은 7,680만 원입니다. *(발송군 총 구매자 수 960명x8만 원)*

여기에 대조군의 구매율 4%를 적용하면 메시지가 없어도 구매했을 고객의 예상 주문금액은 2,560만 원임을 알 수 있습니다. *(메시지가 없어도 구매했을 발송군 고객 320명x8만원)*

두 금액의 차이인 5,120만 원은 CRM 메시지의 영향으로 발생한 매출 원가를 의미합니다(할인 금액 적용 전). 즉, **관찰된 주문금액 중 약 3분의 2만 메시지가 추가로 만든 몫이라는 뜻**입니다.

### **3-2\. 마케팅 비용을 고려한 추가 가치(순이익) 계산하기**

대조군 비교를 통해 추가 전환을 구분했다면, 마지막 단계는 비즈니스에 실질적으로 기여한 추가 가치(순이익)를 추정하는 것입니다. 메시지 발송비, 고객에게 제공된 쿠폰과 같은 마케팅 비용을 고려한 순이익을 계산하는 것이죠.

![마케팅 비용을 고려한 캠페인 추가 가치(순이익) 계산법](https://storage.ghost.io/c/71/dc/71dc3c60-dc2f-4009-b189-22017fd0e537/content/images/2026/10/data-src-image-fc49194e-5d08-480f-85f6-58788b3e7ea9.png)

마케팅 비용을 고려한 캠페인 추가 가치(순이익) 계산법

앞선 예시에서 발송군 구매 고객 960명 모두가 1만 원 쿠폰을 사용했고 발송비가 건당 20원, 제품 원가 기준 매출총이익률이 40%라고 가정하겠습니다. 

제품의 매출총이익률이 40%라면, 추가 주문금액으로 얻은 매출총이익은 **2,048만 원**입니다. *(추가 주문금액 5,120만 원 × 40%)* 여기에 실제 지급된 쿠폰 비용 **960만 원**(구매 고객 960명 × 1만 원)과 메시지 발송비 **16만 원**(발송 대상 8,000명 × 20원)을 차감하면, 마케팅 비용을 반영한 캠페인의 추가 가치는 **1,072만 원**이 됩니다. *(매출총이익 2,048만 원 - 쿠폰 비용 960만 원 - 발송비 16만 원)*

이 부분이 우리가 할인형 캠페인 성과를 분석할 때 가장 주의해야 할 부분입니다. 메시지가 없었어도 구매했을 것으로 추정되는 320명이 사용한 약 320만 원의 쿠폰은 **추가 매출을 만들지 못한 할인**입니다. 만약 표면적으로 관찰된 매출만 보았다면 이 비용 손실을 알아차리기 어려웠을 것입니다. 

### **3-3\. 총 전환만 확인했다면?**

만약 대조군 구매율이 달랐다면 어떤 결과가 나올까요? 같은 캠페인에서 발송군 결과는 그대로 두고, 대조군의 구매율만 바꿔 보겠습니다. 

| 대조군 7일 구매율 | 추가 구매 고객 | 추가 할인 전 주문금액 | 추가 가치 추정치 |
| ---------- | -------- | ------------ | --------- |
| 4%         | 640명     | 5,120만 원     | +1,072만 원 |
| 8%         | 320명     | 2,560만 원     | +48만 원    |
| 10%        | 160명     | 1,280만 원     | −464만 원   |

세 경우 모두 대시보드에 찍히는 '구매액 7,680만 원'은 동일합니다. 그러나 추가 가치 추정을 통해 확인한 성과는 완전히 달라지죠. 이것이 바로 관찰된 매출만으로 캠페인을 평가할 수 없는 이유입니다.

## **4\. 숫자가 양수라면 효과가 확인된 걸까요?**

실제 보고에서는 성과 차이의 크기와 함께 **결과의 불확실성**을 확인해야 합니다. 표본이 적거나 신뢰 구간이 효과 없음에 해당하는 값을 포함한다면 해당 캠페인이 효과가 있었다고 단정하지 않습니다. 

### **4-1\. 같은 차이라도 통계적 유의성에 따라 해석이 달라집니다.**

발송군이 대조군보다 성과가 높게 나왔더라도 이것이 메시지의 효과라고 볼 근거가 충분한지, 우연만으로도 나타날 수 있는 차이인지 판단하는 기준이 바로 통계적 유의성입니다. 실무에서는 통계적 유의성과 비즈니스 이익의 두 가지 기준을 함께 고려해야 하며, 크게 다음과 같은 4가지 상황으로 해석할 수 있습니다.

💡

****통계적 유의성과 비즈니스 이익은 무엇을 의미할까요?**  
  
통계적 유의성이 "이 차이가 우연에 의한 결과는 아닌가?"를 말해준다면, 비즈니스 이익은 "이 차이가 실제 우리의 비즈니스에 유용한가?"를 설명합니다.  
  
****통계적 유의성(p-value, 신뢰구간)**: 관측된 성과 차이가 단순한 우연이 아님을 확인합니다. 일반적으로 p-value가 0.05(5%) 미만이고, 신뢰구간이 0을 포함하지 않을 때 통계적으로 유의미한 차이가 있다고 판단합니다.  
\- p-value: 우연히 이 결과가 나왔을 확률   
\- 신뢰구간: 같은 결과를 전체 고객에게 적용했을 때 거둘 수 있는 예상 성과 범위  
  
****비즈니스 이익**: 성과 차이가 손익분기점(BEP)을 고려할 때 실질적으로 이득이 되는지를 설명합니다.  
  
**❖ 성과 분석에 대한 자세한 내용은* [**노티플라이 A/B 테스트 가이드*](https://blog.notifly.tech/abtest-guide/)**에서 확인하실 수 있습니다.*

**① 통계적으로 유의미하며, 비즈니스 이익이 충분한 경우**  
오차범위를 고려해도 메시지의 효과가 명확하며, 신뢰구간의 하한, 즉 가장 보수적으로 추정한 효과로도 손익분기점을 넘기는 상태입니다. 이 경우 해당 캠페인을 성공으로 판단하고 확대를 검토할 수 있습니다.

**② 통계적으로 유의미하지만, 비즈니스 이익이 부족한 경우**  
통계적으로는 유의하다고 보이지만 효과의 크기가 손익분기점에 미치지 못하거나, 신뢰구간의 하한이 손익분기점 아래에 있어 실질적인 이익을 장담하기 어려운 상태입니다.이 경우 캠페인 확대 여부는 보수적으로 결정하고, 발송 비용을 낮추거나 효과가 큰 세그먼트로 타겟을 좁히는 방안을 검토하는 것이 좋습니다.

**③ 통계적 유의성이 확인되지 않았지만, 관측된 효과는 손익분기점을 넘는 경우**  
관측된 구매율 상승 폭이 커서 비즈니스적으로 유의미한 결과로 보이지만, 오차범위가 넓고 우연에 의한 차이일 가능성을 배제할 수 없는 상태입니다.이 경우 해당 캠페인을 성공으로 단정 짓지 말고 새로 테스트하여 통계적 유의성을 재검증하는 것이 좋습니다. 

**④ 통계적 유의성이 확인되지 않으며, 관측된 효과도 손익분기점에 미치지 못하는 경우**  
통계적으로 유의하지 않고 관측된 매출 상승 효과도 미미하거나, 오히려 마이너스인 상황입니다. 다만 유의하지 않다는 것이 곧 효과가 없다는 뜻은 아니므로, 신뢰구간의 폭을 함께 확인해야 합니다.

- **신뢰구간이 0 근처에 좁게 형성된 경우**: 효과가 실제로 작다는 근거가 되므로, 캠페인을 중단하거나 타겟팅 및 메시지 소재를 수정하는 것을 권장합니다.
- **신뢰구간이 넓은 경우**: 발송 대상 수가 부족하거나 고객 데이터의 변동성이 커 판단이 어려운 상태이므로, 표본 크기를 키우거나 타겟 세그먼트를 재정의하여 다시 검증하는 것이 좋습니다.

### **4-2\. 기간에 따른 성과 변화도 함께 살펴야 합니다**

구매가 늘어났더라도, 그것이 진짜 추가구매 인지 아니면 어차피 살 고객의 구매 타이밍만 앞당긴 것인지 확인해 보아야 합니다. 이를 파악하는 가장 간단한 방법은 동일한 발송군과 대조군을 대상으로 관측 기간을 늘려보는 것입니다.

앞서 다룬 가상 캠페인에서 '발송 후 1회 이상 구매한 고객 비율'을 누적으로 측정해 보면 다음과 같은 결과가 나올 수 있습니다.

| 누적 관측 기간 | 발송군 | 대조군 | 차이   | 추가 구매 고객 추정 |
| -------- | --- | --- | ---- | ----------- |
| 7일       | 12% | 4%  | +8%p | 약 640명      |
| 30일      | 18% | 15% | +3%p | 약 240명      |

같은 지표, 같은 분모로 기간만 늘렸는데 두 그룹의 구매율 차이가 줄었습니다. 이는 대조군 고객 상당수가 7일 이후 스스로 구매했다는 것을 의미합니다. 이 경우 메시지의 효과는 '새로운 구매를 만든 것'보다 '구매 시점을 앞당긴 것'에 가깝습니다. 

## **5\. 성과 보고서의 신뢰를 높이는 작성법**

캠페인 성과 보고는 단순한 수치 자료 공유가 아닌 다음 마케팅 액션의 방향성을 정하는 과정이어야 합니다. 

모든 캠페인이 성공적일 수는 없기 때문에 이번 캠페인의 결과가 확실한 성공인지, 과한 혜택 제공으로 인한 손실인지, 혹은 재검증이 필요한 단계인지를 판별하고 그에 맞는 후속 조치를 제시하는 것이 중요합니다.

결과에 따라 실행되는 다음 액션은 이렇게 나눠 볼 수 있습니다.

| 결과                              | 판단    | 다음 액션                     |
| ------------------------------- | ----- | ------------------------- |
| 추가 효과가 확인되고, 비용 반영 후에도 이익이 남음   | 확대 검토 | 대상 확대, 같은 설계로 주기적 재확인     |
| 추가 효과는 있지만 혜택 비용이 이익을 대부분 상쇄    | 재설계   | 할인 폭 조정, 비금전적 메시지로 바꿔 재시험 |
| 신뢰 구간이 0을 포함하는 등 결과가 불확실        | 판단 보류 | 표본과 관측 기간을 늘려 재측정         |
| 충분한 표본에서도 추가 효과가 0에 가깝거나 이익이 음수 | 축소 검토 | 발송 대상 축소, 예산 재배분          |

이 글에서 설명한 흐름에 따라 관찰 결과와 대조군 비교를 통한 추가 효과, 마케팅 비용을 반영한 추가 가치를 설명하고 이를 근거로 한 다음 액션을 도출해보세요. 처음부터 모든 캠페인에 적용하기 보다 쿠폰이나 유료 메시지같은 큰 비용이 드는 캠페인 하나를 골라 대조군과 관측 기간을 발송 전에 정해보는 것을 권장합니다.

[![](https://storage.ghost.io/c/71/dc/71dc3c60-dc2f-4009-b189-22017fd0e537/content/images/2025/07/image.png)](https://notifly.tech/ko/contact-sales?ref=blog.notifly.tech)

### 함께 읽어보면 좋은 글

- [가장 효과적인 윈백 타이밍은? 고객 이탈 신호를 파악하고 CRM 메시지 골든타임 찾기](https://blog.notifly.tech/crm-customer-churn-winback-strategy/)
- [CRM 마케터를 위한 개인정보 보호법 가이드](https://blog.notifly.tech/crm-data-privacy-guide/)
- [300건이 넘는 CRM 캠페인을 가능하게 만든 모드하우스의 일하는 방식](https://blog.notifly.tech/success-case-interview-modhaus/)