CTV (Connected TV) Attribution (기여도 측정) 을 올바르게 설정하면 CTV 채널에 적절한 기여도를 부여할 수 있습니다. 하지만 Attribution이 곧 성과의 증거는 아닙니다. MMP를 제대로 설정하면 어떤 install이 (유저의 앱 설치) CTV 광고에 노출된 이후 발생했는지는 확인할 수 있지만, 그 install이 실제로 CTV 때문에 발생했는지까지는 알 수 없습니다. 이 둘은 전혀 다른 질문이며, 실제 광고비 집행의 가치를 입증하는 것은 두 번째 질문입니다.
바로 이 두 번째 질문이 Incrementality (증분 효과) 입니다. CTV에 기여도 측정된 Install 중 CTV 광고가 없었다면 발생하지 않았을 Install은 얼마나 될까요? 광고 노출 여부와 관계없이 어차피 설치했을 유저를 제외하고 남는 부분이 바로 광고가 실제로 만들어낸 Incremental Lift입니다.
이를 검증하기 위해 세 차례의 CTV Incrementality Test를 진행했습니다. 첫 번째 테스트에서는 유의미한 결과를 거의 확인하지 못했고, 두 번째는 방법론은 적절했지만 입력 데이터에 문제가 있었습니다. 세 번째 테스트에서는 하나의 정교하게 설계된 테스트에서 두 캠페인 모두 통계적으로 유의미한 Lift를 확인했습니다. 이 글에서는 CTV Incrementality 측정에 실제로 무엇이 필요한지, 어떤 방법론이 효과적인지, 그리고 세 번의 테스트를 통해 신뢰할 수 있는 결과를 얻기 위해 무엇을 배웠는지 공유합니다.
CTV는 가장 빠르게 성장하는 User Acquisition(UA) 채널 중 하나인 동시에 성과를 정확하게 측정하기 가장 어려운 채널 중 하나입니다. 크게 세 가지 이유가 있습니다.
따라서 CTV 성과를 판단하기 전에 먼저 측정 구조를 바로잡아야 합니다. 그 시작이 Attribution이라면, 최종적으로 실제 증분 효과를 검증하는 것이 Incrementality입니다.
CTV가 다른 채널의 성과를 잠식(Cannibalization)한다는 우려는 대부분 기여도 설정에 대한 오해에서 비롯됩니다. 실제로는 기여도 우선순위의 문제입니다. CTV의 View-through는 일반적으로 MMP의 기여도 우선순위에서 Click이나 Deterministic View보다 후순위에 있기 때문에, 우선순위가 더 높은 접점에 전환이 귀속되지 않은 경우에만 CTV에 설치가 어트리뷰션됩니다.
Equal Attribution Priority Window를 설정하면 이러한 우선순위 차이를 조정할 수 있습니다. 해당 Window 내에서는 CTV 노출도 모바일 Click과 동일한 기여도 우선순위를 갖게 되어, CTV와 모바일 채널의 성과를 보다 공정하게 측정할 수 있습니다.
Adikteev는 6시간의 Equal Attribution Priority Window와 24시간의 View-through Window 설정을 권장합니다. 이를 통해 실제 CTV가 기여한 설치가 모바일 채널로 잘못 어트리뷰션되는 것을 방지하고, CTV의 전환 기여도를 보다 정확하게 반영할 수 있습니다 (Adikteev internal data, 2025). Attribution 구조가 제대로 설정된 이후에야 Organic Install을 잠식한다는 우려 없이 CTV가 실제로 Incremental Install을 만들어내는지 측정할 수 있습니다.
기본적인 방법은 Controlled Experiment입니다. 동일한 조건의 Audience를 두 그룹으로 나눠 Exposed Group에는 CTV 광고를 노출하고, Control Group에는 일반적으로 PSA(Public Service Announcement)를 노출 합니다. 두 그룹의 다른 조건을 동일하게 유지하면 Install Rate의 차이를 광고 노출에 따른 효과로 볼 수 있습니다.
두 그룹 간 차이가 Incremental Lift 입니다. 즉, 광고가 없었다면 발생하지 않았을 Incremental Install을 의미합니다.
Incremental Lift = (Exposed IPM - Control IPM) / Exposed IPM
※ IPM = 1,000 Impressions당 Install 수
이때 다음 두 CPI는 서로 다른 의미를 가집니다.
CTV는 UA 채널이기 때문에 Retargeting처럼 Audience를 직접 Holdout하는 방식에는 제약이 있습니다. 따라서 CTV에서 가장 명확한 방법은 PSA Holdout입니다. Test Group에는 CTV 광고를, Control Group에는 PSA를 노출한 뒤 두 Campaign의 CPI와 ROAS를 비교합니다. MMP에서 익숙한 Campaign Metric을 활용할 수 있어 비교적 빠르게 세팅할 수 있습니다. 다만 Control Group에도 실제 미디어 비용이 발생하면서 브랜드 광고 대신 PSA가 노출된다는 Trade-off가 있습니다. 이것이 Adikteev가 사용하는 핵심 방법론입니다.
이 외에도 고려할수 있는 두 가지 경로가 더 있습니다.
어떤 방법을 선택할지는 KPI, 오디어스 규모, 그리고 어느 정도의 독립적인 측정이 필요한지에 따라 결정됩니다.
Adikteev의 실제 테스트 사례를 살펴보겠습니다. 총 세 차례의 테스트를 진행했고, 각 테스트에서 얻은 교훈을 다음 테스트 설계에 반영했습니다.
Test 1: 성과보다 더 많은 인사이트를 얻은 테스트
퍼즐게임 대상으로 PSA Holdout을 진행하고 IPM 기반 Lift를 측정했습니다. 수치상으로는 2% Lift를 보였으나 통계적 유의미성은 낮았습니다. 그러나 실패한 테스트는 아니었습니다. 오히려 다음 테스트에서 무엇을 개선해야 하는지 명확하게 보여주었습니다.
문제는 세 가지였습니다.
소셜 앱을 대상으로 완전히 새로운 방식을 시도했습니다. User-level Split 대신 Geo와 Time을 기준으로 Test/Control을 구분하는 Difference-in-Differences(DiD) 방법론을 사용하고 일일 신규 유저 (Daily New Users)를 KPI로 설정했습니다.
CTV를 Test Region에서 집행하고 유사한 조건의 Control Region은 Holdout한 뒤, 두 단계에 걸쳐 각 그룹의 변화를 비교합니다.
이중차분법(Difference-in-Differences)을 활용하면 계절성(Seasonality)의 영향을 분리할 수 있습니다. 예를 들어 통제 지역에서 신규 유저가 20만 명 감소하고 테스트 지역에서는 5만 명 감소했다면, 두 지역의 감소 폭 차이인 15만 명을 CTV가 만들어낸 증분 효과로 해석할 수 있습니다. 반면 두 지역에 공통적으로 나타난 5만 명의 감소분은 계절성에 따른 변화로 볼 수 있습니다 .
단 해당 테스트의 방법론 자체는 강력했지만 Input에 문제가 있었습니다.
예산을 집행하기 전에 KPI와 산정 방식을 명확히 합의하고, 테스트 대상 채널의 증분 효과를 독립적으로 측정할 수 있도록 설계해야 합니다.
소셜 카지노 앱을 대상으로 앞선 테스트에서 얻은 인사이트를 모두 적용했습니다. 첫날부터 정교하게 설계된 PSA Holdout을 적용하고, Audience Builder를 통해 구성한 오디언스를 IP별 연결 디바이스 수에 따라 세분화했습니다. 이후 타겟팅 범위가 서로 다른 두 개의 캠페인을 운영했습니다.
두 캠페인 모두 첫날부터 Blacklist를 적용하고 노출 그룹과 통제 그룹의 균형을 맞췄으며, 충분한 테스트 기간과 Benchmark 수준의 노출 빈도(Frequency)를 유지하도록 설계했습니다 .
그 결과, 두 캠페인 모두 통계적으로 유의미한 증분 효과를 확인했습니다 .
다만 여기에는 Trade-off가 있었습니다. 증분 효과를 높이기 위해 타겟팅을 정교화 하면서 CPI가 약 3배 상승했습니다 .
Vertical보다 중요한 것은 레버(Lever) 입니다
어떤 Vertical인지가 CTV의 증분 효과를 결정하는 것은 아닙니다. 중요한 것은 각 Vertical의 특성에 맞는 전략을 선택하는 것입니다.
결국 중요한 질문은 “CTV가 우리 앱에서 증분 효과를 만들어낼 수 있는가?”가 아니라, “어떤 전략을 통해 CTV의 증분 효과를 극대화할 것인가?”입니다. .
결과는 신뢰할 수 있을 때만 의사결정에 활용할 가치가 있습니다. 신뢰도 높은 결과를 얻기 위해 다음 5가지 원칙을 반드시 준수해야 합니다 .
Adikteev는 모든 테스트에서 Holdout 설계, 표본 규모, 테스트 기간, 통계적 유의성을 공개합니다. 다른 파트너와 테스트를 진행할 때도 동일한 수준의 정보를 요청하는 것이 중요합니다.
처음부터 모든 것을 해결할 필요는 없습니다. 다음 3 단계부터 시작할 수 있습니다 .
결론
어트리뷰션은 CTV가 기여한 전환에 적절한 기여도를 부여하고, Incrementality는 그 전환이 실제로 광고를 통해 추가로 발생한 성과인지를 검증합니다. 이 두 가지를 모두 제대로 측정해야 CTV의 가치를 단순히 추정하는 수준을 넘어, 실제 비즈니스 성과를 명확하게 판단할 수 있습니다 .