Зачем вообще нужна контрольная группа §
Восприятие бренда не статично. Пока идёт кампания, на аудиторию параллельно действуют сезонность спроса, активность конкурентов, PR-фон, ранее накопленный organic awareness. Если измерить awareness, ad recall, brand attitude и purchase intent только до и после кампании по одной и той же выборке, результат — это сумма трёх компонент: шум опроса, органический дрейф и собственно эффект кампании. Выделить чистый вклад рекламы из такой смеси нельзя.
Контрольная группа решает эту задачу как baseline. Тестовая группа — это baseline плюс эффект кампании. Lift по любой из четырёх метрик считается как разница test − control в процентных пунктах. Если awareness в контрольной группе 42%, а в тестовой 48%, lift = +6 п.п. Все внешние факторы — сезонность, конкуренты, общий медиафон — действуют на обе группы одинаково и в разнице сокращаются. Это и есть test-control методология, которую применяют Nielsen, Kantar и Google Brand Lift Studies.
Как мы делим аудиторию в Brand Lift: пиксель + опрос §
Разделение происходит на уровне рекламного показа. В видеокреатив или баннер вшивается tracking-пиксель. При фактическом просмотре (impression или view-through по правилам платформы) пиксель записывает событие на уровне cookie или device ID. Пользователи, у которых событие зафиксировано, попадают в тестовый сегмент.
Контрольная группа собирается из той же демо-, гео- и интересной целевой аудитории, но без срабатывания пикселя — то есть из людей, у которых был шанс увидеть рекламу по таргетингу, но фактически они её не увидели. На практике источники контрольной группы — это либо resi-аудитория той же площадки, не попавшая в показы, либо panel-провайдер с матчингом по социо-демо.
Опрос распределяется на обе группы через тот же канал: всплывающий блок в видеоплейере, in-banner survey, push в panel-провайдере. Ключевое требование — идентичные анкета, формулировки и порядок вопросов в обеих группах. Любое расхождение в дизайне опроса между test и control делает разницу несравнимой.
Размер выборки: формула и практика §
Минимальный sample size для классической пропорциональной оценки выводится из формулы:
n = (Z² × p × (1 − p)) / e²
где Z — z-score для confidence уровня (1,96 для 95%), p — ожидаемая пропорция (берётся 0,5 как наиболее консервативная), e — допустимая margin of error.
Для confidence 95% и margin ±5% это даёт n ≈ 385 респондентов на группу — теоретический минимум. Этого хватает, чтобы зафиксировать крупный lift в 8–10 п.п. как статистически значимый.
На практике для надёжного выявления более тонкого lift в ±2–3 п.п. — а это типичный диапазон для brand attitude и purchase intent — рекомендуется 500–1000 респондентов на группу. Для крупных кампаний с разбивкой по полу, возрасту и регионам нужно 2000+ респондентов в каждой группе: иначе в подсегментах падает statistical significance, и сравнение мужчин 25–34 в Москве с женщинами 35–44 в регионах теряет смысл.
| Задача исследования | Размер группы (test / control) |
|---|---|
| Минимум для confidence 95%, margin ±5% | ~385 |
| Устойчивое выявление lift ±2–3 п.п. | 500–1000 |
| Сегментация по полу/возрасту/гео | 2000+ |
Типичные ошибки и как их избежать §
1. Post-campaign survey без контрольной группы. Самый частый методологический провал на российском рынке: бренд запускает кампанию, через месяц делает опрос «знаете ли вы бренд X», получает 60% и празднует. Без контрольной группы эти 60% не отделимы от того, что было бы и без кампании. Это не Brand Lift, а измерение фонового уровня awareness.
2. Нерепрезентативная выборка. Если в обе группы попадают только текущие клиенты бренда (например, через email-базу), awareness и brand attitude изначально завышены, lift схлопывается до нуля. Источник выборки должен быть нейтральным относительно бренда.
3. Гэп между кампанией и опросом больше двух месяцев. Память аудитории по ad recall затухает быстро: через 4–8 недель после последнего показа доля помнящих ролик падает в 2–3 раза. Опрос имеет смысл проводить либо в ходе кампании (in-flight), либо в течение 2–4 недель после её завершения.
Главное §
- Тестовая группа — пользователи с зафиксированным impression через пиксель в креативе.
- Контрольная группа собирается из той же демо-, гео- и интересной аудитории, без срабатывания пикселя.
- Минимальный sample size для confidence 95% и margin ±5% — 385 респондентов на группу.
- На практике для выявления lift в ±2–3 п.п. нужно 500–1000 респондентов на группу, для сегментации — 2000+.
- Допустимое соотношение control:test — до 1:3; при большем перекосе падает statistical power.
- Опрос проводится не позднее 2–4 недель после flight’а — дальше ad recall затухает в 2–3 раза.
Что дальше §
Test-control разделение — это инфраструктура. Чтобы понять, какие именно вопросы задаются на этих двух группах и как из ответов считаются awareness, ad recall, brand attitude и purchase intent, читайте разбор четырёх метрик Brand Lift. Базовый обзор формата — в материнской статье «Что такое Brand Lift». Детали процесса, сроков и тарификации — на странице методологии.
