Пункт 1. Проверь statistical significance — не ниже 90% §

Первый и наиболее критичный пункт. Для каждой метрики — awareness, ad recall, brand attitude, purchase intent — в отчёте должно быть явно указан уровень статистической значимости.

Что проверять:

  • Все ключевые lift-показатели имеют пометку о significance: «sig. at 95%», «sig. at 90%» или «not significant»
  • Ни один вывод не базируется на незначимом результате
  • Если lift не достиг 90% significance — он упоминается как наблюдение, не как факт

Незначимые результаты удалять из отчёта нельзя — это часть честного исследования. Но их нельзя подавать как выводы. Подробно о выборе уровня confidence — в статье Statistical significance в Brand Lift.

Пункт 2. Сверь baseline в контрольной группе с категорийной нормой §

Baseline — это значение метрики в контрольной группе (не видевших рекламу). Оно должно соответствовать ожидаемому уровню для данной категории и аудитории.

Красные флаги:

  • Awareness в контрольной группе 5% при категорийной норме 40–50% → выборка смещена или содержит нецелевую аудиторию
  • Awareness в контрольной группе 85% при новом продукте → контрольная группа «загрязнена» пользователями, видевшими рекламу вне панели
  • Brand attitude в контроле ниже нуля по Net Score → аудитория a priori негативна, исследование измеряет не эффект рекламы, а отношение к категории

Если baseline явно выходит за ожидаемые рамки — нужно проверить качество выборки и критерии включения в панель до публикации отчёта.

Пункт 3. Подтверди репрезентативность выборки §

Тест и контрольная группы должны быть сопоставимы по демографическому профилю. Различия в составе групп объясняют часть наблюдаемого lift — это confounding variable.

Что проверять:

  • Распределение по возрасту, полу и гео в тест- и контрольной группах совпадает с допуском ±5 п.п.
  • Доля тяжёлых пользователей категории (heavy users) одинакова в обеих группах
  • Частота контакта с рекламой в тест-группе соответствует заявленной в медиаплане

Если демографический профиль групп расходится, данные должны быть взвешены (weighted) — с указанием применённого weighting в методологическом разделе. О методах формирования групп — в статье Контрольная и тестовая группы в Brand Lift.

Пункт 4. Размер выборки достаточен для заявленных сегментов §

Общий (overall) замер требует минимум 385 завершённых интервью на группу при 95% confidence. Для сегментационного анализа нужно значительно больше.

Правило проверки: каждый сегмент, по которому делается вывод, должен содержать минимум 100–150 завершённых интервью. Если в отчёте делается вывод о «молодёжной аудитории 18–24», проверьте: сколько человек в этом сегменте в каждой группе?

Типичная ошибка: отчёт содержит «интересный инсайт» по сегменту с базой 40–50 человек. Это статистически нерелевантно. Правильная позиция: указать, что сегмент слишком мал для самостоятельного вывода.

Расчёт минимальной выборки для разных сценариев — в статье Размер выборки для Brand Lift.

Пункт 5. Сегментация открыла реальные новые инсайты §

Раздел сегментации должен давать дополнительную ценность сверх overall-результата. Если все сегменты показывают примерно одинаковый lift — это либо говорит о равномерном эффекте кампании (хороший результат), либо о том, что сегментация была формальной.

Критерий ценного инсайта: сегмент показывает lift, существенно отличающийся от overall — как минимум в 1.5 раза выше или ниже. Например, overall awareness +8 п.п., сегмент «женщины 25–34» +15 п.п. — это инсайт, влияющий на медиаплан следующего флайта.

Если сегментация не дала ни одного отличного от overall результата, это честно зафиксировать в выводах: «кампания продемонстрировала равномерный эффект по основным демографическим сегментам».

Пункт 6. Выводы привязаны к данным, не к ожиданиям §

Каждый вывод в разделе «Рекомендации» должен ссылаться на конкретное число из отчёта. Выводы без цифровой привязки — это интерпретация, не аналитика.

Примеры:

  • ✓ «Brand attitude в сегменте 25–34 вырос на +9 п.п. → рекомендуется увеличить частоту показа для этого сегмента в следующем флайте»
  • ❌ «Кампания хорошо сработала для молодёжи» — без цифры, без конкретной рекомендации

Отдельный риск: выводы, «подстроенные» под ожидания клиента. Если клиент ожидал +15 п.п. awareness, а реальный lift +8 п.п. — честный отчёт должен описывать именно +8 п.п., с анализом возможных причин.

О структуре раздела выводов в отчёте — в статье Что показывает Brand Lift отчёт.

Пункт 7. Формат презентации — exec-friendly §

Executive summary должно читаться за 30 секунд. Критерии:

  • Четыре KPI-карточки (awareness, ad recall, brand attitude, purchase intent) с lift-значениями на первом слайде/странице
  • Статистическая значимость явно указана для каждой метрики
  • Главный инсайт сформулирован в одном предложении
  • Аналитический детейл — в приложении, не в основной части

Типичная ошибка: executive summary на 5 страниц с методологическим описанием. CMO не читает методологию — он читает выводы и рекомендации.

Готовый чек-лист для копирования §

  • Statistical significance ≥90% во всех ключевых метриках
  • Baseline awareness в контрольной группе соответствует категорийной норме
  • Demo/гео: тест ≈ контроль (расхождение ≤5 п.п. по ключевым сегментам)
  • Sample size: 385+ на overall, 100–150+ на каждый сегмент с выводом
  • Сегментация открыла ≥1 инсайта с lift, отличным от overall в 1.5× и более
  • Каждый вывод опирается на конкретное число из отчёта
  • Executive summary читается за 30 секунд: 4 KPI + главный инсайт + рекомендация

Главное §

  • Проверка Brand Lift отчёта перед презентацией состоит из 7 пунктов, каждый из которых — самостоятельный блокер.
  • Все ключевые lift-показатели должны иметь statistical significance не ниже 90%; незначимые результаты не подаются как выводы.
  • Baseline в контрольной группе сверяется с категорийной нормой — резкое отклонение сигналит о смещённой выборке.
  • Тест- и контрольная группы должны совпадать по демографии с допуском ±5 п.п.; иначе данные взвешиваются.
  • Каждый сегмент, по которому делается отдельный вывод, должен содержать минимум 100–150 завершённых интервью.
  • Каждый вывод в отчёте опирается на конкретное число; executive summary должно читаться за 30 секунд.

Что дальше §