Что такое statistical significance простыми словами §
В Brand Lift сравниваются два значения: показатель метрики в тест-группе (видевших рекламу) и в контрольной группе (не видевших). Разница между ними — это наблюдаемый lift.
Проблема: выборки конечны. Даже если реального эффекта нет, случайное отклонение создаёт видимую «разницу». Statistical significance отвечает на вопрос: насколько вероятно, что наблюдаемая разница — это случайность, а не реальный эффект рекламы?
При confidence level 95% мы говорим: вероятность того, что наблюдаемая разница возникла случайно — не более 5%. Это не гарантия, это порог приемлемого риска.
На практике: если awareness в тест-группе 52%, а в контроле 38%, но обе группы маленькие (по 100 человек), разброс велик. При тех же значениях и по 500 человек — разница статистически значима на уровне 95%.
Методология формирования групп подробно разобрана в статье Контрольная и тестовая группы в Brand Lift.
90% vs 95% confidence: что меняется в формуле и интерпретации §
Формула выборки Cochran: n = Z² × p × (1-p) / e²
Разница в Z-score при разных уровнях:
| Confidence | Z-score | Min sample (margin ±5%) | Использование |
|---|---|---|---|
| 90% | 1.65 | 271 на группу | Exploratory, малые бюджеты |
| 95% | 1.96 | 385 на группу | Стандарт индустрии |
| 99% | 2.58 | 666 на группу | Регуляторные или high-stakes |
При переходе с 95% на 90% confidence:
- Минимальная выборка снижается на ~30%: с 385 до 271 на группу
- Вероятность ошибочно признать лифт значимым вырастает с 5% до 10%
- Ширина доверительного интервала увеличивается: результат менее точен
Экономия на выборке при выборе 90% confidence — примерно 30% бюджета исследования. Но цена: каждый десятый вывод в серии исследований будет ошибочным.
Когда оправдан 90% confidence §
Три ситуации, при которых 90% методологически допустим:
1. Exploratory исследование. Задача — не формальный вывод для отчёта, а предварительная оценка: есть ли вообще эффект, в каком диапазоне lift? Например, тест нового креатива перед масштабным флайтом. Результат с 90% confidence использует как ориентир, не как доказательство.
2. Крупный ожидаемый lift. Если бренд только запускается в категории и ожидаемый awareness lift — 15–20 п.п., эффект настолько крупный, что он значим даже при меньшей выборке. Риск ошибки низкий.
3. Бюджетное ограничение. Медиабюджет кампании минимальный (1–2 млн руб.), охват ограничен. Собрать 385 на группу возможно, но 500+ — нет. В этом случае 90% confidence — лучше, чем вообще не проводить исследование, при условии что ограничение зафиксировано в отчёте.
Когда обязателен 95% confidence §
Формальная отчётность перед советом директоров или инвестором. Любой вывод, влияющий на бюджетное решение, должен быть на уровне 95%. Ниже — результат не является доказательством эффекта.
Сравнение между флайтами или кампаниями. Если цель — сравнить brand lift Q1 2026 vs Q1 2025, оба замера должны быть на одном уровне confidence. Смешение 90% и 95% делает сравнение некорректным.
Публичная коммуникация результатов. Отчёт для клиента, кейс-стади, пресс-материалы — 95% minimum. Правило ESOMAR и IAB.
О том, как значимость отображается в финальном отчёте — в статье Что показывает Brand Lift отчёт.
Что делать если значимость ниже 90% §
Три корректных варианта действий:
1. Зафиксировать как нестатистически значимый результат. Не удалять из отчёта, но чётко пометить: «статистически незначимо». Это часть результата исследования — отрицательный результат тоже ценен.
2. Проанализировать причину. Возможные причины: слишком малая выборка, слишком маленький реальный lift, высокий dropout rate, проблема в дизайне анкеты. Каждая из причин требует разного решения.
3. Не публиковать как вывод. Нельзя писать «awareness вырос на 4 п.п.» если это не значимо на уровне ≥90%. Корректная формулировка: «наблюдался несущественный сдвиг awareness на 4 п.п., статистически незначимый на уровне 90%».
Чего делать нельзя: постфактум «дозаписывать» выборку, чтобы получить нужный уровень significance. Это классическая ошибка p-hacking. Подробнее о правильном планировании выборки — в статье Размер выборки для Brand Lift.
Главное §
- Отраслевой стандарт Brand Lift — 95% confidence interval; при нём минимальная выборка составляет 385 респондентов на группу.
- Уровень 90% confidence допустим для exploratory-исследований, крупного ожидаемого lift (≥8 п.п.) и бюджетных ограничений.
- Результаты с confidence ниже 90% не публикуются как выводы — только как нестатистически значимые наблюдения.
- Переход с 95% на 90% confidence снижает выборку на ~30%, но повышает вероятность ошибки с 5% до 10%.
- 95% confidence обязателен для формальной отчётности, сравнения между флайтами и публичной коммуникации — правило ESOMAR и IAB.
- Постфактум-дозапись выборки ради получения нужной значимости — это p-hacking, методологическая ошибка.
Что дальше §
- Чек-лист проверки Brand Lift отчёта перед сдачей — Чек-лист проверки отчёта
- Полный стандарт методологии Brandlifts.ru — Методология
- Как рассчитать нужный размер выборки заранее — Размер выборки
