Главный временной триггер, который часто упускают: исследование должно стартовать не позже первой недели флайта. Опоздаете — контрольная группа окажется загрязнена рекламным контактом, и весь смысл замера потеряется. Стандартный цикл «заявка → готовый отчёт» — 2–4 недели.

Ниже — детальный разбор каждого шага. Это не теория из учебника, это мой рабочий чек-лист, который я гоняю на каждом проекте.

Шаг 1. Бриф кампании: пять полей, без которых не имеет смысла начинать §

Запрос «померьте мне эффект кампании» — самая частая и самая бесполезная формулировка, с которой ко мне приходят. Без пяти базовых ответов методолог не сможет правильно рассчитать выборку, написать корректную анкету и сформировать контрольную группу. И в этом случае у вас два варианта: либо провайдер закладывает максимум по каждой переменной — и КП вырастает в полтора раза, либо делает «по среднему» — и отчёт получится бесполезным.

Целевая аудитория. Пол, возраст, гео, и обязательно — категорийный интерес или поведенческий критерий. «Женщины 25–40, Москва и Санкт-Петербург» — слишком широко. «Женщины 25–40, Москва и СПб, покупали уходовую косметику в последние 3 месяца, доход выше среднего» — это уже рабочая ЦА, под которую можно скринить панель.

Чем точнее описание, тем дороже рекрутинг — это правда. Но альтернатива (мерить эффект на «женщинах 25–40 вообще») часто даёт лифт 1–2 пункта, который окажется внутри доверительного интервала и формально нулевым. Деньги выкинуты.

Период флайта. Точные даты начала и окончания. Без флёра «где-то в апреле». Brand Lift должен стартовать одновременно с первым показом рекламы или раньше — это критично для формирования чистой контрольной группы. О дедлайнах подробнее в шаге 3.

Каналы и форматы. Программатик-дисплей, in-stream видео в Яндексе, ВК-Видео, OOH, YouTube через посредников — перечисляйте всё, что будет работать в эти даты. От этого зависит, нужно ли вам кросс-канальное исследование с дополнительными вопросами на источник контакта, или хватит обычной двухгрупповой схемы внутри одной платформы.

Приоритетная метрика. Awareness, ad recall, brand attitude, purchase intent — нельзя «померить всё одинаково хорошо». Под каждую метрику расчёт минимальной выборки разный: для awareness вы ловите эффект на холодной аудитории (5–10 п.п. лифт ожидаем), для purchase intent — на тёплой (1–3 п.п. норма). Если методолог не знает, что для вас важнее, он либо закладывает выборку с запасом, либо рискует получить «недостоверно» по всем метрикам.

Бюджет на исследование и дедлайн. Не «когда удобно», а конкретная дата, к которой нужен отчёт. Защита перед советом директоров, формирование следующего медиаплана, годовой отчёт — это всё разные дедлайны и разная цена ускорения. И — важно — реальный, а не «в три раза меньше, чтобы поторговаться» бюджет: торг идёт не от пожеланий, а от объёма выборки, и подрядчик всё равно его узнает на этапе технического обсуждения.

Шаг 2. Выбор провайдера и пять вопросов до подписания §

С КП на руках большинство клиентов делает одну ошибку: сравнивает итоговые цифры. 120 тысяч у одного, 180 у другого — берут первого. Хотя за этими цифрами могут стоять совершенно разные продукты, и за «дешёвыми» 120 тысячами может скрываться выборка в 600 респондентов на обе группы вместо 770, что заранее обнуляет смысл замера.

Поэтому я никогда не сравниваю КП «итогом». Я задаю каждому провайдеру одни и те же пять вопросов и сравниваю ответы.

1. «Какая выборка входит в базовый пакет — общая или на каждую группу?»

Адекватный ответ — конкретное число завершённых интервью на тестовую и на контрольную группы, отдельно. «385 на группу», «500 на группу», «1000 на группу» — это рабочая постановка. Если в ответ звучит только общая цифра («1000 респондентов», «1500 интервью»), уточняйте: суммарно или на каждую? Разница в два раза, и она прямо влияет на статистическую достоверность.

Почему именно 385 — это математический минимум, я разбираю в статье про размер выборки. Если коротко: меньше — это уже не наука.

2. «На каком уровне доверительного интервала рассчитываются результаты?»

Стандарт академического и отраслевого research — 95% confidence interval, и большинство независимых российских подрядчиков работают именно так. Платформенные Brand Lift внутри Google Ads и Яндекса по умолчанию используют 80% CI — это не «обман», это сознательный выбор в пользу скорости получения значимых результатов на меньших выборках, но это нужно понимать. Цифры, помеченные «significant at 80% CI», нельзя сравнивать с цифрами на 95% CI — это разные классы достоверности.

Если провайдер не может назвать уровень доверия, на котором считает лифт, или говорит «у нас своя методология» без расшифровки — отказываться без обсуждения.

3. «Что конкретно входит в финальный отчёт?»

Минимум, который должен быть в каждом КП: — Executive summary (1–2 страницы выводов для руководителя); — Четыре базовые метрики (awareness, ad recall, brand attitude, purchase intent) с лифтом, доверительными интервалами и пометками о статистической значимости; — Сегментация по полу и возрасту; — Методологический раздел с описанием выборки, поля и анкеты.

Что нужно явно уточнить: — Включена ли разбивка по каналам или частотным кластерам; — Есть ли визуализации, готовые к вставке в презентацию; — Передаётся ли raw data — анонимизированные ответы на уровне респондентов (полезно, если у вас своя аналитическая команда).

4. «Как устроен процесс согласования анкеты?»

Финальную версию анкеты вы должны видеть и подписывать до старта поля. Это не формальность: один криво сформулированный вопрос в aided awareness — и весь результат смазан. Например, если в списке брендов первым стоит ваш бренд, а не нейтральный конкурент — это уже наводящий вопрос, и любой исследовательский комитет в нормальной компании отдаст такой отчёт обратно.

Хороший подрядчик включает в процесс pretest — короткий запуск на 30–50 респондентах перед основной волной, чтобы поймать непонятные формулировки. Принципы написания корректной анкеты — в Как подготовить анкету для Brand Lift.

5. «Что произойдёт, если кампания изменится в ходе флайта?»

Реальные кампании меняются. Досрочное завершение, перераспределение бюджета между каналами, смена основного креатива, добавление новой ЦА — всё это случается. И от того, как провайдер реагирует на такие изменения, зависит, получите ли вы в итоге релевантный отчёт или красиво оформленный мусор.

Уточняйте: можно ли скорректировать параметры исследования по ходу поля, как это тарифицируется, и в какой момент изменения становятся уже несовместимыми с текущим дизайном.

Про цены и сопоставление пакетов между провайдерами — в Сколько стоит Brand Lift.

Шаг 3. Согласование анкеты, pretest и технический запуск §

После выбора подрядчика и оплаты начинается самый плотный этап — 3–7 рабочих дней до старта поля. Здесь решаются три задачи, и все три критичны.

Согласование анкеты §

Провайдер присылает проект опросника, вы его читаете не как «бизнес-документ», а буквально слово за словом. На что я смотрю в первую очередь:

— Aided awareness. Список брендов в вопросе «о каких из этих брендов вы слышали» должен быть в случайном порядке (это техническая настройка опроса) и не содержать наводящих формулировок. Идеально — категория из 6–8 игроков, ваш бренд и 2–3 ключевых конкурента, остальные — нейтральный фон. — Unaided awareness. Открытый вопрос «какие бренды [категории] вы помните?» должен идти до aided. Если перепутать порядок — после aided вопрос на recall будет искажён, человек уже подсказан. — Шкалы brand attitude. Top-2-Box, Top-1, средняя по 5-балльной — это разные метрики и разный лифт. Выберите ту, которая работает у вас в трекинге или у конкурентов, чтобы цифры были сопоставимы. — Purchase intent. Формулировка «насколько вероятно, что вы купите [бренд] в ближайшие три месяца» работает в FMCG, но не работает в long-cycle категориях (авто, недвижимость, B2B). Для них берут другие шкалы или вообще другие метрики. — Длина опроса. Среднее время заполнения — 4–6 минут. Свыше 8 минут dropout rate улетает в космос, выборку доберёте, но качество ответов в последней трети анкеты упадёт.

Pretest §

30–50 респондентов из вашей целевой аудитории получают финальную версию анкеты, и подрядчик смотрит три вещи: среднее время заполнения, число «не понял вопрос» и dropout. Pretest занимает 2–3 рабочих дня. Если провайдер предлагает обойтись без него «ради скорости» — это плохой знак. На больших проектах pretest реально окупается, потому что фиксит проблемы до того, как поле начинает гореть деньгами.

Технический запуск §

Для digital-кампаний — это интеграция пикселя или подключение к API рекламной платформы. Контрольная группа формируется из пользователей, попадающих в целевую аудиторию, но получающих placebo (либо вообще не показ, либо нерелевантную рекламу). Тестовая — те, кто фактически увидел ваш креатив с нужной частотой.

Тонкий момент, на котором часто срезаются неопытные подрядчики: тестовая группа должна быть отфильтрована не по «теоретическому показу», а по подтверждённому контакту. У Google и Яндекса это решено технически; у независимых исследований с собственной панелью — через прямой вопрос «видели ли вы вот этот ролик» с показом скриншота из креатива. Это называется ad recall qualifier, и без него выборка тестовой группы получается размытой.

Шаг 4. Договор: три пункта, без которых не подписываю §

В договоре на Brand Lift меня волнуют не юридические формальности и не страховка от ничего не значащих рисков. Меня волнуют три раздела, в которых проявляется реальное содержание сделки.

Объём и состав выборки §

Должно быть прописано: минимальное число завершённых интервью на каждую группу (отдельно — на тестовую и на контрольную), параметры целевой аудитории, уровень доверительного интервала, на котором рассчитываются результаты.

Формулировка «до 1000 респондентов» — недостаточная. «До» означает, что фактический объём может оказаться 600, и это формально будет в рамках договора. Нужно: «не менее 385 завершённых интервью в тестовой группе и не менее 385 в контрольной, доверительный интервал 95%». Если поле не доберётся — это нарушение условий, а не «технический нюанс».

Состав и сроки отчёта §

Перечень deliverables — не «отчёт по итогам исследования», а конкретно: executive summary в PDF, основной отчёт с разбивкой по 4 метрикам, сегментация по перечисленным разрезам (явно: «по полу, возрасту, частоте контакта»), методологический раздел, презентационная версия в формате слайдов (если входит).

Сроки — конкретные даты или твёрдые числа дней от старта поля. Не «в течение разумного срока».

Права на использование данных §

Это пункт, который игнорируют 80% клиентов и который потом всплывает через год, когда нужно сделать кейс-стади. Уточните в договоре: имеете ли вы право использовать цифры из отчёта во внешних коммуникациях — пресс-релизах, кейсах на сайте, отраслевых выступлениях, в инвестиционных питчах?

Стандарт ICC/ESOMAR разрешает публикацию агрегированных данных без раскрытия имени исследовательского дома. Но если вы хотите указывать «по данным Mediascope» или «исследование ORO» — это commercial use, и оно тарифицируется отдельно. Хорошие подрядчики прописывают это явно. Плохие — забывают, и потом начинаются неловкие переписки.

Шаг 5. Получение отчёта: чек-лист на семь пунктов §

Когда отчёт приходит, есть огромный соблазн скинуть его на руководство в тот же день. Не делайте этого. Сначала пройдитесь по семи вопросам — это занимает час, и спасает от очень неприятных вопросов на защите.

1. У каждой метрики есть пометка о статистической значимости? «Awareness вырос с 24 до 31% (+7 п.п., significant at 95% CI)» — это рабочая формулировка. «Awareness вырос на 7 пунктов» без указания значимости — это ничего. Возможно, доверительный интервал был ±9 п.п., и тогда наблюдаемый «рост» — статистический шум.

2. Baseline в контрольной группе выглядит реалистично? Если вы знаете свой бренд и в категории awareness обычно держится около 25–30%, а в отчёте baseline у вас 8% — что-то не так с панелью или скринингом. Контрольная группа должна быть репрезентативной по ЦА, и её абсолютные цифры должны примерно совпадать с тем, что вы видите в своём трекинге или у Mediascope.

3. Выборка в каждом сегменте достаточна для самостоятельных выводов? Если общая выборка 1000+1000, но в разрезе «мужчины 35–44» оказалось 87 человек — никакой статистически значимый лифт в этом сегменте невозможен в принципе. Хороший отчёт явно помечает такие сегменты («low base, interpret with caution»). Плохой — просто рисует красивые столбики, как будто 87 человек — это нормальная выборка.

4. Каждый вывод привязан к конкретной цифре, а не к ожиданию? «Кампания эффективно сработала на молодую аудиторию» — это не вывод. «На сегменте 18–24 ad recall вырос на 12 п.п. (с 18 до 30%, significant at 95% CI), что выше среднего по всем сегментам (7 п.п.)» — это вывод.

5. Учтены ли частотные эффекты? В нормальном Brand Lift отчёте есть разбивка по числу контактов: лифт у тех, кто видел рекламу 1 раз vs 3 раза vs 5+ раз. Это критично для оптимизации следующего флайта — обычно есть точка насыщения, после которой каждый дополнительный контакт перестаёт двигать метрики.

6. Контрольная группа набрана корректно? В отчёте должна быть пометка, как именно набирались пользователи, не видевшие рекламу. Если выборка контрольной группы технически формировалась тоже из пользователей рекламной сети (placebo), но без точного исключения тех, кто всё-таки случайно мог попасть в флайт — это слабое место исследования.

7. Методология совпадает с тем, что было в договоре? Звучит как формальность, но иногда подрядчик в финальном отчёте по факту использует другую методологию — например, сузил период анализа, отбросил часть респондентов из-за «технических причин». Это должно быть явно обосновано в отчёте.

Полный чек-лист с расширенными пояснениями — в статье Чек-лист проверки Brand Lift отчёта. Про структуру самого отчёта и то, что в нём искать, — Что показывает Brand Lift отчёт.

Как это работает у нас §

Чтобы было нагляднее, на примере собственного процесса. В Brandlifts.ru весь цикл «заявка → отчёт» устроен так:

  1. Заявка через форму на brandlifts.ru — указываете даты флайта, целевую аудиторию и канал размещения. На этом этапе достаточно базового брифа из пяти пунктов, разобранных в первом шаге.
  2. В течение одного рабочего дня — консультация. Подтверждаем выборку под вашу задачу, присылаем проект анкеты под обсуждение, готовим коммерческое предложение с фиксированной ценой и без скрытых строк.
  3. После согласования анкеты и оплаты — pretest и технический запуск, на это уходит 3 рабочих дня.
  4. Поле и анализ — 2–4 недели от старта первой волны.
  5. Отчёт с executive summary, основной разбивкой, сегментацией по полу/возрасту/частоте и методологическим разделом.

При размещении видеорекламы через GeoAds исследование запускается автоматически вместе с флайтом — отдельной заявки и оплаты не требуется, Brand Lift включён в стоимость размещения. Условие одно: канал распространения — собственная рекламная сеть GeoAds.

Что дальше §

— Сколько стоит Brand Lift — разбор ценовых диапазонов от 0 до 400 тыс. ₽ и за что вы платите в каждом случае — Как подготовить анкету для Brand Lift — типичные ошибки в формулировках и как их избежать — Что показывает Brand Lift отчёт — структура финального документа и что в нём ловить в первую очередь