A/B тесты

A/B тесты — это метод экспериментального сравнения рекламных кампаний, при котором трафик распределяется между несколькими вариантами, а результаты измеряются по выбранной вами метрике.

Механика тестирования:

Разберемся подробнее с настройкой вариантов для А/В теста. Варианты — это кампания или набор кампаний, которые мы сравниваем друг с другом.

Каждый из вариантов включает в себя от 1 до 10 рекламных кампаний. Например, в 1-ый вариант вы включили 3 рекламных кампании, а во 2-ой — 8 кампаний.

В результате данного разделения вы увидите, какой из 2х вариантов отрабатывает эффективнее: с 3 или 8 кампаниями, а также сможете выделить кампанию или набор кампаний с лучшими результатами.

Обратите внимание, невозможно добавить одну и ту же кампанию в разные варианты одного теста: если вы занесли кампанию в 1-й вариант, эта РК будет недоступна для выбора во 2-м варианте. Максимум в одном А/В тесте может быть 20 кампаний: по 10 в каждом варианте.

Далее указываете процентное соотношение аудитории для каждого варианта. Итоговая сумма не должна превышать 100%: например, для 1-го варианта выделяем аудиторию в 40%, значит для 2-го она будет 60%.

В самих рекламных кампаниях первого варианта трафик из 40% распределяется на доли, указанные при настройке РК. Например, лимит для РК №1 составляет 1000 показов, для кампании №2 — 2000, для №3 — 3000. Суммарно на выделенные для варианта 40% аудитории проходится 6000 показов:

  • 16.67% на РК №1;

  • 33.33% на РК №2;

  • 50% на РК №3.

Аналогично для второго варианта — из 60% доступного трафика в каждую РК приходит доля, указанная при настройке РК.

И завершаем настройку запуском теста.

Преимущества тестирования:

  • Позволяет проверить гипотезы о влиянии креатива, аудитории или стратегии закупки без риска для всей кампании;

  • Помогает выявить скрытые факторы, влияющие на результат (например, разница в поведении сегментов аудитории);

  • Дает возможность планировать бюджет с опорой на подтвержденные результаты, а не предположения;

  • Сохраняет статистику завершённых тестов, формируя базу знаний для будущих кампаний.

Советы по проведению A/B тестов

  1. Длительность теста

    1. Период тестирования от 2 до 60 дней, но проводите тест не менее 7 дней для получения статистически значимых результатов;

    2. Учитывайте воронку конверсии вашего продукта.

  2. Количество кампаний

    1. В одном тесте вы можете сравнивать не более 20 кампаний. При этом в каждом из 2х вариантов их может быть не более 10;

    2. Один тест можно запустить только для кампаний одного рекламодателя;

    3. Невозможно добавить одну и ту же кампанию в разные варианты одного теста.

Варианты — это кампания или набор кампаний, которые мы сравниваем друг с другом. В 1-й вариант вы добавляете, например, 2 кампании, а во 2-й — 10 кампаний. Не забываем, если занесли кампанию в один из вариантов, она становится недоступной для выбора в другом.

  1. Объем трафика

    1. Убедитесь, что трафика достаточно для сбора статистики;

    2. При малом объеме трафика увеличивайте длительность теста.

  2. Рекомендуем выбирать распределение трафика 50/50% между вариантами — это обеспечивает равные условия для тестирования и позволяет получить статистически значимые результаты в кратчайшие сроки.

  3. Рекомендуем проверять в рамках одного теста только одну гипотезу, так вы получите более точные и интерпретируемые результаты.

Рассмотрим подробную механику настройки А/В тестов в интерфейсе Hybrid Platform.

Шаг 1. Подготовка к тестированию

Создайте тестовые кампании:

  • Подготовьте несколько вариантов кампаний, которые будут участвовать в тесте;

  • Убедитесь, что кампании активны и готовы к запуску.

Ограничения:

  • В одном тесте можно сравнивать от 2 до 20 кампаний;

  • Одна кампания может участвовать только в одном активном тесте.

Шаг 2. Создание A/B теста

Где найти:

В левом меню навигации выберите раздел «A/B тесты».

Нажмите кнопку «Создать A/B тест».

Заполните основные параметры:

  1. Название теста

    1. Укажите понятное название, отражающее суть эксперимента.

  2. Основная метрика

    1. Выберите метрику, по которой будете оценивать результаты (по умолчанию – «Общий расход»). Вы можете указать любую метрику из «Конструктора отчетов», кроме кастомных;

    2. Данная метрика будет показана первой в отчете.

  3. Период проведения

    1. Укажите длительность теста (от 2 до 60 дней);

    2. В интерфейсе доступны только даты, начиная с завтрашнего дня. Это ограничение исключает ошибки и гарантирует корректность последующего статистического анализа.

    3. Рекомендованный минимальный период от 7 дней для получения статистически значимых результатов.

  4. Рекламодатель

    1. Выберите рекламодателя в котором вы хотите провести А/В тест.

Настройте варианты для сравнения:

Шаги настройки:

  1. Распределение аудитории

    1. Укажите процентное соотношение аудитории на каждый вариант (по умолчанию выбрано 50/50%). Помните, что общая сумма долей должна равняться 100%.

  2. Добавьте кампании

    1. Выберите кампании для каждого варианта (максимум 10 кампаний на один вариант);

    2. Одна кампания не может быть в нескольких вариантах.

  3. Запустите тест

    1. Нажмите кнопку «Сохранить и запустить А/В тест».

Шаг 3. Мониторинг и анализ результатов

Где посмотреть результаты:

Перейдите в раздел «A/B тесты» → вкладка «Результаты».

Просмотр результатов во время теста:

  • Вы можете отслеживать промежуточные результаты теста со следующего дня после запуска;

  • Данные обновляются автоматически по мере поступления статистики;

  • Данные для просмотра выводятся за предыдущий день;

  • Для просмотра выберите нужный тест в фильтре и результаты отобразятся сразу.

Что доступно в отчете:

  • Результаты выводятся в виде таблицы с двойной группировкой (Вариант + Кампания);

  • По умолчанию на первом месте отображается основная метрика, выбранная при создании теста, а затем ключевые показатели: показы, клики, CTR, охват, частота показов;

  • Вы можете настроить вид отчета, добавив любые другие метрики из «Конструктора отчетов» (кнопка «Настроить отображаемые колонки»);

  • Доступны стандартные действия, такие как экспорт данных и изменение вида таблицы.

Шаг 4. Завершение теста

По окончании теста:

  1. Проанализируйте результаты в разделе «Результаты»;

  2. Определите наиболее эффективный вариант;

  3. При необходимости:

    1. Увеличьте бюджет успешным кампаниям;

    2. Остановите неэффективные варианты;

    3. Используйте полученные данные для оптимизации других кампаний.

Важно:

  • После завершения теста аудитория автоматически перераспределяется;

  • Статистика по завершенным тестам сохраняется и доступна для анализа;

  • Завершенный тест нельзя перезапустить.

Редактирование теста

Как редактировать:

Перейдите в раздел «A/B тесты» → рядом с нужным тестом нажмите кнопку .

Важно! После запуска возможно отредактировать только название теста.

Если у вас возникли вопросы, обратитесь за помощью к своему аккаунт-менеджеру или напишите нам на почту [email protected].

PreviousМои аудиторииNextSpotlight

Last updated

Was this helpful?