Основная информация, которую необходимо знать при проведении A/B тестов в Яндекс.Директ.
- Создаем два сегмента в Яндекс.Аудитории (А и В), если, например, хотим проверить ручную стратегию и автоматическую.
- Разделяем аудитории 50 на 50, но можно настроить другие пропорции по вашему усмотрению и по задачам.
- Переходим в аккаунт Яндекс.Директа. Работаем с экспериментальной кампанией или исходной, которая уже настроена.
- Делаем с выбранной рекламной кампании две копии.
- Заходим в настройки первой копии, и устанавливаем, что эта кампания принадлежит сегменту А.
- Заходим в настройки второй копии, и устанавливаем, что эта кампания принадлежит сегменту В.
- В первой и второй копиях устанавливаем те настройки, которые хотим использовать для А/В теста, те. в сегменте А будет ручное управление ставками, а в сегменте В - автоматическое управление ставками.
- Настраиваем стратегии и целевые показатели перед запуском тестовых кампаний. Первоначально необходимо посчитать средний дневной бюджет за неделю, который был у исходной. Для кампании с автоматическим управлением ставками устанавливаем то значение CPA,которое было получено за прошедшую неделю, а для кампании с ручным управлением ставками устанавливаем бюджет, поделенный на 2, относительно исходной кампании.
- Исходную кампанию, с которой делали 2 копии, останавливаем. Остановка исходной кампании нужна для того, чтобы накопленная статистика в этой кампании не влияла на чистоту проводимого эксперимента, т.е. две копии запускаем без статистики.
- В настройках автоматической кампании устанавливаем цель, которая набрала 20 и более конверсий в неделю.
- Запускаем А/В тест.
Нельзя менять в настройках рекламных кампаний при проведении А/В теста:
- Стратегию кампаний
- Модель атрибуции
- Останавливать кампании больше, чем на сутки
- Добавлять или удалять ключевые цели
- Изменять целевые показатели (например, CPA установили 1000 руб., и в ходе всего эксперимента пусть это значение остается неизменным)
Не рекомендуется менять в настройках рекламных кампаний при проведении А/В теста:
- Массово переписывать объявления
- Массово менять список ключевых слов
- Менять геотаргетинг (добавлять или удалять какие-то города, если это резко меняет аудиторию)
- Менять расписание показов
- Добавлять корректировки в конверсионных стратегиях (корректировки ставок в конверсионных стратегиях меняют не то значение ставки, которое выставил бидер, а чуть раньше они меняют исходное значение CPA или ДРР, на тот процент, который прописан в корректировках)
- Менять таргетинги (подключать новые или удалять старые)
Можно делать:
- Управлять ставками в ручной стратегии
- Вносить корректировки ставок в кампании с ручным управлением ставками
- Вносить не массово изменения одновременно (например, добавить 2-3 ключевые фразы, добавить какие-то минус-слова)
Для конверсионных стратегий во время эксперимента необходимо:
- Понимать, что эксперименту необходимо время, и не менять настройки каждые 2-3 дня.
-
Ориентироваться на недельный цикл, т.е. алгоритмы оптимизируются в рамках одной календарной недели, и достигают нужного значения в рамках этой недели путем сопоставления результатов в один день и в другой день. При этом конверсионные стратегии оценивают эффективность каждого дня в отдельности.
Поэтому важно получить статистику за несколько недель (рекомендуется минимум 3 недели), чтобы оценивать эффективность конверсионной стратегии или сравнивать результаты с ручным управлением ставками.
Анализировать эксперимент можно в Мастере отчетов, используя фильтр «Эксперименты». Рекомендуется оценивать результаты по полным неделям (в статистике выводить не по дням, а понедельно).
Дальнейшие действия после окончания А/В теста:
1 вариант. Если «выиграла» ручная стратегия, то можно остановить обе экспериментальные кампании, которые были с нулевой статистикой, и продублировать необходимые настройки в исходную кампанию из экспериментальной кампании с ручным управлением ставками.
2 вариант. Продолжить показывать рекламу с экспериментального сегмента, который был настроен на ручном управлении, увеличивая долю трафика на нем. Убираем разделение аудитории и увеличиваем бюджет кампании в два раза.
Если «выиграла» конверсионная стратегия, то рекомендуется постепенное увеличение бюджета на 10-20% за один раз не чаще, чем 1 раз в неделю (есть мнение, что можно 1 раз в 4 дня), т.к. резкое увеличение бюджета способно «сломать» обучение стратегии.
Следим за статистикой в Мастере отчетов.
Не забываем удалять кампании из экспериментов, после того, как провели эксперимент.
