Считается, что проводить A/B-тестирование имеет смысл только в больших кампаниях с высоким трафиком. И то в случае, если бюджет позволяет выделить часть средств на эксперименты. В итоге малые бизнесы вовсе отказываются от тестов и не знают, как сделать свою кампанию лучше для пользователей. Это распространенная ошибка. Рассказываем, как запустить A/B-тестирование объявлений при низком трафике.
Как запустить A/B-тестирование объявлений
Сравнивать группы, а не объявления
Принимать решения, основанные на фактах
Что такое A/B-тестирование
A/B-тестирование (сплит-тестирование) – метод маркетингового исследования, в ходе которого тестируются две версии одного и того же объекта, отличающиеся между собой только одним элементом.
A/B-тестирование может проводиться для:
- бизнес-моделей. Например, можно протестировать, какой вариант регистрации удобнее для пользователей, которые хотят использовать платный сервис: привязать аккаунт или привязать карту;
- веб-страницы. С помощью тестирования можно узнать, какой шрифт лучше использовать на странице, где разместить главное меню (например, сверху или слева), где расположить кнопку «Положить в корзину» или фотографию товара и т. д.;
- контекстной рекламы. Для повышения кликабельности рекламы можно запустить объявления с двумя вариантами заголовков. Также можно запускать объявления с разными призывами к действию, расширениями и т. д.
Цель проведения A/B-тестирования в контексте – определить, как изменение того или иного элемента повлияет на эффективность рекламы.
3 случая, когда надо тестировать объявления:
- нет данных о том, какая аудитория будет покупать, а какая не будет покупать. Без точного аудиторного таргетинга реклама будет показываться всем подряд. В результате рекламодатель получит большое количество нецелевых переходов на сайт и потратит рекламный бюджет впустую. Выход из положения – тестирование разных аудиторий. Запуск тестов позволяет сегментировать покупателей по полу, возрасту, месту жительства, интересам и найти тех людей, которые заинтересованы в продукте;
- неизвестно, какое объявление привлечет больше покупателей и где его разместить. Тесты позволяют найти лучшее сочетание изображений, текстовых описаний и мест размещений. С помощью тестирования можно определить, какие креативы использовать и в каких сетях показывать рекламу;
- не от чего отталкиваться при определении KPI. Тестирование позволяет спрогнозировать результат от запуска рекламы и определить, какое количество кликов, переходов и конверсий получит рекламодатель.
Как запустить A/B-тестирование объявлений
Рекламные системы позволяют запустить A/B-тестирование объявлений. Но процесс запуска тестов в Яндекс.Директе существенно отличается от запуска экспериментов в Google Ads. Ниже показываем, как пошагово запустить A/B-тест контекстной рекламы в Яндекс.Директе и Google Ads.
Тестирование в Google Ads
Эксперименты в кампаниях Google Ads настраиваются в разделе «Проекты и эксперименты». Он находится в главном левом меню.
Создаем новый проект. Для этого выбираем созданную кампанию, называем проект, описываем суть эксперимента и сохраняем изменения.
После этого переходим в раздел «Эксперименты в кампаниях» и нажимаем на «+Новый эксперимент».
Задаем такие настройки:
- название и описание эксперимента;
- дату начала и окончания. Дату окончания задавать необязательно;
- экспериментальную группу. Выделяется доля трафика и бюджета исходной кампании. По умолчанию в настройках указана доля 50%.
Кликаем «Сохранить». На этом настройка эксперимента закончена.
Специально для тестирования лендингов Google предлагает использовать инструмент Google Optimize. Как работать с этим инструментом и запускать A/B-тестирование, читайте в статье «Google Optimize: секретный инструмент разработки эффективных лендингов».
Тест в Яндекс.Директе
Для тестирования объявлений Яндекс.Директа необходимо создать эксперимент в Яндекс.Аудиториях.
В Яндекс.Аудиториях переходим на вкладку «Эксперименты» и нажимаем на «Создать эксперимент».
Проводим новый эксперимент: даем ему название, выбираем счетчик, указываем название сегментов и их долю. Нажимаем на кнопку «Создать эксперимент».
После этого в Яндекс.Аудиториях появится новый эксперимент:
В Яндекс.Аудиториях можно не только создавать эксперименты, но и добавлять сегменты аудиторий. Полное руководство по работе с Яндекс.Аудиториями вы найдете в статье «Сегментируем как профессионалы: полная инструкция по работе с Яндекс.Аудиториями».
Дальнейшие настройки проводятся в Яндекс.Директе.
Для этого заводим две рекламные кампании под каждый созданный в Яндекс.Аудиториях сегмент эксперимента. В каждой кампании задаем настройки с учетом целей тестирования. Например, в одном объявлении пишем один заголовок, а во втором – другой.
Для запуска эксперимента в параметрах рекламной кампании находим раздел «Эксперименты». В этом разделе отмечаем эксперимент, созданный в Яндекс.Аудиториях. И нажимаем на «Готово».
После этих действий мы запустили эксперимент в одной кампании. Такие же действия проводим и во второй кампании.
Формула успешного теста
Основная проблема низкого трафика – малое количество данных для того, чтобы сделать определенные выводы. Ниже приводим советы, которые помогут избавиться от этой и других проблем при планировании и проведении теста.
Выдвинуть гипотезу
A/B-тесты хороши не сами по себе, а только как подтверждение или опровержение заранее поставленной гипотезы. Иными словами, еще до планирования эксперимента вы уже должны предполагать его ожидаемый результат.
Варьировать разные элементы объявления, чтобы посмотреть, к чему это приведет – дорогое и непоследовательное занятие. И если крупные компании хотя бы могут его себе позволить, вам нужно быть особенно избирательными с самого начала.
Определиться с гипотезой можно с помощью простой формулы «что если… ?»:
- Что если мы поменяем цвет призыва к действию на баннере?
- Что если мы вынесем другое преимущество товара в заголовок?
- Что если и мы сократим показы объявлений в выходные дни?
По возможности следует провести мозговой штурм, чтобы выявить самое стоящее предположение.
Возможные объекты экспериментов:
- количество заголовков и описаний;
- объем заголовков и описаний;
- тон и формулировка заголовков и описаний;
- указание или отсутствие точных цифр и цен;
- призыв к действию;
- центральное УТП или главное преимущество продукта;
- расширения и уточнения объявлений;
- отображаемые и реальные ссылки;
- расписание показов;
- стратегия назначения ставок;
- ключевые слова;
- геотаргетинг;
- аудиторный таргетинг;
- цветовая схема и дизайн баннера;
- наличие или отсутствие анимации или видео.
Гипотеза считается выдвинутой при условии, что выбран единственный элемент для тестирования и сформулировано, какое улучшение ожидается от его изменения.
Снизить уровень доверия
Это не призыв начать скептически относиться в A/B-тестам: уровень доверия – это всего лишь термин из статистики. Те рекламодатели, которые хоть раз пользовались Экспериментами Google Ads, уже сталкивались с его применением на практике.
В Google уровень доверия всегда равен 95%. Это позволяет рекламодателям получать наиболее точные результаты экспериментов.
Пример
Допустим, экспериментальная рекламная кампания завершила работу, набрав на 30% больше кликов, чем исходная. Это не значит, что по новому объявлению всегда кликают ровно в 1,3 раза чаще: поведение отдельных пользователей может отличаться от поведения охваченной выборки. Поэтому возможный прирост переходов Google покажет в виде интервала, например, [+26%, +34%]. Реальная прибавка эффективности попадет в него с вероятностью в 95% (или с уровнем доверия 95%).
Однако такая точность не всегда необходима. Бизнес-решения – не научные выводы, и для их принятия достаточно быть уверенным в цифрах на 90%, если не меньше. Даже такое небольшое снижение уровня доверия заметно сократит время и бюджет теста.
Плохая новость в том, что рассчитывать, сколько кликов необходимо для его достижения, придется самостоятельно. Для этого существует целый ряд онлайн-калькуляторов. Например, онлайн-калькулятор splitly.
Регулярно вводите количество показов и кликов (или конверсий, смотря что вы тестируете) в контрольной и тестовой группе объявлений, а также уровень доверия – 80% или 90% – и приложение подскажет вам, когда пора завершить эксперимент.
Сравнивать группы, а не объявления
Тестировать несколько объявлений внутри одной группы в Яндекс.Директ и Google Ads очень просто: платформы делают это автоматически. Однако такой способ тестов также требует стабильного трафика и ощутимых затрат, поэтому нам подойдет в меньшей степени.
Аккаунтам с ограниченным количеством кликов стоит рассмотреть другой вид эксперимента – группа объявлений против группы объявлений. К примеру, если вы хотите проверить, повлияет ли на CTR указание локации в заголовке или добавление нового уточнения, вы можете скопировать существующую группу и внести в нее соответствующие изменения.
Тест также нужно будет настроить вручную. В Яндекс.Директе это может быть традиционное шахматное тестирование, когда сравниваемые группы объявлений разносятся в разные кампании с чередующимся расписанием показов.
В Google Ads, как уже упоминалось выше, провести такой тест легко с помощью «Проектов и экспериментов».
Для этого создается проект на основе существующей кампании. В него вносятся необходимые изменения. Эксперимент запускается после того, как указывается выделяемая на него доля бюджета.
Определить сроки
С низким трафиком приходится быть терпеливым. Особенно учитывая то, что срок достижения статистической значимости даже с невысоким уровнем доверия заранее неизвестен.
Как мы уже говорили, калькулятор доверительного интервала подскажет, что пора завершать тест, но рассчитывать, что это произойдет за 1–2 недели не следует. Следует приготовьться к тому, что на эксперимент уйдет как минимум пара месяцев: обычно он того стоит.
Не экономить бюджет
Чем ниже бюджет на рекламу, тем меньше переходов на сайт получит рекламодатель. Поэтому при запуске A/B-тестирования не рекомендуется устанавливать ограничения бюджета. Наоборот, нужно готовиться тратить больше. На одно объявление следует выделить минимум 300-500 рублей. Но для некоторых тематик этого может быть недостаточно.
Бюджет на рекламу зависит от тематики, формата рекламы, настроек таргетинга, рекламной сети. Чем более конкурентная тематика, тем больше придется потратить на тестирование объявлений.
Советы о том, как снизить расходы в контекстной рекламе, читайте в статье: «CPC: Сколько платить за клик в Яндекс.Директе и Google Ads».
Использовать сводные таблицы
Когда тест завершен, для анализа его результатов понадобятся специальные аналитические инструменты. Начать можно со сводных таблиц Excel или Google Таблиц. Они позволяют агрегировать данные об эффективности как отдельных элементов объявлений, так и их сочетаний.
Пример
Допустим, мы сравнивали 4 группы объявлений с 4 видами заголовков и 4 видами описаний в Google Ads. Выгрузка отчета об их работе может выглядеть следующим образом:
Открыв файл в Excel или Google Docs, выделите таблицу целиком и выберите пункт «Сводная таблица» или «Pivot table» на вкладке «Данные». Так вы получите более структурированное представление показателей. В Google Таблицах для этого также необходимо добавить заголовки и описания в качестве строк, а метрики – в качестве столбцов:
Строки подытогов по каждому из заголовков и комбинаций с разными описаниями помогут выделить их самое конверсионное сочетание.
Принимать решения, основанные на фактах
Пожалуй, самый сложный пункт. Люди склонны принимать решения под влиянием эмоций, даже когда они противоречат рациональным доводам. Если выдвинутая гипотеза, в правильность которой вы верили с самого начала, не подтвердилась, вполне естественным будет объяснять это статистической ошибкой, малым периодом тестирования, недостатком бюджета и т.п.
В такой ситуации единственный выход – забыть о том, что говорят чувства и поверить цифрам. Гениальная идея не сработала – значит, к этой тематике она не подходит, и придется от нее отказаться. Это не вы ошиблись: ни один человек не смог бы с полной уверенностью предсказать исход эксперимента.
Профессиональное «чутье» и многолетний опыт имеют ценность, но вы выделяли средства на тесты не для того, чтобы потом выбросить из головы их результат.
Как подготовиться к запуску теста
Когда гипотеза для эксперимента выдвинута, а тестовые кампании настроены и готовы к запуску, задайте себе еще раз несколько контрольных вопросов:
- Готовы ли мы ждать результатов пару месяцев?
- Не попадет ли этот период на сезонные изменения спроса?
- Какой метрикой мы будем оценивать эффективность тестовой кампании (CTR, конверсии, коэффициент конверсии, CPA и т.п.)?
- Достаточно ли нам выбранного уровня доверия?
- Как мы будем анализировать результаты теста?
- Стоит ли эксперимент связанного с ним риска?
Только если на все из них у вас есть убедительные ответы, тест можно запускать. Ограниченный бюджет и нестабильный трафик – веские причины быть вдвойне осторожным.
Подготовить объявления к A/B-тестированию можно с помощью сервиса Click.ru. Профессиональные инструменты обнаружат еще не опробованные ключевые слова и создадут нужное для эксперимента количество групп объявлений. Редактировать единые для Яндекс и Google креативы удобно прямо в личном кабинете системы, а настраивать детали тестовых кампаний – через прямой доступ к самим платформам.
Кроме того, часть потраченных на тестирование средств вы сможете получить обратно на счет. Партнерская программа поможет вернуть долю рекламных расходов независимо от того, насколько удачным оказался эксперимент.
