А/В-тестирование: как проводить и для чего это делать

А/В-тестирование – серьезный этап работы над продуктом. Неважно, запускаете ли вы рекламную кампанию, лендинг или меняете дизайн страницы, запуск A/B-теста поможет сделать правильный выбор. Ниже рассказываем, как и для чего проводить А/В-тестирование.

Для чего надо проводить А/В-тестирование

А/В-тестирование рекламных объявлений: задачи, виды, инструменты

Какие задачи решает тестирование объявлений

Виды А/В-тестов рекламных объявлений

А/В-тестирование дизайна сайта: задачи, виды инструменты

Задачи тестирования сайтов и посадочных страниц

Виды тестирования дизайна сайта

Этапы проведения А/В-тестов

Инструменты тестирования рекламных объявлений

А/В-тестирование в Яндекс.Директе

А/В-тестирование в myTarget

А/В-тестирование во ВКонтакте

Инструменты тестирования сайтов и лендингов

A/B-тестирование в Google Optimize

A/B-тестирование в Unbounce

Как сделать A/B-тестирование эффективным: чек лист

Для чего надо проводить А/В-тестирование

А/В-тестирование – метод маркетингового исследования, в ходе которого на целевой аудитории тестируются взвешенные решения относительно внедрения творческих идей.

А/В-тестирование широко применяется для улучшений сайтов, лендингов и рекламных объявлений. Эксперименты позволяют улучшить пользовательский опыт взаимодействия с сайтом, привлечь целевую аудиторию и стимулировать продажи.

Кто обычно проводит А/В-тестирование?

• Контектологи. С помощью тестирования определяют лучший вариант рекламы.
• Маркетологи. Тестируют призывы к действию, логотипы, слоганы и любые другие элементы маркетинговой программы для улучшения поведенческих характеристик аудитории и повышения узнаваемости бренда.
• Вебмастера. Проверяют реакцию пользователей на разные элементы страницы, определяют «слепые зоны», тестируют всплывающие окна и виджеты и т. д.
• Продакт-менеджеры. Тестируют различные ценовые модели (например, как отреагирует аудитория на ту или иную цену подписки), экспериментируют с call-to-action на сайте или онбордингом в приложении.
• Продуктовые дизайнеры. Тестируют различные дизайнерские решения: цвет кнопки, расположение баннера на сайте, размер шрифта, удобство новой внедренной функции и т. д.

А/В-тестирование рекламных объявлений: задачи, виды, инструменты

А/В-тесты запускаются для определения, какой из двух вариантов рекламного объявления позволит достичь цели с минимальными затратами. Ниже рассказываем, как и для чего тестируются объявления.

Какие задачи решает тестирование объявлений

А/В-тестирование объявлений – эксперимент, в ходе которого определяется, как изменения в рекламе отобразятся на результатах продвижения.

Основное правило проведения А/В-тестирования рекламы заключается в следующем: исходное объявление А и тестируемое объявление В отличаются только одним элементом при прочих равных условиях. Эксперимент определяет, какое из объявлений лучше работает. Например, одной и той же аудитории можно показать рекламу с двумя разными заголовками и определить, какой из них нравится больше.

А/В-тестирование объявлений решает такие задачи:

1. Определяет семантику, которая подходит под цели. Например, интернет-магазин продвигал фототехнику по высоко– и среднечастотным запросам: «зеркальный фотоаппарат Nikon», «объектив для макросъемки» и т. д. В результате цена достижения цели для магазина оказалась слишком высокой. Поэтому была выдвинута следующая гипотеза: использование в тексте объявления низкочастотных ключевых слов («объектив AF-S VR Micro-NIKKOR», «камера Canon EOS 4000D BK 18-55») привлечет целевую аудиторию и снизит цену достижения цели;

2. Сравнить эффективность ручного управления с автостратегиями. Компания запустила рекламу консалтинговых услуг с ручным управлением ставок в Яндекс Директе. Но спустя некоторое время пришла к выводу, что реклама работает не эффективно. Поэтому была выдвинута гипотеза, что применение автостратегии с оплатой за конверсии приведет к уменьшению затрат при увеличении числа конверсии на 20–30%;

3. Определить наиболее эффективный заголовок или текст объявления. Имеется в виду такой заголовок или текст, который будет иметь более высокие показатели CTR и конверсии при наименьшей цене клика и цели. Например, магазин техники выдвигает гипотезу, что замена общего заголовка на заголовок с хорошо проработанным УТП приведет к увеличению кликабельности и снижению цены достижения цели. Допустим, в первоначальном объявлении был заголовок «Лучшие цены на всю бытовую технику», в экспериментальном – «Скидки до 40% на духовки». Рекламодатель планирует сделать ставку на скидки и получить больше переходов;

4. Определить эффективность разных подходов к созданию объявления или группировке запросов. Например, компания при создании объявлений группировала ключевые слова по принципу семантической схожести. Но в ходе кампании оказалось, что бюджет расходуется быстро и стоимость клика при этом достаточно высокая. Поэтому была разработана гипотеза, что использование метода SKAG (в одной группе объявлений используется только один ключ) приведет к снижению цены клика и снизит стоимость заявки;

5. Узнать наиболее эффективный тип кампании. Для рекламы спортивного комплекса было настроено текстово-графическое объявление в РСЯ. В качестве креатива использовалось статическое изображение. Но в ходе открутки рекламы оказалось, что она приносит мало конверсий. Поэтому была выдвинута гипотеза, что при добавлении в объявление видеодополнения конверсионность рекламы повысится. Нужно проверить, какая рекламная кампания принесет больше конверсий: со статической картинкой или с видеодополнением. Сделать выводы относительно двух вариантов поможет статистика по количеству переходов и конверсий.

Виды А/В-тестов рекламных объявлений

При проведении эксперимента тестироваться могут любые элементы рекламных объявлений.

• Заголовки. Например, магазин осветительных приборов запускает поисковую рекламу с целью увеличения трафика на сайт. Однако запущенная кампания получает недостаточное количество кликов. Поэтому выдвигается гипотеза, что при изменении заголовка кликабельность рекламы увеличится.

• Основные тексты. Выдвигается гипотеза, что реклама получит больше переходов по более низкой цене, если изменить текст объявления. Поэтому создается второе объявление, которое будет отличаться от контрольного объявления А только своим рекламным текстом.

• Креативы (фотографии и видеоролики). В ходе А/В-теста рекламы определяется наиболее привлекательный для целевой аудитории креатив, по которому реклама получит больше переходов.

• CTА-кнопки. Объявления могут иметь разные призывы к действию. Например, магазин осветительных приборов запустил рекламу в РСЯ, но получил мало целевых переходов. Была выдвинута гипотеза, что изменение текста на CTА-кнопке приведет к увеличению переходов целевой аудитории на сайт.

• Уточнения. Например, при запуске рекламы в объявлении не использовались уточнения. Однако результаты показали низкую привлекательность рекламы для пользователей. Поэтому магазин предположил, что повысить кликабельность объявления на поиске поможет использование уточнений. Был запущен А/В-тест рекламных кампаний. Разница в объявлениях заключается в том, что контрольный вариант не содержит уточнения, а тестируемое объявление было дополнено информацией о скидках и рассрочках.

Кроме тестирования различных элементов в объявлениях также можно проводить эксперименты со ставками, стратегиями и аудиториями. В этом случае контрольное и тестируемое объявление будут идентичными, а разными будут настройки ставок. Например, в контрольном объявлении будет включено ручное управление ставками, а в тестируемом – автостратегия. Или контрольное объявление будет настроено на аудиторию по интересам, а в тестовом будет использоваться контекстный таргетинг.

А/В-тестирование дизайна сайта: задачи, виды инструменты

А/В-тестирование страницы сайта направлено на улучшение пользовательского опыта. Рассказываем более подробно, для чего нужно тестировать дизайн сайта, какие виды тесты бывают и какие инструменты используются.

Задачи тестирования сайтов и посадочных страниц

Суть А/В-тестирования веб-страниц следующая: есть исходная страница сайта, на ее основании создается такая же страница, на которой меняется один параметр (изображение, видеоролик, заголовок, регистрационная форма, виджеты, CTA-кнопки). Далее запускается тестирование, в ходе которого одной половине аудитории показывается исходная страница, а второй – тестовая. После чего результаты сравниваются и делаются выводы, при показе какой страницы цель достигается чаще.

Целью может быть регистрация, подписка, покупка товара, добавление товара в корзину, проведение на сайте пользователем определенного количества времени, клик по CTA-кнопке. На основании полученных результатов определяется страница с наиболее высокой конверсией и выбирается тот вариант, который в дальнейшем будет показываться всем пользователям.

Тестирование страниц сайта может помогать выполнить следующие задачи:

1. Определить и устранить недочеты UX. Это может быть тестирование pop-up-окон и форм обратной связи на предмет их удобства для пользователей и своевременность их демонстрации, тестирование больших изображений на скорость загрузки. Например, окно с предложением зарегистрироваться в системе всплывало сразу же после того, как пользователь попадал на сайт. Выдвинута гипотеза, что количество отказов снизится, если эта форма будет показываться после того, как пользователь проведет на сайте одну минуту;

2. Увеличить эффективность существующего трафика. Для этого тестируются разные элементы страницы и учитывается, как они влияют на посещаемость. Например, на сайте размещен маленький рекламный баннер (250х250 pxs). Но оказалось, что сайт получает низкое число переходов по нему. Поэтому выдвинута гипотеза, что замена баннера 250х250 pxs на баннер размером 300х600 pxs приведет к увеличению трафика;

3. Поднять вовлеченность сайта. Тестируется, как внедрение форм обратной связи, CTA-кнопок, видеороликов, плагинов влияет на количество отказов и кликабельность. Например, на сайте был большой баннер, который планируют заменить видеороликом. Выдвинута гипотеза, что замена баннера на видеоролик увеличит время пребывания посетителей на сайте и количество совершенных целевых действий. Но при этом скорость загрузки сайта увеличится на 1 секунду. В ходе тестирования надо определить, что оставить на странице: статичный баннер или видеоролик.

Тестирование помогает сделать лендинг удобным для пользователей и увеличить количество заявок с него. Советы по разработке лендинга читайте в статье «Как сделать продающий лендинг для бизнеса: виды, структура, способы создания».

Виды тестирования дизайна сайта

В зависимости от способа организации тестов выделяют:

1. A/B-тестирование сайта. В ходе эксперимента берется исходная (контрольная) страница А и на ее основании создается тестируемая страница B, которая отличается от контрольной только одним измененным элементом. Для проведения A/B-теста не требуется создания отдельного URL для тестируемой страницы. Поскольку большинство инструментов позволяют динамически менять контент;
2. A/B/n-тест. Тест, в котором сравнивается более двух вариаций. То есть существует контрольная страница А и создается тестируемая страница В, тестируемая страница С и так далее. Как и в A/B-тестировании, эти страницы отличаются только одним измененным элементом, например основным изображением вверху страницы;
3. Сплит-тестирование. Это многостраничное тестирование. Подходит для тестирования 2 и более страниц сайта. В этом случае создается отдельный URL для каждой вариации. Сплит-тестирование подходит в том случае, если компания разработала два принципиально отличающихся лендинга и хочет проверить, какой из них отработает лучше. Или второй случай – на сайте нужно внести изменения сразу на несколько страниц, например на главную страницу, на страницу регистрации и оформления заказа. Для определения лучшего варианта проводится сплит-тестирование;
4. Мультивариантное тестирование. Тесты, которые позволяют протестировать два и более изменений на одной странице. В данном случае есть контрольная страница А и тестируемая страница В. При этом тестируемая страница В отличается от контрольной несколькими изменениями. Например, страница имеет другой фон, рекламный баннер расположен не справа, а вверху страницы и изменен текст на CTA-кнопке.

При A/B-тестировании страницы могут сравниваться такие элементы:

1. Заголовки. Например, на лендинге компании, которая продает аппаратное оборудование для косметологов, текст заголовка напечатан голубым цветом, шрифт – Arial, размер – 30. Исследование поведения пользователей на странице показало, что посетители не обращают внимание на заголовок. Поэтому была выдвинута гипотеза, что изменение цвета шрифта с голубого на синий и увеличение его размера до 36 Arial привлечет внимание пользователей к странице и улучшит их поведенческие реакции;
2. Изображения. На главной странице сайта ветеринарной клиники размещена фотография здания, в котором осуществляется прием посетителей. Сайт получал много отказов. Выдвинута гипотеза, что замена изображения на фотографию ветеринара с домашним питомцем увеличит время пребывание на сайте и сократит число отказов;
3. CTA-кнопки. На лендинге был размещен баннер с желтой CTA-кнопкой и надписью «Оставить заявку». Однако месяц наблюдений показал, что пользователи видят баннер, но целевое действие не выполняют. Выдвигается гипотеза о том, что красная CTA-кнопка с призывом «Купить сейчас» повысит вовлеченность аудитории и кликабельность рекламы;
4. Места размещения баннера. Например, рекламный баннер показывался пользователям справа. Однако в ходе исследования оказалось, что баннер попал в слепую зону и пользователи не переходят по нему;
5. Фон страницы и цвет шрифта. Изначально главная страница сайта консалтинговых услуг имела черный фон и белый шрифт. Однако пользователи проводили мало времени на сайте и быстро его покидали. Была выдвинута гипотеза, что такой большой процент отказов наблюдается из-за низкого юзабилити сайта: людям сложно читать информацию. Поэтому было выдвинуто решение сделать тестовую страницу с другим фоном (цвет слоновой кости) и черным шрифтом;
6. Макет страницы (лейаут). Например, в начальной версии страницы сделано вертикальное меню. Но анализ активности пользователей говорит, что навигация на сайте неудобна посетителям. Поэтому принято решение поменять макет страницы и разместить меню слева.

Этапы проведения А/В-тестов

Вне зависимости от вида запускаемого эксперимента А/В-тестирование имеет стандартные этапы.

1. Определение цели. Например, онлайн-школа языка ставит цель получить 300 регистраций на своем сервисе в рамках рекламной кампании в Яндекс Директе. Выдвигается гипотеза, что для увеличения регистраций на сайте нужно в рекламном баннере использовать одно из двух уникальных торговых предложений. Первое – новым клиентам предлагается скидка на первый месяц обучения в размере 30%. Второе – записаться на бесплатное пробное занятие с возможностью выбора преподавателя.

2. Определение метрики. При запуске А/В-тестирования нужно определить метрику, по которой будет делаться вывод относительно эффективности того или иного запущенного эксперимента. Например, в случае с примером про онлайн-школу языка, главная метрика – это количество регистраций пользователей. Если же запускается эксперимент с разными заголовками, то основной метрикой будет показатель CTR.

3. Разработка гипотезы. На этом этапе определяются желаемые результаты от запуска рекламы и проводящихся экспериментов. Например, онлайн-школа языка выдвигает гипотезу: «Предложение скидок целевой аудитории приведет к повышению их интереса к услуге и увеличению количества регистраций на сайте».

В процессе подготовки эксперимента разрабатывается две гипотезы:

• Нулевая гипотеза. Предполагает, что результаты варианта А и варианта В не отличаются или являются случайными. В ходе эксперимента нужно опровергнуть нулевую гипотезу;
• Альтернативная гипотеза. Гипотеза предполагает, что результаты варианта А отличаются от варианта В. Здесь нет случайности. И в ходе тестирования подтверждается истинность этого предположения.

При запуске теста важно определить, каким он будет: односторонним или двусторонним. В первом случае тестирование определяет изменения только в одном направлении, во втором – изменения сразу по двум направлениям.

4. Подготовить эксперимент. На чистоту эксперимента напрямую влияет правильность подбора целевой аудитории. В любой рекламной системе тестирование проводится на отобранной аудитории. Поэтому важно грамотно определить демографический и географический таргетинг, таргетинг по экспериментам и так далее. Также можно использовать собственные данные об аудиториях.

Далее при подготовке эксперимента проводятся такие действия:

• аудитория делится на контрольную и экспериментальную группы. В настройках указывается соотношение этих групп. Например, вся аудитория может быть поделена на две равные половины (50% на 50%). Первая половина – контрольная группа, вторая половина – экспериментальная. Но эти пропорции могут быть любыми: 60% на 40%, 40% на 60%. Чаще всего эти группы имеют разный размер;
• в настройках задается, что аудитория будет видеть тесты А и В в случайном порядке. Тогда у каждого пользователя будут одинаковые шансы увидеть одну из двух запущенных версий;
• рассчитывается размер выборки. Размер репрезентативной выборки напрямую влияет на чистоту эксперимента. Чем больше выборка, тем более статистически значимые результаты можно получить. Подробнее о методах определения выборки читайте здесь.

Например, в ходе проведения эксперимента на сайте интернет-магазина тестируется новая форма для регистрации. Во время разработки гипотезы было решено, что новую страницу регистрации увидят только новые пользователи. В ходе эксперимента будет обеспечиваться случайная выборка: каждый пользователь получит равные шансы увидеть начальную форму регистрации и новую форму.

Для определения размера репрезентативной выборки воспользуемся калькулятором SurveyMonkey;

• определяются временные рамки. Рассчитать время проведения можно отталкиваясь от размера выборки. Для этого нужно размер выборки поделить на ежедневный трафик.

В вышеприведенном примере мы вычислили объем выборки – 14 267 человек. Ежедневный трафик на страницу регистрации составляет 2000 человек. Это означает, что за день только 1000 пользователей увидят новую версию.

14267/1000 = 14,27

Это означает, что минимум 15 дней нужно выделить на проведение эксперимента, чтобы получить статистически значимые результаты.

5. Провести эксперимент и проанализировать результаты. Не рекомендуется смотреть на результаты эксперимента до его завершения. Иногда на ранних стадиях может казаться, что одни пользователи предпочитают именно этот вариант и тест отключается. Хотя по завершении эксперимента результаты могут быть кардинально другими.

По окончании тестирования проводятся следующие действия: рассчитывается значения выбранной метрики и определяется разница между полученными результатами по контрольному и тестовому варианту. Если разницы между полученными результатами нет, то выборка сегментируется по типу платформ, источникам, географическим параметрам и т. д.

В ходе эксперимента могут быть получены такие результаты:

• выиграла контрольная версия А или между контрольной версией А и экспериментальной версией В нет разницы. В этом случае нужно разобраться, почему новая версия проиграла. Причина может крыться в негативном пользовательском опыте, недостаточно сильном УТП, слабом брендинге и т. д.;
• выиграла экспериментальная версия В. Это говорит о большей эффективности версии В. Значит, эксперимент удался и принятое решение можно применять ко всей аудитории.

Инструменты тестирования рекламных объявлений

Рекламные системы предоставляют возможность не только запускать рекламу, но и тестировать ее. Запустить А/В-тестирование можно в Яндекс Директе, myTarget, ВКонтакте. Кратко рассказываем об особенностях проведения эксперимента в каждой из перечисленных рекламных систем.

А/В-тестирование в Яндекс Директе

До 2020 года в Яндексе не было предусмотрено специального инструмента для проведения A/В-тестирования рекламных кампаний.

Поэтому для тестирования двух разных вариантов объявления нужно было настраивать две разные рекламные кампании, в которых объявления отличались каким-то одним элементом (заголовками, креативами, текстами или другими элементами). Настройки этих двух кампаний были одинаковыми, кроме расписания показов.

Расписание показов настраивалось методом «шахматки». Метод предусматривает поочередное включение и запуск кампании с периодичностью в один час.

В настройках это выглядит так: первая кампания показывается с 11 до 12 утра, а с 12 до 13 часов показ отключается, потом после 13 часов показ снова включается.

Вторая кампания, наоборот, не показывается с 11 до 12 дня. Показ объявлений включается с 12 до 13 дня.

Однако тестирование методом «шахматки» имело целый ряд недостатков:

• низкая репрезентативность. Этот способ не учитывает, что в разное время наблюдается разная активность пользователей. Поэтому почасовое включение и выключение кампаний не дает возможности полностью оценить то, как пользователи реагируют на исходное и тестируемое объявление;
• снижение эффективности работы кампаний. Яндекс использует умные алгоритмы для оптимизации рекламы. Постоянное включение и отключение негативно влияет на обучение умных алгоритмов и подбор целевой аудитории, которая с высокой вероятностью выполнит целевое действие на сайте;
• длительность тестирования. Для получения репрезентативных результатов тестирование должно проводиться длительный промежуток времени.

Также иногда для тестирования двух разных вариантов объявления настраивались две кампании, которые запускались поочередно с разницей в месяц. То есть сначала месяц работала одна кампания, затем ее показ останавливался и включался показ второй кампании.

Яндекс учел все перечисленные выше недостатки. Как результат, была внедрена возможность тестирования элементов и настроек в рекламных кампаниях. Внедренный инструментарий позволяет проводить тестирование как двух сегментов (A/B-тестирование), так и трех или более (A/B/n-тестирование).

Для запуска эксперимента используются два инструмента: Яндекс Директ и Яндекс Аудитории. В Директе настраиваются кампании, в Аудиториях – эксперимент.

Что требуется для проведения эксперимента:

1. Гипотеза для проверки;
2. В контрольной и тестовой кампании настроены счетчики Яндекс Метрики;
3. В Яндекс Метрике настроены цели или eCommerce-действия. Это необходимо для оценки конверсий в кампаниях.

После настройки кампаний эксперимент создается в Яндекс Аудиториях. Полный гайд по работе с аудиториями в этом сервисе читайте здесь.

Для проведения теста в Аудиториях надо перейти во вкладку «Эксперимент» и добавить новый эксперимент. В настройках эксперимента указывается его название, привязывается один или несколько счетчиков, создаются сегменты и указывается процент распределения показа рекламы между ними.

Далее, после настройки теста в Аудиториях, необходимо перейти в Яндекс Директ и скопировать ту кампанию, по которой будет проводиться эксперимент. Количество сделанных копий должно равняться количеству сегментов, которые созданы в новом эксперименте в Аудиториях. Важно, чтобы на этом этапе кампания, которая будет тестироваться, была остановлена.

В примере выше было создано 2 сегмента. Эта означает, что нужно создать две копии. Одна копия является контрольной: она остается без изменений. Во вторую вносятся изменения. 

Далее проводятся такие действия:

• в скопированные кампании добавляем те счетчики, которые указаны в новом эксперименте в Яндекс Аудиториях;
• в настройках Яндекс Директа подключаем эти кампании к тестированию. Для этого нужно перейти в «Дополнительные настройки».

После настройки А/В-теста рекламы исходная кампания останавливается, а вместо нее запускаются копии.

А/В-тестирование в myTarget

В системе myTarget также можно провести А/В-тестирование объявлений.

С помощью А/В-теста в myTarget можно определить:

• лучший вариант объявления (изображения, видеоролика). При этом соблюдается условие, что в настройках заданы одинаковые аудитории и ставки;
• оптимальную модель оплаты для рекламной кампании. Тест позволяет понять, за что лучше платить – за клики или за тысячу просмотров;
• оптимальную ставку по рекламе. Тест показывает, насколько повышается конверсионность объявления при повышении ставки;
• оптимальную модель распределения бюджета. Например, контрольный вариант объявления имеет равномерное распределение бюджета, а в тестируемом объявлении включается быстрое списание бюджета.

Настройка А/В-теста доступна при запуске рекламы в myTarget в разделе «Детальная настройка аудитории». Здесь просто нужно указать, какой процент аудитории будет участвовать в эксперименте.

Рекламная система myTarget предоставляет широкие возможности по настройке таргетинга и выбору рекламных форматов. Подробнее о доступных фичах читайте в статье «Как настроить рекламу в myTarget».

А/В-тестирование во ВКонтакте

Во Вконтакте также можно провести А/В-тестирование рекламных объявлений. Однако никаких специальных инструментов здесь не предусмотрено.

Суть проведения тестирования: создается два одинаковых объявления, которые отличаются каким-то одним элементом. В настройках указывается одна и та же аудитория.

В примере ниже создано два одинаковых объявления, которые отличаются только сниппетом:

Спустя некоторое время результаты показа этих двух объявлений сравниваются и делаются выводы относительно эффективности каждого варианта. Данные по кампаниям берутся из статистики, которая предоставляется в рекламном кабинете ВК.

Подробно о настройке рекламных кампаний во ВКонтакте читайте в статье «Как запустить рекламу в сообществах ВКонтакте».

Инструменты для тестирования многостраничных сайтов и лендингов

Для тестирования веб-сайтов и лендингов разработаны специальные инструменты, которые предназначены для веб-дизайнеров и маркетологов. Расскажем о возможностях и особенностях работы с этими инструментами.

A/B-тестирование в Google Optimize

Google Optimize – бесплатный инструмент Google для тестирования посадочных страниц.

Инструмент позволяет запустить несколько видов экспериментов, среди которых:

• A/B-тестирование. Представляет собой рандомизированный эксперимент, в котором имеется исходная страница А и экспериментальная страница B. Страницы отличаются одним элементом. Также инструмент позволяет настроить A/B/n-тест;
• многовариантный эксперимент. Исходная страница и тестируемая отличаются двумя и более изменениями;
• эксперимент с переадресацией. В ходе текста сравниваются две разные веб-страницы, которые имеют разный дизайн и разные URL;
• персонализация. Тестируется единый набор изменений на сайте, который показывается определенной аудитории;
• шаблон баннера. Выбирается аудитория, которой будет показываться тестовый баннер в верхней части сайта.

Как проводится A/B-тестирование в Google Optimize:

1. Проводится настройка контейнера. На этом этапе устанавливается связь между контейнером Google Optimize и Google Analytics. На страницы сайта, которые будут оптимизироваться, добавляется фрагмент кода Google Optimize. Также устанавливается расширение Chrome;

2. Создается проект оптимизации. Для этого выбирается вид проводимого теста, указывается его название и URL.

3. Проводится настройка сайта. Для этого создаются два разных варианта веб-страницы для тестирования. Например, на контрольной странице главное меню находится сверху, а на тестируемой – справа;

4. Проводится настройка проекта в Google Optimize. Здесь добавляется проект и настраивается его тестирование: задается процент распределения трафика между исходной и тестовой страницами, задаются аудитории и настраиваются цели;

По завершении эксперимента будет доступен отчет, в котором будут находиться данные о том, как ведет себя аудитория при показе ей контрольного и тестового варианта сайта.

A/B-тестирование в Unbounce

Unbounce – сервис для создания, анализа и тестирования лендингов.

Сервис платный – минимум 90 долларов в месяц. Дается бесплатный тестовый период на 14 дней.

Преимущество этого сервиса для запуска A/B-тестирования:

• позволяет создать копию страницы одним кликом мыши;
• имеет удобный визуальный редактор, в котором можно быстро поменять любой элемент для проведения теста.

Недостаток Unbounce заключается в том, что он позволяет разделить трафик между контрольной и исходной страницей только в пропорциях 50/50. В сервисе доступен только один вид экспериментов – A/B-тестирование.

Кроме Unbounce, запустить A/B-тестирование страниц можно с помощью таких сервисов: Energy-bm, Bloxy, VWO, Convert и т. д.

Как сделать A/B-тестирование эффективным: чек лист

Вот несколько советов, которые помогут сэкономить бюджет и провести эксперимент удачно.

1. Не сравнивайте в тесте новую кампанию со старой. Причина в том, что по старой рекламной кампании уже накоплена статистика. На основе этой статистики умный алгоритм проводил оптимизацию. При запуске новой кампании алгоритм находится на стадии обучения и используется прогнозный CTR. Поэтому при запуске такого теста важно обеспечить равные условия показа объявлений.

2. Выберите один элемент для тестирования. При запуске тестов, в которых тестовый вариант рекламы/страницы отличается от контрольного несколькими элементами, сложно точно определить, что именно повлияло на изменение CTR, конверсии и другие целевые показатели. Поэтому тестировать лучше что-то одно.

3. Рискованные гипотезы или новинки лучше тестировать на ограниченной аудитории. Запуск теста на 20–30% аудитории позволит сэкономить бюджет и увидеть общую картину.

Оптимизация рекламной кампании – это один из этапов стратегии привлечения клиентов. Для запуска и управления контекстной и таргетированной рекламой используйте систему click.ru. Профессиональные инструменты для маркетологов, единый пакет закрывающих документов на все кампании, помощь в маркировке рекламы, партнерская программа – все это сэкономит ваше время и повысит ваши доходы.