Как проводить A/B-тестирование: 15 шагов для идеального сплит-теста

Итак, вы хотите узнать, что действительно работает на вашу аудиторию, и слышали об этой мифической форме маркетингового тестирования. Но у вас есть вопросы, такие как: «Что такое A/B-тестирование в маркетинге?» и «Почему оно имеет значение?». Не волнуйтесь! Вы получите все ответы на свои животрепещущие вопросы. Я даже сразу скажу вам второй ответ… Когда такие маркетологи, как мы, создают целевые страницы, пишут копии электронных писем или разрабатывают кнопки призыва к действию, может возникнуть соблазн использовать нашу интуицию, чтобы предсказать, что заставит людей нажать и подключиться. Но, как скажет вам любой, кто хоть минуту работал в маркетинге, всегда ждите неожиданностей. Поэтому вместо того, чтобы основывать маркетинговые решения на «предчувствии», лучше провести A/B-тест и посмотреть, что скажут данные. Продолжайте читать, чтобы узнать, как провести весь процесс A/B-тестирования до, во время и после сбора данных, чтобы вы могли принимать наилучшие решения на основе полученных результатов.

Что такое A/B-тестирование?

A/B-тестирование, также известное как сплит-тестирование, — это маркетинговый эксперимент, в ходе которого вы разделяете свою аудиторию для тестирования вариантов кампании и определяете, какой из них работает лучше. Другими словами, вы можете показать версию A маркетингового контента одной половине аудитории, а версию B — другой. Если вы визуал, не бойтесь: это видео расскажет вам обо всем, что нужно знать.

История A/B-тестирования

Трудно определить «истинные» истоки A/B-тестирования. Однако с точки зрения маркетинга А/Б-тестирование — пусть и в его начальной и несовершенной форме — вероятно, началось с американского рекламиста и автора Клода Хопкинса. Хопкинс тестировал свои рекламные кампании, используя промо-купоны. Тем не менее, процесс «научной рекламы» Хопкинса не включал ключевых принципов, которые мы используем в A/B-тестировании сегодня. За них мы должны благодарить биолога XX века Рональда Фишера. Фишер, который дал определение статистической значимости и разработал нулевую гипотезу, помог сделать A/B-тестирование более надежным. Однако маркетинговое A/B-тестирование, которое мы знаем и любим сегодня, зародилось в 1960-70-х годах. Оно также использовалось для тестирования методов кампаний прямого отклика. Еще один ключевой момент в маркетинге произошел в 2000 году. В это время инженеры Google провели свой первый A/B-тест. (Они хотели узнать, какое количество результатов лучше всего отображать на странице результатов поисковой системы).

Почему важно A/B-тестирование?

А/Б-тестирование имеет множество преимуществ для маркетинговой команды, в зависимости от того, что именно вы решили протестировать. Например, существует неограниченный список товаров, которые вы можете протестировать, чтобы определить общее влияние на вашу прибыль. Но вам также не стоит отказываться от использования A/B-тестирования, чтобы выяснить, на что именно лучше всего реагирует ваша аудитория. Давайте узнаем больше.

Вы можете найти способы улучшить свой результат

Допустим, вы нанимаете создателя контента с зарплатой 50 000 долларов в год. Этот создатель контента еженедельно публикует пять статей для блога компании, в общей сложности 260 статей в год. Если средняя статья в блоге компании приносит 10 ссылок, то можно сказать, что получение 10 ссылок обходится бизнесу чуть более чем в 192 доллара (50 000 долларов зарплаты ÷ 260 статей = 192 доллара за статью). Это солидная сумма. Теперь, если вы попросите этого создателя контента потратить два дня на разработку A/B-теста для одной статьи, вместо того чтобы написать за это время два поста, вы можете сжечь 192 доллара, поскольку опубликуете меньше статей. Но если в результате A/B-теста выяснится, что вы можете увеличить конверсию с 10 до 20 лидов, вы только что потратили 192 доллара, чтобы потенциально удвоить количество клиентов, которых ваш бизнес получает от блога.

… с низкими затратами и высокими доходами

Если тест провалился, вы, конечно, потеряли 192 доллара — но теперь вы можете сделать следующий A/B-тест еще более продуманным. Если второй тест пройдет успешно, вы в итоге потратили 384 доллара, чтобы удвоить доход своей компании. Сколько бы раз ни провалился ваш A/B-тест, его конечный успех почти всегда перевесит затраты на его проведение. Вы можете провести множество типов сплит-тестов, чтобы эксперимент в итоге оправдал себя. Прежде всего, эти тесты ценны для бизнеса тем, что они не требуют больших затрат, но приносят большую пользу.

Вы сможете узнать, что подходит вашей аудитории

A/B-тестирование может быть ценным, потому что разные аудитории ведут себя, ну, по-разному. То, что работает для одной компании, не обязательно сработает для другой. Возьмем для примера маловероятную маркетинговую тактику в B2B. На прошлой неделе я просматривал данные отчета HubSpot о тенденциях развития индустрии в 2024 году для написания статьи. Я заметил, что 10 % B2B-маркетологов планируют сократить инвестиции в NFT как часть своей стратегии в 2024 году. Первой моей мыслью было: «Ха, NFT в B2B?«. И тут меня осенило. Чтобы добиться такого снижения, B2B-маркетологи должны были в первую очередь использовать NFT. Еще более удивительным открытием стало то, что 34 % маркетологов планируют увеличить инвестиции в NFT как часть своей B2B-стратегии. Это лишь один из примеров того, почему специалисты по оптимизации коэффициента конверсии (CRO) ненавидят термин «лучшие практики». Потому что эта «лучшая практика»? На самом деле она может быть не самой лучшей для вас. Но этот вид тестирования может быть сложным, если вы не будете осторожны. Итак, давайте рассмотрим, как работает A/B-тестирование, чтобы вы не делали неверных предположений о том, что нравится вашей аудитории.

Как работает A/B-тестирование?

Чтобы провести A/B-тест, вам нужно создать две разные версии одного контента с изменениями одной переменной. Затем вы покажете эти две версии двум одинаковым по размеру аудиториям и проанализируете, какая из них показала лучшие результаты за определенный период. Но помните, что период тестирования должен быть достаточно длительным, чтобы сделать точные выводы о результатах.

A/B-тестирование помогает маркетологам наблюдать за тем, как одна версия маркетингового контента работает рядом с другой. Вот два типа A/B-тестов, которые вы можете провести, чтобы повысить коэффициент конверсии вашего сайта.

Пример 1: тестирование пользовательского опыта

Возможно, вы хотите проверить, повысит ли коэффициент кликов перемещение определенной кнопки призыва к действию (CTA) в верхнюю часть главной страницы вместо того, чтобы оставить ее в боковой панели. Для A/B-тестирования этой теории вы создадите другую, альтернативную веб-страницу, на которой будет использоваться новое размещение CTA. Существующий дизайн с CTA в боковой панели — или «контрольный» — это версия A. Версия B с CTA в верхней части — это «претендент«. Затем вы протестируете эти две версии, показав каждую из них заранее определенному проценту посетителей сайта. В идеале процент посетителей, увидевших ту или иную версию, должен быть одинаковым.

Пример 2: Испытание дизайна

Возможно, вы хотите выяснить, может ли изменение цвета вашей CTA-кнопки увеличить количество кликов по ней. Для A/B-тестирования этой теории вы разработаете альтернативную CTA-кнопку с другим цветом кнопки, которая будет вести на ту же целевую страницу, что и контрольная. Если вы обычно используете красную CTA-кнопку в своем маркетинговом контенте, а зеленый вариант получает больше кликов после A/B-теста, это может послужить поводом изменить цвет CTA-кнопок по умолчанию на зеленый впредь.

A/B-тестирование в маркетинге

Вот некоторые элементы, которые вы можете протестировать в своих маркетинговых кампаниях:

• Тематические строки.
• CTA.
• Заголовки.
• Титулы.
• Шрифты и цвета.
• Изображения продуктов.
• Графика блога.
• Основной текст.
• Навигация.
• Формы для заполнения.

Конечно, этот список не является исчерпывающим. Ваши возможности бесчисленны и зависят от типа маркетинговой кампании, которую вы тестируете. (Например, графика в блоге обычно не применяется в кампаниях электронной почты. А вот изображения товаров могут применяться как для тестирования электронной почты, так и для тестирования блога).

Но, допустим, вы хотите проверить, как разные тематические строки влияют на конверсию в кампании email-маркетинга. Что вам понадобится для начала?

Что включает в себя A/B-тестирование?

Вот что вам понадобится для успешного проведения A/B-теста.

• Кампания: Вам нужно выбрать уже действующую маркетинговую кампанию (например, рассылку, целевую страницу или электронную почту). Мы выбираем электронную почту.
• Что вы хотите протестировать: Вам нужно выбрать элемент(ы), который(ые) вы хотите протестировать в режиме A/B. В данном случае это будет строка темы письма, используемая в маркетинговой кампании по электронной почте. Но вы можете тестировать все, что угодно, вплоть до размера шрифта и цвета кнопки CTA. Однако помните, что если вы хотите получить точные результаты, тестируйте только один элемент за раз.
• Ваши цели: Вы тестируете ради тестирования? Или у вас есть четко определенные цели? В идеале, A/B-тестирование должно быть связано с вашими целями по выручке. (Чтобы отследить успех, вам нужно выбрать правильные метрики. Если речь идет о доходах, вы будете отслеживать такие показатели, как продажи, подписки и клики.

Цели A/B-тестирования

A/B-тестирование может многое рассказать вам о том, как ваша целевая аудитория ведет себя и взаимодействует с вашей маркетинговой кампанией. A/B-тестирование не только помогает определить поведение вашей аудитории, но и результаты тестов могут помочь определить ваши следующие маркетинговые цели. Вот некоторые общие цели, которые ставят перед собой маркетологи при проведении A/B-тестирования.

Увеличение посещаемости сайта

Чтобы привлечь внимание аудитории, используйте A/B-тестирование, которое поможет вам найти правильные формулировки для заголовков ваших сайтов. Тестирование различных названий блогов или веб-страниц может изменить количество людей, которые переходят на ваш сайт по гиперссылке. Это может увеличить посещаемость сайта. Увеличение веб-трафика, при условии, что он релевантен, — это хорошо! Больше трафика обычно означает больше продаж.

Более высокий коэффициент конверсии

A/B-тестирование не только способствует привлечению трафика на ваш сайт, но и помогает повысить конверсию. Тестирование различных расположений, цветов и даже якорного текста на ваших CTA может изменить количество людей, которые нажимают на эти CTA, чтобы попасть на целевую страницу. Это может увеличить количество людей, которые заполняют формы на вашем сайте, отправляют вам свою контактную информацию и «конвертируются» в лид.

Снижение показателя отказов

A/B-тестирование поможет определить, что именно отталкивает посетителей от вашего сайта. Возможно, ваш сайт не подходит вашей аудитории. Или, возможно, цвета противоречат друг другу, оставляя у целевой аудитории неприятный привкус во рту. Если посетители вашего сайта быстро уходят (или «отскакивают») после посещения вашего сайта, тестирование различных вступлений к записям в блоге, шрифтов или тематических изображений может удержать посетителей. Идеальные изображения продуктов Вы знаете, что у вас есть идеальный продукт или услуга, которые вы можете предложить своей аудитории. Но как понять, что вы выбрали правильное изображение продукта, чтобы передать то, что вы предлагаете? Используйте A/B-тестирование, чтобы определить, какое изображение товара лучше всего привлекает внимание вашей целевой аудитории. Сравните изображения между собой и выберите то, которое имеет наибольший коэффициент продаж.

Снижение количества оставленных корзин

В среднем 70 % клиентов, занимающихся электронной коммерцией, покидают сайт с товарами в корзине. Это явление известно как «отказ от корзины» и, конечно же, наносит ущерб любому интернет-магазину. Тестирование различных фотографий товаров, дизайна страниц оформления заказа и даже отображения стоимости доставки может снизить этот показатель отказа от покупки. Теперь давайте рассмотрим контрольный список для настройки, проведения и измерения A/B-теста.

Как разработать A/B-тест

Разработка A/B-теста поначалу может показаться сложной задачей. Но, поверьте нам, это просто. Ключ к разработке успешного A/B-теста — определить, какие элементы вашего блога, сайта или рекламной кампании можно сравнить и сопоставить с новой или другой версией. Прежде чем приступать к тестированию всех элементов маркетинговой кампании, ознакомьтесь с лучшими практиками A/B-тестирования.

Проверьте соответствующие предметы.

Перечислите элементы, которые могут повлиять на то, как ваша целевая аудитория взаимодействует с вашей рекламой или веб-сайтом. В частности, рассмотрите, какие элементы вашего сайта или рекламной кампании влияют на продажу или конверсию. Убедитесь, что выбранные вами элементы подходят и могут быть изменены для целей тестирования. Например, вы можете проверить, какие шрифты или изображения лучше всего привлекают внимание вашей аудитории в рекламной кампании на Facebook. Или вы можете протестировать две страницы, чтобы определить, какая из них дольше удерживает посетителей на вашем сайте.

Профессиональный совет: выберите подходящие элементы тестирования, перечислив элементы, которые влияют на общий уровень продаж или конверсию лидов, а затем определите их приоритетность.

Определите правильный размер выборки.

Размер выборки в A/B-тесте может сильно повлиять на результаты — и иногда это не очень хорошо. Слишком маленький размер выборки исказит результаты. Убедитесь, что размер вашей выборки достаточно велик, чтобы получить точные результаты. Используйте такие инструменты, как калькулятор размера выборки, чтобы определить необходимое количество взаимодействий, посетителей вашего сайта или участников вашей кампании для получения наилучшего результата. Проверьте свои данные. Грамотное сплит-тестирование дает статистически значимые и надежные результаты. Другими словами, на результаты вашего A/B-теста не влияют случайности и случайные факторы. Но как вы можете быть уверены, что ваши результаты статистически значимы и надежны? Как и при определении размера выборки, существуют инструменты, которые помогут проверить ваши данные. Такие инструменты, как Convertize’s AB Test Significance Calculator, позволяют пользователям вводить данные о трафике и коэффициентах конверсии переменных и выбирать необходимый уровень достоверности. Чем выше достигнутая статистическая значимость, тем меньше можно ожидать случайного происхождения данных.

Совет: убедитесь, что ваши данные статистически значимы и надежны, используя такие инструменты, как калькуляторы значимости A/B-тестов.

Составьте расписание тестов.

При сравнении переменных важно, чтобы все остальные элементы управления были одинаковыми, в том числе и время проведения тестов. Если вы работаете в сфере электронной коммерции, вам необходимо учитывать праздничные продажи. Например, если вы проведете A/B-тест на контроле в период пиковых продаж, посещаемость вашего сайта и продажи могут быть выше, чем при тестировании переменной в «нерабочую неделю». Чтобы обеспечить точность сплит-тестов, выберите сопоставимые временные рамки для обоих тестируемых элементов. Для получения наиболее точных и достоверных результатов обязательно проводите кампании в течение одинакового времени.

Профессиональный совет: выбирайте время, когда вы можете ожидать одинаковый трафик для обеих частей вашего сплит-теста.

Проверьте только один элемент.

Каждая переменная вашего сайта или рекламной кампании может существенно повлиять на поведение целевой аудитории. Вот почему при проведении A/B-тестов важно рассматривать только один элемент за раз. Попытка протестировать несколько элементов в одном A/B-тесте приведет к недостоверным результатам. С ненадежными результатами вы не узнаете, какой элемент оказал наибольшее влияние на поведение потребителя. Обязательно разработайте сплит-тест только для одного элемента вашей рекламной кампании или сайта.

Совет: не пытайтесь тестировать несколько элементов одновременно. Хороший A/B-тест будет предназначен для одновременного тестирования только одного элемента.

Проанализируйте данные.

Как маркетолог, вы можете иметь представление о том, как ваша целевая аудитория ведет себя с вашими кампаниями и веб-страницами. A/B-тестирование может дать вам более точное представление о том, как потребители на самом деле взаимодействуют с вашими сайтами. После завершения тестирования уделите время тщательному анализу данных. Вы можете с удивлением обнаружить, что то, что, как вы считали, работает в ваших кампаниях, оказалось менее эффективным, чем вы думали вначале.

Совет: Точные и надежные данные могут рассказать совсем не ту историю, которую вы себе представляли. Используйте эти данные для планирования или внесения изменений в свои кампании.

Как проводить A/B-тестирование

Воспользуйтесь нашим бесплатным набором для A/B-тестирования, в котором есть все необходимое для проведения A/B-тестирования, включая шаблон для отслеживания тестов, руководство для инструктажа и вдохновения, а также калькулятор статистической значимости, чтобы узнать, выиграли ли ваши тесты, проиграли или не дали результатов.

Перед проведением A/B-теста

Давайте рассмотрим шаги, которые необходимо предпринять перед началом A/B-теста.

1. Выберите одну переменную для тестирования.

Оптимизируя веб-страницы и электронные письма, вы обнаружите, что существует множество переменных, которые вы хотите проверить. Но чтобы оценить эффективность, вам нужно выделить одну независимую переменную и измерить ее эффективность. В противном случае вы не сможете точно определить, какая переменная отвечает за изменения в производительности. Вы можете тестировать несколько переменных для одной веб-страницы или электронного письма — только убедитесь, что вы тестируете их по одной. Чтобы определить переменную, изучите элементы ваших маркетинговых ресурсов и их возможные альтернативы по дизайну, формулировкам и оформлению. Вы также можете протестировать строки темы письма, имена отправителей и различные способы персонализации писем.

Профессиональный совет: Вы можете использовать программу HubSpot AI Email Writer для написания копий электронных писем для разных аудиторий. Это программное обеспечение встроено в инструменты маркетинга и продаж HubSpot.

Не забывайте, что даже простые изменения, например, изменение изображения в письме или слов на кнопке CTA, могут привести к значительным улучшениям. Более того, такие изменения обычно легче измерить, чем большие.

Примечание: Иногда целесообразнее тестировать не одну переменную, а несколько. Это называется многомерным тестированием.

2. Определите свою цель.

Хотя в ходе одного теста вы будете измерять несколько показателей, выберите основной показатель, на котором вы сосредоточитесь, еще до начала теста. Фактически, сделайте это еще до того, как подготовите вторую вариацию. Это ваша зависимая переменная, которая меняется в зависимости от того, как вы управляете независимой переменной. Подумайте, где вы хотите видеть эту зависимую переменную в конце сплит-теста. Вы можете даже выдвинуть официальную гипотезу и изучить результаты, основываясь на этом прогнозе. Если вы будете ждать окончания тестирования, чтобы подумать о том, какие показатели важны для вас, каковы ваши цели и как предлагаемые вами изменения могут повлиять на поведение пользователей, то вы можете настроить тест не самым эффективным образом.

3. Создайте «контролера» и «претендента».

Теперь у вас есть независимая переменная, зависимая переменная и желаемый результат. Используйте эту информацию, чтобы создать неизмененную версию того, что вы тестируете, в качестве контрольного сценария. Если вы тестируете веб-страницу, это будет неизмененная страница в том виде, в котором она уже существует. Если вы тестируете целевую страницу, это будет дизайн и копия целевой страницы, которые вы обычно используете. Затем создайте претендента — измененный сайт, целевую страницу или электронное письмо, которые вы будете тестировать в сравнении с контрольными. Например, если вам интересно, повлияет ли добавление свидетельства на целевую страницу на конверсию, создайте контрольную страницу без свидетельства. Затем создайте претендентскую страницу с отзывом.

4. Разделите группы поровну и случайным образом.

Для тестов, в которых у вас больше контроля над аудиторией — например, при работе с электронной почтой, — необходимо провести тестирование с двумя или более одинаковыми аудиториями, чтобы получить убедительные результаты. Как это сделать, зависит от используемого инструмента A/B-тестирования. Предположим, вы — клиент HubSpot Enterprise, проводящий A/B-тестирование, например, электронной почты. HubSpot автоматически разделит трафик на ваши вариации так, чтобы каждая вариация получила случайную выборку посетителей.

5. Определите размер выборки (если применимо).

Способ определения размера выборки также зависит от инструмента A/B-тестирования, а также от типа проводимого A/B-теста. Если вы проводите A/B-тестирование электронной почты, вам, скорее всего, захочется отправить A/B-тест достаточно большой части вашего списка, чтобы получить статистически значимые результаты. В конце концов, вы выберете победителя, чтобы отправить его остальным участникам списка. (Подробнее об этом читайте в электронной книге «Наука сплит-тестирования» в конце статьи). Если вы являетесь клиентом HubSpot Enterprise, вам поможет определить размер группы выборки ползунок. Он позволит вам провести 50/50 A/B-тест с любым размером выборки — хотя для всех других сплит-тестов требуется список не менее 1 000 получателей. Если вы тестируете что-то, что не имеет конечной аудитории, например, веб-страницу, то длительность тестирования напрямую влияет на размер выборки. Тест должен длиться достаточно долго, чтобы набрать значительное количество просмотров. В противном случае будет сложно сказать, была ли статистически значимая разница между вариантами.

6. Решите, насколько значительными должны быть результаты.

Выбрав целевую метрику, подумайте, насколько значительными должны быть результаты, чтобы оправдать выбор одной вариации перед другой. Статистическая значимость — это очень важная часть процесса A/B-тестирования, которую часто неправильно понимают. Если вам нужно освежить эту тему, я рекомендую прочитать эту статью в блоге о статистической значимости с точки зрения маркетинга. Чем выше процентный показатель уровня доверия, тем увереннее вы можете быть в своих результатах. В большинстве случаев вам нужен уровень доверия не менее 95 %, особенно если эксперимент требует много времени. Однако иногда имеет смысл использовать более низкий доверительный интервал, если вам не нужно, чтобы тест был настолько строгим. Мэтт Рео, старший инженер-программист компании HubSpot, считает, что статистическая значимость подобна ставке. На какие коэффициенты вам удобно делать ставки? Сказать: «Я на 80 % уверен, что это правильный дизайн, и готов поставить на него все», — это все равно что провести A/B-тест до 80 % значимости, а затем объявить победителя. Рео также говорит, что вам, скорее всего, понадобится более высокий порог доверия при тестировании того, что лишь незначительно повышает коэффициент конверсии. Почему? Потому что случайная дисперсия, скорее всего, будет играть большую роль. «Примером, когда мы можем смело снижать порог доверия, может служить эксперимент, который, скорее всего, повысит конверсию на 10 % и более, например, изменение дизайна раздела с героями», — пояснил он. «Отсюда следует вывод: чем радикальнее изменения, тем менее научно мы должны подходить к процессу. Чем более конкретные изменения (цвет кнопки, микрокопия и т. д.), тем более научными мы должны быть, потому что эти изменения с меньшей вероятностью окажут большое и заметное влияние на коэффициент конверсии», — говорит Рео.

7. Убедитесь, что вы проводите только один тест одновременно в любой кампании.

Тестирование нескольких вещей в рамках одной кампании может усложнить результаты. Например, если вы проводите A/B-тестирование email-кампании, которая направляет на целевую страницу, а вы в это время проводите A/B-тестирование этой целевой страницы, как вы узнаете, какое изменение вызвало увеличение числа лидов?

Во время A/B-теста

Давайте рассмотрим шаги, которые необходимо предпринять во время A/B-теста.

8. Используйте инструмент A/B-тестирования.

Чтобы провести A/B-тест на своем сайте или в электронном письме, вам понадобится инструмент A/B-тестирования. Если вы являетесь клиентом HubSpot Enterprise, в программном обеспечении HubSpot есть функции, позволяющие вам проводить A/B-тестирование писем, CTA и целевых страниц. Для клиентов, не являющихся владельцами HubSpot Enterprise, другие варианты включают Google Analytics, который позволяет проводить A/B-тестирование до 10 полных версий одной веб-страницы и сравнивать их производительность на случайной выборке пользователей.

9. Протестируйте обе вариации одновременно.

Время играет важную роль в результатах вашей маркетинговой кампании, будь то время суток, день недели или месяц года. Если бы вы запустили версию A в течение одного месяца, а версию B — месяцем позже, как бы вы узнали, было ли изменение производительности вызвано разницей в дизайне или разницей в месяце? При проведении A/B-тестов вы должны запускать две вариации одновременно. В противном случае вы будете сомневаться в своих результатах. Единственное исключение — тестирование времени, например, определение оптимального времени для отправки электронных писем. В зависимости от того, что предлагает ваш бизнес и кто является вашими подписчиками, оптимальное время для привлечения подписчиков может существенно отличаться в зависимости от отрасли и целевого рынка.

10. Дайте A/B-тесту достаточно времени, чтобы получить полезные данные.

Опять же, вам нужно убедиться, что вы проводите тест достаточно долго, чтобы получить значительный объем выборки. В противном случае будет сложно сказать, была ли разница между двумя вариантами статистически значимой. Сколько времени достаточно? В зависимости от вашей компании и способа проведения A/B-теста, получение статистически значимых результатов может занять несколько часов… или дней… или недель. Большое значение для получения статистически значимых результатов имеет количество трафика — если ваш бизнес не привлекает много посетителей на сайт, то на проведение A/B-тестов уйдет гораздо больше времени.

11. Обратитесь за отзывами к реальным пользователям.

A/B-тестирование имеет много общего с количественными данными… но это не всегда поможет вам понять , почему люди совершают определенные действия, а не другие. Пока вы проводите A/B-тестирование, почему бы не собрать качественную обратную связь от реальных пользователей? Опрос или анкетирование — один из лучших способов узнать мнение людей. Вы можете добавить на свой сайт опросник, который спрашивает посетителей, почему они не нажали на определенный CTA, или опросник на страницах благодарности, который спрашивает посетителей, почему они нажали на кнопку или заполнили форму. Например, вы можете обнаружить, что многие люди нажимают на CTA, ведущую к электронной книге, но, увидев цену, не конвертируются. Такая информация поможет вам понять, почему ваши пользователи ведут себя определенным образом.

После проведения A/B-теста

Наконец, давайте рассмотрим шаги, которые необходимо предпринять после проведения A/B-теста.

12. Сосредоточьтесь на метрике вашей цели.

Опять же, несмотря на то, что вы будете измерять несколько показателей, при анализе сосредоточьтесь на главном показателе — цели. Например, если вы протестировали две вариации письма и выбрали в качестве основной метрики количество лидов, не зацикливайтесь на показателях кликов. Возможно, вы увидите высокий показатель кликов и низкую конверсию, и в этом случае вы можете выбрать вариант с более низким показателем кликов.

13. Измерьте значимость результатов с помощью нашего калькулятора A/B-тестирования.

Теперь, когда вы определили, какая вариация работает лучше всего, пришло время определить, являются ли ваши результаты статистически значимыми. Другими словами, достаточно ли их для того, чтобы оправдать изменения? Чтобы узнать это, вам нужно провести тест на статистическую значимость. Вы можете сделать это вручную, а можете просто ввести результаты эксперимента в наш бесплатный калькулятор A/B-тестирования. (Калькулятор входит в наш бесплатный набор для A/B-тестирования). Вам будет предложено ввести результат в красные ячейки для каждого варианта, который вы тестировали. В шаблоне представлены результаты для «Посетителей» или «Конверсий». Тем не менее, вы можете настроить эти заголовки для других типов результатов. Затем вы увидите серию автоматических расчетов, основанных на введенных вами данных. После этого калькулятор определит статистическую значимость.

14. Примите меры, основываясь на полученных результатах.

Если одна из вариаций статистически лучше другой, значит, у вас есть победитель. Завершите тестирование, отключив проигравшую вариацию в инструменте A/B-тестирования. Если ни одна из вариаций не является значимой, значит, переменная, которую вы тестировали, не повлияла на результаты, и вам придется отметить тест как неубедительный. В этом случае придерживайтесь первоначальной вариации или проведите еще один тест. Вы можете использовать неудачные данные для того, чтобы придумать новую итерацию нового теста. Хотя A/B-тесты помогают влиять на результаты в каждом конкретном случае, вы также можете использовать уроки, извлеченные из каждого теста, в дальнейшей работе. Например, предположим, что вы проводили A/B-тесты в своем маркетинге электронной почты и неоднократно убеждались, что использование цифр в темах писем дает более высокий процент переходов. В таком случае подумайте о том, чтобы использовать эту тактику в большем количестве своих писем.

15. Планируйте следующий A/B-тест.

A/B-тест, который вы только что закончили, возможно, помог вам открыть новый способ сделать маркетинговый контент более эффективным — но не останавливайтесь на достигнутом. Всегда есть место для дальнейшей оптимизации. Вы даже можете попробовать провести A/B-тест на другой функции той же веб-страницы или электронной почты, на которой вы только что провели тест. Например, если вы только что протестировали заголовок на целевой странице, почему бы не провести новый тест на основной текст? Или цветовой схемы? Или изображения? Всегда следите за возможностями повысить конверсию и увеличить количество лидов.

Как читать результаты A/B-тестирования

Как маркетолог, вы знаете толк в автоматизации. Учитывая это, вы, скорее всего, используете программное обеспечение, которое выполняет расчеты A/B-тестов за вас — это огромная помощь. Но после того как расчеты завершены, вам нужно знать, как читать результаты. Давайте разберемся, как это сделать.

1. Проверьте метрику своей цели.

Первым шагом в ознакомлении с результатами A/B-тестирования является изучение целевой метрики, которой обычно является коэффициент конверсии. Введя результаты в калькулятор A/B-тестирования, вы получите два результата для каждой тестируемой версии. Вы также получите значимый результат для каждой из ваших вариаций.

2. Сравните коэффициенты конверсии.

Посмотрев на свои результаты, вы, скорее всего, сможете определить, что один из вариантов оказался лучше другого. Однако истинным критерием успеха является то, насколько статистически значимы ваши результаты. Например, у вариации A коэффициент конверсии составил 16,04%. Вариация B имела коэффициент конверсии 16,02%, а доверительный интервал статистической значимости составляет 95%. Вариация A имеет более высокий коэффициент конверсии, но результаты не являются статистически значимыми, что означает, что вариация A не сможет значительно улучшить ваш общий коэффициент конверсии.

3. Сегментируйте аудиторию для получения дополнительных сведений.

Независимо от значимости, важно разделить результаты по сегментам аудитории, чтобы понять, как каждая ключевая область отреагировала на ваши вариации. Общими переменными для сегментирования аудитории являются:

• Тип посетителя, или какая версия лучше всего подходит для новых посетителей, а какая — для повторных.
• Тип устройства, или какая версия лучше работает на мобильных устройствах, чем на настольных.
• Источник трафика, или какая версия показала лучшие результаты, исходя из того, откуда шел трафик на две ваши вариации.

Давайте рассмотрим несколько примеров A/B-экспериментов, которые вы можете провести для своего бизнеса.

Примеры A/B-тестирования

Мы уже обсуждали, как A/B-тесты используются в маркетинге и как их проводить, но как они выглядят на практике? Как вы уже догадались, мы проводим множество A/B-тестов, чтобы повысить вовлеченность и конверсию на нашей платформе. Вот пять примеров A/B-тестов, которые вдохновят вас на собственные эксперименты.

1. Поиск по сайту

Строки поиска по сайту помогают пользователям быстро найти то, что им нужно на конкретном сайте. В ходе предыдущего анализа компания HubSpot обнаружила, что посетители, взаимодействовавшие с поисковой строкой сайта, с большей вероятностью конвертировались в записи в блоге. Поэтому мы провели A/B-тест, чтобы повысить вовлеченность в строку поиска. В этом тесте независимой переменной была функциональность строки поиска, а зависимой переменной — просмотры страницы благодарности за предложение контента. В эксперименте мы использовали одно контрольное условие и три условия с претендентами. В контрольном условии (вариант A) строка поиска осталась неизменной.

В варианте B строка поиска была крупнее и визуально заметнее, а в качестве текста-заполнителя было установлено значение «поиск по теме».

Вариант C был идентичен варианту B, но поиск осуществлялся только по блогу HubSpot, а не по всему сайту. В варианте D строка поиска была больше, но текст-заполнитель был установлен на «поиск по блогу». В этом варианте поиск также осуществлялся только по блогу HubSpot.

Самым эффективным мы признали вариант D: Он увеличил конверсию на 3,4 % по сравнению с контрольным вариантом и повысил процент пользователей, воспользовавшихся строкой поиска, на 6,5 %.

2. Мобильные CTA

HubSpot использует несколько CTA для предложений контента в наших блогах, включая те, которые находятся в теле сообщения, а также внизу страницы. Мы тщательно тестируем эти CTA, чтобы оптимизировать их работу. Мы провели A/B-тест для наших мобильных пользователей, чтобы выяснить, какой тип CTA в нижней части страницы конвертирует лучше всего. В качестве независимой переменной мы изменили дизайн CTA-бара. В частности, в нашем тесте мы использовали одну контрольную и три претендента. В качестве зависимых переменных мы использовали количество просмотров страниц на странице благодарности CTA и количество кликов по CTA. Контрольное условие включало обычное размещение CTA в нижней части сообщений. В варианте B CTA не имел опции закрытия или сворачивания.

В варианте C мобильные читатели могли закрыть CTA, нажав на значок X. После закрытия он больше не появлялся. В варианте D мы включили опцию сворачивания CTA с помощью каретки вверх/вниз. Наши тесты показали, что все варианты были успешными. Наиболее успешным оказался вариант D, в котором конверсия увеличилась на 14,6 % по сравнению с контрольным вариантом. За ним следуют вариант C с увеличением на 11,4 % и вариант B с увеличением на 7,9 %.

3. Авторские CTA

В ходе другого эксперимента с CTA компания HubSpot проверила, приведет ли добавление слова «бесплатно» и других описательных формулировок к авторским CTA в верхней части постов блога к увеличению числа ссылок на контент. Предыдущие исследования показали, что использование слова «бесплатно» в тексте CTA повышает конверсию, а текст с указанием типа предлагаемого контента помогает SEO. В этом тесте независимой переменной был текст CTA, а главной зависимой переменной — коэффициент конверсии в формах предложения контента. В контрольном условии авторский CTA-текст был неизменным (см. оранжевую кнопку на изображении ниже).

В варианте B в текст CTA было добавлено слово «бесплатно».

В варианте C в текст CTA помимо слова «бесплатно» была добавлена описательная формулировка.

Интересно, что в варианте B количество отправленных форм снизилось на 14 % по сравнению с контрольным. Это было неожиданно, поскольку включение слова «бесплатно» в текст предложения контента считается лучшей практикой. В то же время количество отправок формы в варианте C превысило контрольный показатель на 4 %. Был сделан вывод, что добавление описательного текста к авторскому CTA помогло пользователям понять суть предложения и, следовательно, повысить вероятность загрузки.

4. Оглавление блога

Чтобы помочь пользователям лучше ориентироваться в блоге, HubSpot протестировал новый модуль оглавления (TOC). Цель заключалась в том, чтобы улучшить пользовательский опыт, быстрее представляя читателям нужный контент. Мы также проверили, повысит ли конверсию добавление CTA в этот модуль TOC. Независимой переменной этого A/B-теста было включение и тип модуля TOC в записи блога. Зависимыми переменными были коэффициент конверсии при отправке формы предложения контента и клики на CTA внутри модуля TOC. В контрольном варианте новый модуль TOC не использовался — контрольные посты либо не имели оглавления, либо содержали простой маркированный список якорных ссылок в теле поста в верхней части статьи (на фото ниже). В варианте B новый модуль TOC был добавлен в записи блога. Этот модуль был липким, то есть он оставался на экране, когда пользователи прокручивали страницу вниз. Вариант B также включал CTA-предложение контента в нижней части модуля.

Вариант C включал в себя модуль, идентичный варианту B, но с удаленным CTA.

Вариант C включал в себя модуль, идентичный варианту B, но с удаленным CTA.

Оба варианта B и C не увеличили конверсию в блогах. Контрольное условие превзошло вариант B на 7 % и показало одинаковый результат с вариантом C. Кроме того, немногие пользователи взаимодействовали с новым модулем TOC или CTA внутри модуля.

5. Уведомления о пересмотре

Чтобы определить лучший способ сбора отзывов клиентов, мы провели сплит-тест уведомлений по электронной почте и уведомлений в приложении. Здесь независимой переменной был тип уведомления, а зависимой — процент тех, кто оставил отзыв, от общего числа тех, кто открыл уведомление. В контрольном варианте HubSpot отправлял по электронной почте обычное текстовое уведомление с просьбой оставить отзыв. В варианте B компания HubSpot отправила электронное письмо с изображением сертификата, включающим имя пользователя.

В варианте C компания HubSpot отправила пользователям уведомление в приложении.

В итоге оба письма показали одинаковые результаты и превзошли уведомления в приложении. Около 25 % пользователей, открывших электронное письмо, оставили отзыв по сравнению с 10,3 % пользователей, открывших уведомления в приложении. Кроме того, пользователи чаще открывали электронные письма.

10 советов по A/B-тестированию от экспертов маркетинга

Я поговорил с девятью маркетологами из разных областей, чтобы получить их советы по A/B-тестированию.

1. Сначала четко определите свои цели и показатели.

«По моему опыту, совет номер один для A/B-тестирования в маркетинге — четко определить свои цели и метрики перед проведением любых тестов», — говорит Ноэль Гриффит, директор по маркетингу SupplyGem. Гриффит объясняет, что это означает твердое понимание того, чего вы хотите добиться с помощью теста и как вы будете измерять его успех. Это важно, потому что без четких целей легко запутаться в данных и сделать неверные выводы. Например, говорит Гриффит, если вы тестируете две разные темы письма, вашей целью может быть увеличение количества открытий. «Четко определив эту цель и установив конкретную метрику для измерения успеха (например, 10-процентное увеличение количества открытых писем), вы сможете эффективно оценивать эффективность каждого варианта и принимать решения, основанные на данных», — говорит Гриффит. Ноэль объясняет, что наличие четких целей не только поможет вам сфокусировать усилия по тестированию, но и позволит точно интерпретировать результаты и использовать их для улучшения маркетинговых стратегий.

2. Тестируйте только ОДНУ вещь во время каждого A/B-теста.

«С моей точки зрения, это самый важный совет для A/B-маркетинга… Для каждого отдельного A/B-теста всегда выбирайте что-то одно», — говорит Ханна Фелтгес, менеджер по маркетингу роста в Niceboard. Например, при A/B-тестировании размещения кнопок в электронных письмах Фелтгес следит за тем, чтобы единственным различием между двумя письмами было размещение кнопок. Никаких различий не должно быть ни в строке темы, ни в копиях, ни в изображениях, так как это может исказить результаты и сделать тест недействительным. Фелтгес применяет тот же принцип к метрикам, выбирая одну метрику для оценки результатов тестирования «Для электронных писем я выбираю победителя на основе заранее определенной метрики, такой как CTR, частота открытия, частота ответов и т. д. В моем примере с размещением кнопки я бы выбрал CTR в качестве решающей метрики и оценивал результаты на основе этой метрики», — говорит Фелтгес.

3. Начните с гипотезы, которую нужно доказать или опровергнуть.

Еще один не менее важный совет по проведению A/B-тестирования — начинать с гипотезы. Цель каждого A/B-теста — доказать правильность или неправильность гипотезы, отмечает Фелтгес. Например, Фелтгес тестирует две разные темы для холодных писем. Ее гипотеза такова: «Тематическая строка с именем потенциального клиента приведет к более высоким показателям открываемости, чем тема без имени», — говорит она. Теперь она может провести несколько тестов с одной и той же гипотезой, а затем оценить, верно ли утверждение или нет. Фелтгес объясняет, что идея заключается в том, что маркетологи часто делают быстрые выводы на основе A/B-тестов, например, «Имя и фамилия в теме письма работают лучше». Но это не на 100% верно. A/B-тесты — это то, что нужно для получения точных и конкретных результатов.

4. Отслеживание ключевых деталей теста для точного планирования и анализа.

«Я веду журнал, в котором записываю, сколько времени заняли мои A/B-тесты для SEO, и обязательно отслеживаю такие важные показатели, как достигнутый уровень статистической значимости, — говорит основатель NamePepper Дэйв ВерМир (Dave VerMeer). ВерМир объясняет, что журнал организован в виде электронной таблицы, в которой есть и другие колонки для таких вещей, как:

• Тип испытания.
• Подробные сведения о том, что было протестировано.
• Даты.

«Если я замечаю какие-то факторы, которые могли повлиять на тест, я отмечаю и их, — добавляет он. Другими факторами могут быть специальные мероприятия конкурентов или что-то, что произошло в новостях и вызвало всплеск трафика». «Я проверяю журнал всякий раз, когда планирую серию A/B-тестов. Например, он позволяет мне увидеть тенденции и спрогнозировать, как сезонность может повлиять на продолжительность тестового периода. Затем я соответствующим образом корректирую расписание тестов», — говорит ВерМир. По словам ВерМира, такая форма отслеживания также полезна для определения реалистичных ожиданий и подсказки, почему результат теста совпал или не совпал с прошлыми результатами.

5. Часто тестируйте…

Когда я беседовал с Габриэлем Ганом, руководителем редакционной службы In Real Life Malaysia, для составления руководства по проведению аудита маркетинга по электронной почте, он выделил два основных правила A/B-тестирования. При проведении A/B-тестирования Ган рекомендует установить письмо A в качестве действующего, а письмо B — в качестве претендента. Как и Ханна, Габриэль подчеркивает, что нужно менять только одну переменную за раз. «Например, в электронном письме B при тестировании коэффициента открываемости изменяйте только строку темы, но не превью, — говорит Ган. Это связано с тем, что если у вас есть несколько переменных, измененных по сравнению со старым письмом, «практически невозможно определить, какое именно новое дополнение внесло свой вклад в улучшение OPR/CTR». Кроме того, что нужно менять только одну переменную за раз, Ган рекомендует часто тестировать, пока вы не поймете, что работает, а что нет. «Бытует мнение, что, настроив список адресов электронной почты и создав шаблон для писем, вы можете «установить его и забыть». говорит Ган. «Но теперь, благодаря возможностям A/B-тестирования, всего за несколько раундов тестирования заголовков, визуальных элементов, копий, предложений, призывов к действию и т. д. вы можете узнать, что нравится вашей аудитории, сделать больше и повысить конверсию вдвое или втрое».

6. …Но не думайте, что вам нужно тестировать все подряд.

«Мой главный совет по проведению A/B-тестирования — использовать его только стратегически», — говорит Джо Кевенс, директор по формированию спроса в PartnerStack и основатель B2B SaaS Reviews. Кевенс объясняет, что «стратегически» означает, что только некоторые вещи заслуживают A/B-тестирования из-за времени и ресурсов, которые оно отнимает. «Я на собственном опыте убедился, что тестирование незначительных элементов, таких как цвета кнопок CTA, может быть пустой тратой времени и сил (если только вы не работаете в Amazon или какой-нибудь мегакорпорации, которая получает гигантское количество посещений страниц, и незначительное изменение может оказать существенное влияние)», — говорит Кевенс. Кевенс рекомендует вместо этого сконцентрироваться на таких областях, как макеты домашних страниц, демонстрационные или пробные страницы и громкие маркетинговые сообщения. Потому что эти элементы имеют больше шансов повлиять на конверсию и общий пользовательский опыт. Кевенс напоминает нам, что «A/B-тестирование может быть мощным, но его эффективность заключается в том, чтобы сосредоточиться на изменениях, которые могут существенно повлиять на результаты вашего бизнеса».

7. Используйте сегментацию для микроидентификации выигрышных элементов.

«Используя A/B-тестирование в маркетинге, не ограничивайте целевую аудиторию только одним набором параметров, — говорит Брайан Дэвид Крейн, основатель и генеральный директор компании Spread Great Ideas. Крейн рекомендует использовать такие критерии, как демографические данные, поведение пользователей, прошлые взаимодействия и история покупок, чтобы провести A/B-тестирование этих различных сегментов. Затем вы сможете отфильтровать выигрышную стратегию для каждого сегмента. «Мы используем такие основные показатели, как количество кликов, количество отказов и пожизненная стоимость клиента, чтобы определить комбинацию, которая конвертирует больше всего», — объясняет Крейн.

8. Используйте микроконверсии для получения подробной информации.

«Я знаю, что при A/B-тестировании обычно фокусируются на макроконверсиях, таких как продажи или регистрация. Однако мой главный совет — уделять внимание и микроконверсиям», — говорит Лайя Кинтана, руководитель отдела маркетинга и продаж TeamUp. Кинтана объясняет, что микроконверсии — это более мелкие действия, которые совершают пользователи перед совершением макроконверсии. Это могут быть такие действия, как нажатие на изображение товара, проведение определенного времени на странице или просмотр рекламного видеоролика. Но почему эти микроконверсии важны? Кинтана утверждает: «Они дают подробное представление о поведении пользователей и помогают выявить потенциальные препятствия на пути конверсии». Например, если пользователи проводят много времени на странице товара, но не добавляют его в корзину, возможно, проблема в макете страницы или понятности информации. Проведя A/B-тестирование различных элементов на странице, вы сможете выявить и устранить эти проблемы, чтобы повысить общий коэффициент конверсии. «Кроме того, отслеживание микроконверсий позволяет более эффективно сегментировать аудиторию. Вы можете определить, какие действия в наибольшей степени указывают на то, что пользователь в конечном итоге совершит покупку, а затем направить свои маркетинговые усилия на стимулирование этих действий. Такой уровень детализации A/B-тестирования может значительно повысить эффективность вашей маркетинговой стратегии», — говорит Кинтана.

9. Запускаете рекламу в LinkedIn? Начните с пяти разных версий и проведите их A/B-тестирование.

«Лучшая практика при запуске LinkedIn Ads — начать кампанию с пятью разными версиями объявлений», — говорит Кристина Стефанова, руководитель отдела маркетинговых операций в Goose’n’Moose. Стефанова напоминает, что в каждой версии важно изменять только одну переменную за раз. Для недавней кампании Стефанова начала с пяти вариантов объявлений — четыре с разными изображениями героев и три с измененным CTA. «Я запустила кампанию со всеми пятью вариантами на неделю. На тот момент было два объявления с явно высокими показателями, поэтому я приостановила остальные три и продолжила кампанию с двумя наиболее эффективными», — говорит Стефанова. По словам Стефановой, эти два объявления показали наилучшие результаты и имели самый низкий CPC. A/B-тестирование помогло не только конкретной кампании, но и помогло лучше понять, что привлекает их целевую аудиторию.

Что же дальше? «Изображения с людьми воспринимаются лучше, поэтому в предстоящих кампаниях я сразу же сосредоточусь на создании правильных изображений. Все это подкреплено реальными данными об эффективности благодаря A/B-тестированию», — говорит Стефанова.

10. Проводите SEO A/B-тесты? Сделайте это с URL-адресами тестовой и контрольной групп.

«Учитывая, что SEO-пространство постоянно развивается, становится все труднее проводить какие-либо эксперименты и получать надежные и статистически значимые результаты. Это особенно актуально при проведении SEO A/B-тестов», — говорит Райан Джонс, менеджер по маркетингу SEOTesting. К счастью, Джонс объясняет, что можно сделать, чтобы смягчить эту проблему и обеспечить надежность любых SEO A/B-тестов, которые вы проводите сейчас — и в будущем. Затем вы сможете использовать тесты в качестве «северной звезды» при внесении более масштабных изменений на свой сайт. «Мой совет номер один — убедитесь, что URL-адреса контрольной и тестовой групп настолько идентичны, насколько вы можете их создать. Например, если вы проводите A/B-тест на своих страницах PLP на сайте электронной коммерции, выбирайте PLP с одним и тем же типом продукта и с одинаковым уровнем трафика. Таким образом, вы можете быть уверены, что данные тестирования будут достоверными», — говорит Джонс. Почему это важно? «Пожалуй, самое главное, что «портит» данные A/B-тестов, — это слишком несхожие контрольные группы и группы вариантов. Но если убедиться, что вы проводите тестирование на статистически схожих URL-адресах, это можно смягчить лучше, чем что-либо другое», — говорит Джонс.