Руководство по A/B тестированию ваших кампаний электронной почты

А/Б тестирование. Сама фраза звучит сложно и требует много времени — то, что действительно может подождать до другого дня. Но это не обязательно так. Современные приложения для маркетинга электронной почты часто оснащены функциями, которые делают A/B-тестирование (также называемое сплит-тестированием) таким же простым, как планирование кампании или настройка шаблона. Хотя существуют всевозможные виды A/B-тестов, которые можно проводить, в основном, на страницах вашего сайта, этот пост посвящен настройке того, что попадает в почтовые ящики ваших клиентов. Давайте рассмотрим основы A/B-тестирования: как оно работает, какие рекомендации следует соблюдать и какие характеристики писем тестировать.

Что такое A/B тестирование?

A/B-тестирование кампаний электронной почты включает в себя отправку двух разных версий письма двум случайно сегментированным половинам одного и того же списка, чтобы измерить, как одно изменение влияет на эффективность. Это изменение обычно вносится в тему письма, но может быть и в тело письма. Вот пример. Представьте, что вы владелец ресторана — кафе «Болтун», и после нескольких месяцев низких доходов у вас возникло желание изменить меню, чтобы посмотреть, повлияет ли это на продажи. Вы создаете новое меню, в котором вместо текста размещаете пять фотографий самых дорогих блюд. Это единственное изменение — все остальное в меню остается прежним. Затем вы делите кафе пополам — посетители с одной стороны получают новое меню, а все остальные — старое. Через два дня вы подсчитываете выручку и сравниваете обе стороны, с удовлетворением обнаруживая, что меню с пятью картинками увеличило средний билет на столик на 15%. У вас есть победитель. Следующая остановка: копировальный аппарат.

Преимущества A/B тестирования

Главное преимущество A/B-тестирования — это знания: вы узнаете, какой конкретный элемент вашего письма работает и в какой степени. Рассмотрим следующее:

• Если вы измените несколько элементов в нескольких письмах, вы не сможете определить, какие именно изменения привели к улучшению (или снижению) производительности.
• Если вы измените один элемент, но не проведете сплит-тестирование, сравнив его с контрольной группой (случайные получатели из того же списка, получившие неизменное письмо), то вы не узнаете, действительно ли изменения в эффективности можно отнести на счет изменений в вашем письме.

A/B-тестирование позволяет выявить конкретные улучшения, чтобы вы могли применить их повсеместно, извлечь из них уроки и продолжить совершенствовать свои кампании.

Советы по настройке A/B-тестирования электронной почты

Давайте начнем с честного признания: до того, как я изучил возможности A/B-тестирования, предоставляемые программным обеспечением для маркетинга электронной почты, я полностью ожидал, что буду вручную настраивать, проводить и анализировать A/B-тесты. На самом деле, A/B-тестирование — это просто добавление дополнительного текста в основной текст письма, использование дополнительного поля в строке темы или создание второго письма и обозначение его как варианта «B». Как только вы это сделаете, ваша служба маркетинга электронной почты позаботится обо всем остальном. Но настройка кампании в выбранной вами платформе — это самое простое. Вот как определить, что изменить, что измерить и как разработать концепцию теста, чтобы получить наилучшие результаты.

Знайте, что вы тестируете и зачем

Что вы хотите улучшить в своих маркетинговых письмах? Задайте себе этот простой вопрос, прежде чем приступить к работе.  В Zapier мы хотели бы увеличить количество переходов по электронной почте в рассылке новостей нашего блога и увеличить количество открытий и переходов по электронной почте при регистрации новых пользователей. Если мы достигнем этих целей, мы, вероятно, увидим больше уникальных просмотров страниц в нашем блоге и более высокий уровень вовлеченности в наше приложение. Итак, в нашем случае:

• Что: Увеличить количество открытий и переходов по ссылке
• Зачем: Для повышения вовлеченности

Сосредоточьтесь на часто отправляемых электронных письмах

Вы хотите провести A/B-тестирование своего письма «С праздником!»? Подумайте еще раз: вам придется ждать 12 месяцев, пока вы сможете использовать полученные результаты. A/B-тестирование лучше всего подходит для совершенствования часто рассылаемых писем — подумайте:

• Рассылки в блогах
• Электронные письма для новых пользователей
• Предупреждения об ошибках
• Автоматизированные воронки последующих действий

Мы отправляем миллионы таких писем еженедельно; если нам удастся увеличить коэффициент открытия или кликов всего на 1%, это уже большая победа. Основная проблема при частых рассылках заключается в том, чтобы убедиться, что размер выборки достаточен для выводов, которые вы пытаетесь сделать. Для этого Эван Миллер предлагает полезный калькулятор для определения минимального размера выборки для группы.

Разделите свой список случайным образом

Если ваше программное обеспечение для маркетинга электронной почты не предлагает A/B-тестирование или вы хотите провести тест вручную, не забудьте разделить подписчиков случайным образом. Один из способов сделать это — загрузить ваш список в формате CSV и произвольно отсортировать его с помощью Excel. Или вы можете просто расположить его в алфавитном порядке с помощью любой программы для работы с электронными таблицами, а затем нарезать его на кусочки. К счастью, большинство приложений для маркетинга электронной почты сделают этот шаг за вас.

Подождите 4-5 дней

По нашему опыту, эффект от одного письма резко снижается со временем, затухая примерно на четвертый или пятый день после отправки. Если ваше письмо не оказывает никакого эффекта через пять дней, вряд ли оно когда-либо будет иметь значимую разницу. Четыре-пять дней — это хорошее правило; в противном случае вы можете загубить свой эксперимент. (Специалист по анализу данных Zapier Кристофер Питерс рекомендует выждать «репрезентативное время», которое равно количеству времени, которое вы готовы ждать).

Проверьте, являются ли результаты статистически значимыми

Вы отправляете свой A/B-тест своим 65 000 подписчикам, и в результате выясняется, что 5 400 из них открыли версию «А», а 5 500 — версию «Б». Б — победитель, верно? Не так быстро. Подобно тому, как репортерам новостей трудно назвать победителя в политической гонке в ночь выборов, вы тоже не должны спешить называть победителя в своем A/B-тестировании. Простой способ проверить, являются ли ваши результаты статистически значимыми, — использовать бесплатный калькулятор, например Visual Website Optimizer.

Повторное A/B-тестирование

Поведение клиентов никогда не перестает меняться, и ваши A/B-тесты тоже не должны меняться. Если вы увеличили количество переходов по ссылкам, попробуйте увеличить количество открытий. Если вы увеличили показатель открываемости с помощью лучшей строки темы, подумайте о том, чтобы изменить предварительный просмотр сообщения. Если предварительный просмотр сообщения доведен до совершенства, измените отправителя.  Закончились идеи для тестирования? Об этом мы расскажем дальше.

10 вещей, для которых необходимо проводить A/B-тестирование

Теперь, когда вы знаете, как проводить A/B-тестирование, пришло время исследовать возможности. С помощью сплит-тестирования можно оптимизировать практически каждый элемент маркетингового письма, используя реальные данные пользователей. Вот некоторые из наиболее полезных элементов, на которые стоит обратить внимание.

От имени / имя отправителя

От кого бы вы предпочли получить письмо: от компании или от человека?  Компания Zapier получила более высокий показатель открываемости писем после отправки кампании с использованием имени члена команды в качестве имени «от» — «Deb at Zapier» — по сравнению с названием компании. Это может оказаться верным для вашего списка, а может и не оказаться, поэтому вот как может выглядеть для вас A/B-тестирование имени «от»:

• Компания: Zapier
• Информационный бюллетень компании: Zapier Blog
• Отдел компании: Zapier Content Team
• Полное имя члена команды: Деб Теннен
• ФИО и должность члена команды: Деб Теннен, главный редактор
• Имя и компания члена команды: Деб Теннен (Zapier)
• Только фамилия члена команды: Деб
• Имя и компания члена команды: Деб из Zapier

Предметная линия

Кажется ли вам, что это хорошая длина темы письма? Согласно часто цитируемому исследованию компании Marketo, эти 47 символов соответствуют идеальной длине в 41. Но соблюдение количества символов — это лишь малая часть искусства составления тематической строки. Поскольку отношение и поведение вашего конкретного списка может быть разным, проведите A/B-тестирование этих факторов:

• Длина: «Длинные темы писем работают лучше, чем короткие, вот почему» против «Длинные темы писем выигрывают».
• Простота против детализации: «Ближе к делу» против «Посмотрите A/B-тест, который раз и навсегда доказывает, что короткие письма лучше».
• Ответ против вопроса: «Красные кнопки призыва к действию работают лучше, чем синие» против «Что работает лучше: красные или синие кнопки призыва к действию?».
• Случайное и срочное: «Сэкономьте 50% на подписке» против «Осталось 6 часов, чтобы сэкономить 50%».
• Негатив против позитива: «10 привычек, которые убивают продуктивность» против «10 способов повысить продуктивность».
• Цифры: «9 способов порадовать своих клиентов» против «Как порадовать своих клиентов»
• Пунктуация: «Спасибо, что подписались» против «Спасибо, что подписались!».
• Символы и эмодзи: «Как радовать своих клиентов» против «Как радовать своих клиентов 😊».
• Название компании: «Пять новых функций для вас» против «Пять новых функций Zapier для вас»
• Имя члена команды: «Сообщение от нашего генерального директора» против «Сообщение от нашего генерального директора, Уэйда Фостера».
• Имя клиента: «Добро пожаловать в Zapier!» против «Добро пожаловать в Zapier, Ллойд Кристмас!».
• Капитализация: «How Zapier writes copy that converts» против «How Zapier Writes Copy That Converts» против «how zapier writes copy that converts».

Предварительный просмотр сообщения / предварительный заголовок

Предварительный просмотр сообщения — это легко упускаемая из виду часть кампании электронной почты, которую, признаюсь, мы несколько раз не использовали по максимуму. Маленький фрагмент текста, который отображается в вашем почтовом ящике — также называемый предзаголовком письма — часто настраивается с помощью вашего клиента маркетинга электронной почты.  A/B-тестирование может быть сложным, так как может потребоваться ручное тестирование, но оно будет стоить затраченных усилий. Подумайте сами: как часто вы читаете этот маленький кусочек текста, чтобы решить, стоит ли читать новую рассылку или нет? Вот несколько вариантов, которые вы можете протестировать:

• Скопируйте первую строку письма: «Здравствуйте, добро пожаловать в Zapier! Вы присоединяетесь к тысячам людей, которые используют наш инструмент для автоматизации трудоемких задач…».
• Краткое резюме: «Добро пожаловать в Zapier! Мне не терпится показать вам, как вы можете начать автоматизировать свою работу».
• Призыв к действию: «Вот 101 способ, с помощью которого вы можете начать автоматизировать свою работу».

Обычный текст

Иногда простота освежает. Так бывает, когда вы получаете электронное письмо в формате обычного текста, а не в виде яркого, чрезмерно оформленного информационного бюллетеня. Мысль заключается в том, что электронные письма в формате простого текста похожи на то, что вы получили бы от друга. Кроме того, они легче загружаются и отображаются для некоторых пользователей, что снижает риск того, что важные ссылки или информация могут отображаться неправильно.  В любом случае, их стоит протестировать.

Персонализация строки темы или приветствия

Привет, читатель! Если бы я знал ваше имя, я бы вставил его сюда. К сожалению, я не знаю, и это одна из причин, по которой я с осторожностью относился к персонализации писем в прошлом — не все подписчики указывают свои имена и фамилии.  Независимо от того, знаете ли вы имена своих подписчиков или нет, вот несколько структур приветствия, которые вы можете попробовать:

• Имя и фамилия получателя: «Добро пожаловать в Zapier Premium Plan, Дэниел Роуз!».
• Только по имени: «Эй, Дэниел»
• Персона или роль: «Почему маркетологи меньше читают»
• Термины, которые резонируют с вашей аудиторией: «Решение по автоматизации для взрывной эффективности»
• «Вы»: «Как вы можете быть более продуктивным сегодня» против «Как быть более продуктивным сегодня».

Основной текст

«Сократите длину копии вашего электронного письма вдвое. А теперь сократите ее еще раз». Это совет Моргана Брауна, получивший наибольшее количество голосов в теме GrowthHackers, где обсуждались любимые советы маркетологов. Это не должно быть сюрпризом. Можно с уверенностью сказать, что пользователи Брауна, как и все мы, не часто любят длинные электронные письма. В приведенном выше маркетинговом письме Automata всего несколько коротких предложений. Ни одно из них не занимает более двух строк, а CTA в конце выделяется как самая короткая строка с визуальным эффектом от гиперссылки и кода купона, набранного заглавными буквами. Итак, что еще вы можете сделать с текстом письма помимо длины, чтобы начать его A/B-тестирование? Как насчет изменения форматирования, например:

• Короче против длиннее
• Пулевые точки
• Нумерованный список
• Формат вопросов и ответов
• Только одно предложение и призыв к действию

Изображения

Какое из приведенных выше электронных писем привлекает вас больше?  Эти два примера маркетинговых писем теоретически довольно похожи: три основных пункта, простые иконки в теле и изображение заголовка в верхней части. Однако письмо Netflix слева содержит довольно общее иллюстрированное изображение заголовка и дополняет значки в теле довольно обширным текстом. В электронном письме Lyft справа используется стоковое изображение с человеком, минимальное количество текста и чуть более крупные значки. Какой бы подход к изображениям вы ни выбрали, обязательно используйте распространенные типы файлов, такие как JPG или GIF, чтобы дать вашим изображениям наилучшие шансы появиться в почтовых ящиках (и не забывайте о тексте alt на случай, если они этого не сделают). Тем временем, вот несколько вариантов изображений, которые стоит протестировать:

• Одно изображение против нескольких
• Текст на изображениях
• Скриншоты видео
• Призывы к действию, включенные в изображение, в сравнении с призывами к действию отдельно от изображений
• Анимированные GIF-файлы

Дизайн и компоновка

Три-четыре секунды. Вот и все. Именно столько времени у вас есть, чтобы привлечь внимание клиента, когда он открывает ваше письмо. А что может быть лучше, чем привлекающий внимание дизайн? Более того, ваш дизайн должен быть готов к просмотру и на мобильных устройствах. Поэтому тестирование отзывчивого дизайна является практически обязательным; более крупный текст и более четкие призывы к действию — это то, с чего стоит начать.

Призыв к действию (CTA)

Попробуйте Zapier прямо сейчас! Или… Попробуйте Zapier сейчас! Или… Начните автоматизировать свою работу! На какой из них вы хотите нажать? Это и есть ваша цель — посмотреть, как по-разному вы можете написать призыв к действию. Не только написать, но и представить его: должна ли это быть текстовая ссылка или кнопка? Должен ли он располагаться в верхней части письма, в нижней или в обеих? Попробуйте протестировать эти аспекты ваших CTA:

• Короче и длиннее: «Вперед!» и «Начните автоматизировать свои веб-приложения!».
• Капитализация: «Попробуйте новую функцию» против «Попробуйте новую функцию» против «Попробуйте новую функцию» против «Попробуйте новую функцию» против «Попробуйте новую функцию».
• Пунктуация: «Начните» против «Начните!».
• Форматирование текста: «Смотрите сами» vs. «Смотрите сами» vs. «Смотрите сами» vs. «Смотрите сами» vs. «Смотрите сами» vs. «Смотрите сами«
• Размер: Проверьте размер шрифтов, кнопки или и того, и другого.

День и время доставки

Что если бы вы получали рассылку новостей блога Zapier каждое воскресенье вечером в 20:00 по восточному времени? Вы бы с большей или меньшей вероятностью открыли это сообщение и перешли по ссылке, чтобы прочитать наш последний пост? Если прислушаться к статистике, вторник — это не только самый популярный день для отправки электронных писем, но и день с самыми высокими показателями открытия и кликов. Если же вы следуете своей интуиции, подумайте о своих привычках просмотра электронной почты. Когда вы чаще всего проверяете письма, не являющиеся важными? Это может дать вам подсказку, когда люди в вашей конкретной отрасли, скорее всего, делают то же самое. Проверить оптимальный день и время сложно — особенно учитывая, что онлайновые компании обслуживают клиентов и подписчиков по всему миру, — но вопрос о том, когда лучше всего отправлять электронные письма, продолжает мучить маркетологов. Правда в том, что это, вероятно, зависит от отрасли, демографической ситуации и конкретного человека.  A/B-тестирование по дням недели и времени суток может помочь вам разобраться в этом вопросе для вашего конкретного списка.

Автоматизируйте маркетинговые кампании по электронной почте

Итак, вы провели A/B-тестирование электронной почты и знаете идеальную тему письма, форматирование, CTA и время отправки. Теперь вы готовы поднять свой маркетинг на новый уровень с помощью автоматизации маркетинга электронной почты, которая гарантирует, что нужные сообщения будут отправлены нужным контактам в нужное время без дополнительных усилий с вашей стороны.