Для чего необходимо А/В/N тестирование?

При создании новой рассылки зачастую возникает ряд вопросов, на которые заранее невозможно дать ответ. Например:

  • Какую тему письма задать для большей эффективности рассылки?
  • Какую картинку разместить в шапке рассылки для привлечения внимания получателей?
  • В каком месте лучше разместить ссылку в письме? 
  • Какой макет письма даст больше кликов? 
  • От какого имени лучше отправлять рассылку? и пр.

На все эти вопросы, даже одновременно, вы сможете ответить с помощью А/В/N-теста рассылки. При этом каждый параметр будет протестирован отдельно, и вы будете знать что именно сработало, а что нет. 

В чем заключается суть теста?

Вы создаете несколько рассылок, каждая из которых имеет хотя бы одно ключевое отличие от остальных, и отправляете их малой группе получателей (для статистической достоверности результатов теста мы рекомендуем делать так, чтобы в каждом тестовом сегменте было не менее 5 000 получателей ). 

В течение заданного времени, например, 2 часов, будет собираться статистика, после чего автоматически оставшимся подписчикам уйдет письмо с наилучшими результатами. 

Лучшую рассылку можно определить по одному из трёх критериев:

  • максимум кликов в рассылке
  • максимум открытий
  • минимум отписок

Как создать и настроить А/В/N тестирование на Даше?

Для создания теста, необходимо нажать кнопку "Создать рассылку" в разделе "Рассылки" или "Рабочий стол" личного кабинета и из выпадающего списка выбрать пункт "А/В-тестирование":

После этого вы попадете на первый шаг создания А/В/N-тестирования, где вам надо указать базы, по которым вы хотите провести рассылку. В том числе, здесь можно задать нужный вам сегмент базы:

Нижнее горизонтальное меню отображает все шаги, которые необходимо пройти для настройки A/B/N-рассылки. Для перемещения на следующий шаг нажмите кнопку "Далее" с правом нижнем углу.

На следующем шаге укажите, по каким параметрам вы планируете проводить тестирование (1), долю получателей для тестовых сегментов (2), критерий выбора "победителя" (3) и сколько времени необходимо собирать статистику, чтобы выявить наиболее эффективную рассылку (4):

Максимальное количество сегментов для сплит-тестирования - 9. Например, можно одновременно протестировать 3 варианта темы и 3 варианта строчки "От кого":

В такой комбинации в итоге получается 9 тестовых сегментов, каждый из которого отличается от любого другого тестового сегмента хотя бы одним параметром. 

Помните, чем больше тестовых сегментов вы создаете, тем больше должна быть база или доля получателей в базе, которой вы планируете отправить тестовые рассылки. 

Рассмотрим вариант тестирования 2 тем, 2 вариантов строчки "от кого" и 2 макетов письма. В таком случае получится 8 различных комбинаций данных параметров. Зададим долю получателей для тестирования 16%, чтобы в каждом тестовом сегменте было не менее 5 000 получателей. Определять победителя будем по максимуму кликов через 3 часа после отправки теста:

В правой части экрана появляется информация по тестовым сегментам: сколько их будет, какое количество подписчиков в каждом из них и на какое количество подписчиков уйдет "рассылка-победитель". Нажимаем "Далее" в правом нижнем углу и двигаемся дальше.

На следующем шаге вводим настройки тестирования: 

1 - задаем название рассылки для внутреннего использования, оно будет отображаться в списке рассылок в личном кабинете;
2 - указываем темы для тестирования;
3 - вводим варианты подписи отправителя (строчка "От кого" в рассылке);
4 - при необходимости настраиваем utm-метки и работу тега, если вы хотите обратиться к подписчику по имени в поле "Кому".

На следующем шаге задаем тестируемые макеты. Задав первый макет, вы можете на основании него создать и второй. Для этого надо нажать на кнопку "Скопировать рассылку А":

После этого нажмите "отредактировать макет" и внесите в него изменения, которые вы будете тестировать. Помните, если вы хотите протестировать несколько параметров, то для каждого изменения лучше сделать свой отдельный тестируемый макет. Иначе вы не поймете, что именно отрабатывает на вашей аудитории.

При необходимости на этом шаге можно отправить тестовые письма для проверки верстки макетов:

На следующем шаге представлена сводная информация по рассылке для проверки: 

Если всё корректно, можете запустить рассылку с A/B/N-тестом или запланировать её отправку на нужное вам время с помощью соответствующих кнопок в правом нижнем углу:

Вы нашли ответ?