При создании новой рассылки зачастую возникает ряд вопросов, на которые заранее невозможно дать ответ. Например:

На все эти вопросы, даже одновременно, вы сможете ответить с помощью А/В/N-теста рассылки. При этом каждый параметр будет протестирован отдельно, и вы будете знать что именно сработало, а что нет.

Вы создаете несколько рассылок, каждая из которых имеет хотя бы одно ключевое отличие от остальных, и отправляете их малой группе получателей (для статистической достоверности результатов теста мы рекомендуем делать так, чтобы в каждом тестовом сегменте было не менее 5 000 получателей ). 

В течение заданного времени, например, 2 часов, будет собираться статистика, после чего автоматически оставшимся подписчикам уйдет письмо с наилучшими результатами. 

Лучшую рассылку можно определить вручную или по одному из трёх критериев:

Для создания теста, необходимо нажать кнопку "Создать рассылку" в разделе "Рассылки" или "Рабочий стол" личного кабинета и из выпадающего списка выбрать пункт "А/В-тестирование":
​

После этого вы попадете на первый шаг создания А/В/N-тестирования, где вам надо указать базы, по которым вы хотите провести рассылку. В том числе, здесь можно задать нужный вам сегмент базы:

Нижнее горизонтальное меню отображает все шаги, которые необходимо пройти для настройки A/B/N-рассылки. Для перемещения на следующий шаг нажмите кнопку "Далее" с правом нижнем углу.

На следующем шаге укажите, по каким параметрам вы планируете проводить тестирование (1), долю получателей для тестовых сегментов (2), критерий выбора "победителя" (3) и сколько времени необходимо собирать статистику, чтобы выявить наиболее эффективную рассылку (4): 

Если вы хотите, выбирать победителя вручную, то задавать время, после которого следует определять победителя (4), не надо. Выбрать его вы сможете самостоятельно в любое время после отправки тестовых рассылок, на основании статистики по ним. После выбора версии письма, которая вам покажется наиболее удачной, вы сами зададите дату и время, когда нужно будет её отправить по оставшейся части базы.

Кроме того, вы можете проводить сплит-тест на всю базу, на 100% (2). В этом случае вам не надо будет задавать ни критерии выбора победителя (3), ни время (4).

Максимальное количество сегментов для сплит-тестирования - 9. Например, можно одновременно протестировать 3 варианта темы и 3 варианта строчки "От кого":

В такой комбинации в итоге получается 9 тестовых сегментов, каждый из которого отличается от любого другого тестового сегмента хотя бы одним параметром. 

О сплит-тестировании времени отправки читайте в специальной статье Базы Знаний.

ВНИМАНИЕ! Помните, чем больше тестовых сегментов вы создаете, тем больше должна быть база или доля получателей в базе, которой вы планируете отправить тестовые рассылки. 

Рассмотрим вариант тестирования 2 тем, 2 вариантов строчки "от кого" и 2 макетов письма. В таком случае получится 8 различных комбинаций данных параметров. Зададим долю получателей для тестирования 16%, чтобы в каждом тестовом сегменте было не менее 5 000 получателей. Определять победителя будем по максимуму кликов через 3 часа после отправки теста:

В правой части экрана появляется информация по тестовым сегментам: сколько их будет, какое количество подписчиков в каждом из них и на какое количество подписчиков уйдет "рассылка-победитель". Нажимаем "Далее" в правом нижнем углу и двигаемся дальше.

На следующем шаге вводим настройки тестирования: 

1 - задаем название рассылки для внутреннего использования, оно будет отображаться в списке рассылок в личном кабинете;
2 - указываем темы для тестирования;
3 - вводим варианты подписи отправителя (строчка "От кого" в рассылке);
4 - при необходимости настраиваем utm-метки и работу тега, если вы хотите обратиться к подписчику по имени в поле "Кому".

UTM-метки
​Чтобы настроить UTM-метки для отслеживания каждого варианта письма в A/B/Nтестировании, необходимо на шаге "Настройки" выделить пункт "Добавить отслеживание в GoogleAnalytics / Яндекс.Метрике и следующий пункт "Добавить № варианта в utm-метку для каждого тестового сегмента":

Сами номера вариантов отображаются в отчетах, которые можно сопоставить с данными аналитики. Также в этом случае аналитика360 будет подтягивать точные данные для каждого отдельного варианта.

На следующем шаге задаем тестируемые макеты. Задав первый макет, вы можете на основании него создать и второй. Для этого надо нажать на кнопку "Скопировать рассылку А":

После этого нажмите "отредактировать макет" и внесите в него изменения, которые вы будете тестировать. Помните, если вы хотите протестировать несколько параметров, то для каждого изменения лучше сделать свой отдельный тестируемый макет. Иначе вы не поймете, что именно отрабатывает на вашей аудитории.

При необходимости на этом шаге можно отправить тестовые письма для проверки верстки макетов:

На следующем этапе представлена сводная информация по рассылке для проверки: 

На втором шаге можно настроить варианты комбинаций для тестирования (изначально система определяет все возможные комбинации писем при заданных условиях). Лишние варианты можно удалить с помощью знака минус:

Если все настройки корректные, можете запустить рассылку с A/B/N-тестом или запланировать её отправку на нужное вам время с помощью соответствующих кнопок в правом нижнем углу:

О сплит-тестировании времени отправки читайте в специальной статье Базы Знаний.