Содержание

Что такое A/B-тестирование (сплит-тестирование) | Unisender

А/В-тестирование сайта (сплит-тестирование) – это метод, который применяется для оценки эффективности веб-страниц. А/В-тесты позволяют повысить конверсию целевых страниц, а значит, и доходность интернет-проекта.

С помощью метода сравнивают несколько вариантов одной страницы, каждый из которых показывают одинаковому количеству посетителей.  Через некоторое время подводят итоги теста и оставляют тот вариант, который показал лучший результат (чаще всего выбирают страницу с более высокой конверсией).

Зачем нужно А/В-тестирование

Представьте, что вы запустили образовательный проект. Конверсия посадочной страницы составляет 3%, но вы желаете увеличить показатель до 6%. Тогда вы формулируете предположение, как этого можно добиться — гипотезу.

Например, у вас появилась идея, что короткую форму заявки заполнять проще, чем длинную, и стоило бы убрать несколько полей. Конечно, если у вас небольшой стартап, и вы только запустились, можно обойтись вовсе без теста. Однако с ростом трафика растет и цена ошибки. Что если число лидов не вырастет, но при этом вы будете терять важную информацию о своих потенциальных клиентах? Или при росте числа лидов не изменится итоговая конверсия в слушателя курса? Чтобы избежать подобных ошибок,  используют A/B-тестирование.

При формировании гипотез хорошей практикой является их оценка как с точки зрения результата (к примеру, вы уверены, что гипотеза №24 увеличит конверсию на 10%), так и с точки зрения затрат на разработку. Это позволит эффективно приоритизировать гипотезы.

Иван Белозеров

веб-аналитик в digital-агентстве i-Media

Таким образом, А/В-тестирование позволяет:

  • выяснить влияние отдельных компонентов страницы на поведение пользователей;
  • исключить субъективность в принятии решений и возможные факторы риска;
  • сконцентрировать финансовые и трудовые ресурсы на уже работающих для вашей аудитории элементах;
  • улучшить конверсию любого действия и экономических метрик (объем выручки, величину среднего чека и т. д.).

Как работает А/В-тестирование

Механизм метода А/В-естов прост – вы разделяете всех посетителей ресурса на группы и направляете на две разные страницы. Половине пользователей показываете контрольную страницу А, а другой – измененную страницу В. Такое разделение 50/50 не является единственно возможным. Вы можете делить трафик 70/30 или, наоборот, 20/80.

Чтобы получить статистически значимые результаты, необходимо исключить ситуацию, когда одному пользователю показываются оба варианта. То есть один пользователь должен принадлежать к одной аудитории. Обычно для этого используется специальный параметр, который пишется в cookie браузера.

При этом важно учитывать все каналы трафика (социальный, поисковый, рекламный, email) и делать замеры в одно время. Желательно также снизить влияние внутренних факторов – любых действий операторов call-центра, сервисной службы, модераторов ресурса, сотрудников редакции.

Какие элементы можно тестировать

Выбор компонента тестирования зависит от целей и задач.

Фактически каждый элемент веб-страницы, конвертирующий посетителя в клиента, может быть протестирован. В классическом варианте тестируют изменения одного компонента. Но существует мультивариантное А/В-тестирование нескольких измененных элементов.

Обычно тестируют следующие элементы:

  • заголовки, подзаголовки;
  • тексты, описания продуктов;
  • количество контента на странице;
  • изображения;
  • внешний вид и текст СТА-кнопок;
  • отзывы;
  • регистрационные формы;
  • дизайн и макет страницы;
  • цены, акции, условия доставки и другие бизнес-компоненты.

Как провести сплит-тестирование

При проведении А/В-тестирования не стоит руководствоваться исключительно опытом и интуицией. Такой подход не принесет должного результата, а время и ресурсы будут потрачены впустую. Здесь применима определенная методология, которая включает следующие этапы:

  1. Определяете цель А/В-тестирования и показатели, которые хотите улучшить.
  2. Проанализируйте сайт при помощи инструментов Google Analytics и определите, как именно посетители взаимодействуют с ним, электронными письмами и т.д.
  3. Сформулируйте гипотезы оптимизации. Например, вы предполагаете, что конверсию сайта можно повысить, если поднять форму подписки навпервый экран сайта или изменить цвет конверсионной кнопки.
  4. Расставьте приоритеты.Определите наиболее значимые элементы, изменение которых приведет к максимальному результату.
  5. Рассчитайте необходимый размер выборки с помощью статистических формул или воспользуйтесь специальными сервисами.
  6. Проведите А/В-тестирование важных гипотез. Например, определите количество подписок при изменении месторасположения регистрационной формы и цвета кнопки призыва к действию.
  7. С помощью статистических формул или сервисов проанализируйте результаты А/В-тестирования и сделайте выводы. Если конверсия повысилась значимо, то ваша гипотеза верна. Если существенного роста не наблюдается, вернитесь к пункту 3 и составьте новый список идей улучшения.
  8. Поделитесь результатами сплит-тестирования со всеми участниками оптимизации проекта.

Что показали 6 A/B-тестов для интернет-магазина

Главное в этом процессе — не делать поспешных выводов. Когда вы получили первые данные А/В-тестирования, которые вас удовлетворяют, есть большой соблазн прекратить эксперимент. Спешить не следует, потому что значения основных показателей могут меняться на протяжении нескольких дней.

Для сравнения случайных параметров оценивают средние показатели, поэтому потребуется 7–14 дней для накопления данных. Следует отметить, что чем больше емкость сегмента, тем меньше разброс суточных показателей. Поэтому при небольшом трафике тестирование может занять больше времени.

Запускать А/В-тесты лучше через специальные сервисы, которые позволят правильно разметить аудиторию и собрать статистические данные.

Наиболее популярным инструментом для А/В-тестирования считается Google Optimize. Этот сервис легко настроить, он бесплатный и легко интегрируется с Google Analytics.. С его помощью можно протестировать разные элементы страницы и настроить полную автоматизацию эксперимента.

Главные мысли

Что такое A/B-тестирование (сплит-тестирование) | Unisender

А/В-тестирование сайта (сплит-тестирование) – это метод, который применяется для оценки эффективности веб-страниц. А/В-тесты позволяют повысить конверсию целевых страниц, а значит, и доходность интернет-проекта.

С помощью метода сравнивают несколько вариантов одной страницы, каждый из которых показывают одинаковому количеству посетителей.  Через некоторое время подводят итоги теста и оставляют тот вариант, который показал лучший результат (чаще всего выбирают страницу с более высокой конверсией).

Зачем нужно А/В-тестирование

Представьте, что вы запустили образовательный проект. Конверсия посадочной страницы составляет 3%, но вы желаете увеличить показатель до 6%. Тогда вы формулируете предположение, как этого можно добиться — гипотезу.

Например, у вас появилась идея, что короткую форму заявки заполнять проще, чем длинную, и стоило бы убрать несколько полей. Конечно, если у вас небольшой стартап, и вы только запустились, можно обойтись вовсе без теста. Однако с ростом трафика растет и цена ошибки. Что если число лидов не вырастет, но при этом вы будете терять важную информацию о своих потенциальных клиентах? Или при росте числа лидов не изменится итоговая конверсия в слушателя курса? Чтобы избежать подобных ошибок,  используют A/B-тестирование.

При формировании гипотез хорошей практикой является их оценка как с точки зрения результата (к примеру, вы уверены, что гипотеза №24 увеличит конверсию на 10%), так и с точки зрения затрат на разработку. Это позволит эффективно приоритизировать гипотезы.

Иван Белозеров

веб-аналитик в digital-агентстве i-Media

Таким образом, А/В-тестирование позволяет:

  • выяснить влияние отдельных компонентов страницы на поведение пользователей;
  • исключить субъективность в принятии решений и возможные факторы риска;
  • сконцентрировать финансовые и трудовые ресурсы на уже работающих для вашей аудитории элементах;
  • улучшить конверсию любого действия и экономических метрик (объем выручки, величину среднего чека и т.
    д.).

Как работает А/В-тестирование

Механизм метода А/В-естов прост – вы разделяете всех посетителей ресурса на группы и направляете на две разные страницы. Половине пользователей показываете контрольную страницу А, а другой – измененную страницу В. Такое разделение 50/50 не является единственно возможным. Вы можете делить трафик 70/30 или, наоборот, 20/80.

Чтобы получить статистически значимые результаты, необходимо исключить ситуацию, когда одному пользователю показываются оба варианта. То есть один пользователь должен принадлежать к одной аудитории. Обычно для этого используется специальный параметр, который пишется в cookie браузера.

При этом важно учитывать все каналы трафика (социальный, поисковый, рекламный, email) и делать замеры в одно время. Желательно также снизить влияние внутренних факторов – любых действий операторов call-центра, сервисной службы, модераторов ресурса, сотрудников редакции.

Какие элементы можно тестировать

Выбор компонента тестирования зависит от целей и задач.

Фактически каждый элемент веб-страницы, конвертирующий посетителя в клиента, может быть протестирован. В классическом варианте тестируют изменения одного компонента. Но существует мультивариантное А/В-тестирование нескольких измененных элементов.

Обычно тестируют следующие элементы:

  • заголовки, подзаголовки;
  • тексты, описания продуктов;
  • количество контента на странице;
  • изображения;
  • внешний вид и текст СТА-кнопок;
  • отзывы;
  • регистрационные формы;
  • дизайн и макет страницы;
  • цены, акции, условия доставки и другие бизнес-компоненты.

Как провести сплит-тестирование

При проведении А/В-тестирования не стоит руководствоваться исключительно опытом и интуицией. Такой подход не принесет должного результата, а время и ресурсы будут потрачены впустую. Здесь применима определенная методология, которая включает следующие этапы:

  1. Определяете цель А/В-тестирования и показатели, которые хотите улучшить.
  2. Проанализируйте сайт при помощи инструментов Google Analytics и определите, как именно посетители взаимодействуют с ним, электронными письмами и т.д.
  3. Сформулируйте гипотезы оптимизации. Например, вы предполагаете, что конверсию сайта можно повысить, если поднять форму подписки навпервый экран сайта или изменить цвет конверсионной кнопки.
  4. Расставьте приоритеты.Определите наиболее значимые элементы, изменение которых приведет к максимальному результату.
  5. Рассчитайте необходимый размер выборки с помощью статистических формул или воспользуйтесь специальными сервисами.
  6. Проведите А/В-тестирование важных гипотез. Например, определите количество подписок при изменении месторасположения регистрационной формы и цвета кнопки призыва к действию.
  7. С помощью статистических формул или сервисов проанализируйте результаты А/В-тестирования и сделайте выводы. Если конверсия повысилась значимо, то ваша гипотеза верна. Если существенного роста не наблюдается, вернитесь к пункту 3 и составьте новый список идей улучшения.
  8. Поделитесь результатами сплит-тестирования со всеми участниками оптимизации проекта.

Что показали 6 A/B-тестов для интернет-магазина

Главное в этом процессе — не делать поспешных выводов. Когда вы получили первые данные А/В-тестирования, которые вас удовлетворяют, есть большой соблазн прекратить эксперимент. Спешить не следует, потому что значения основных показателей могут меняться на протяжении нескольких дней.

Для сравнения случайных параметров оценивают средние показатели, поэтому потребуется 7–14 дней для накопления данных. Следует отметить, что чем больше емкость сегмента, тем меньше разброс суточных показателей. Поэтому при небольшом трафике тестирование может занять больше времени.

Запускать А/В-тесты лучше через специальные сервисы, которые позволят правильно разметить аудиторию и собрать статистические данные.

Наиболее популярным инструментом для А/В-тестирования считается Google Optimize. Этот сервис легко настроить, он бесплатный и легко интегрируется с Google Analytics.. С его помощью можно протестировать разные элементы страницы и настроить полную автоматизацию эксперимента.

Главные мысли

Сплит-тестирование — Optimizely

Сплит-тестирование (также называемое A/B-тестированием или многовариантным тестированием) — это метод проведения контролируемых рандомизированных экспериментов с целью улучшения показателей веб-сайта, таких как клики, заполнение форм или покупки. Входящий трафик на веб-сайт распределяется между исходным (контрольным) и различными вариантами, при этом ни один из посетителей не знает, что они являются частью эксперимента. Тестировщик ждет появления статистически значимой разницы в поведении. Результаты каждого варианта сравниваются, чтобы определить, какая версия показала наибольшее улучшение.

Эта маркетинговая методология часто используется для тестирования изменений в формах регистрации, страницах регистрации, призывах к действию или любых других частях веб-сайта, где можно улучшить измеримую цель. Например, тестирование изменений в онлайн-кассе поможет определить, какие факторы повышают конверсию с одной страницы на другую и приведут к увеличению количества заказов для владельца веб-сайта.

На первый взгляд субъективный выбор веб-дизайна можно сделать объективным с помощью сплит-тестирования, поскольку данные, собранные в ходе экспериментов, либо подтвердят, либо опровергнут гипотезу о том, какой дизайн будет работать лучше всего. Демонстрация ROI (окупаемости инвестиций) для платформы тестирования может быть легко измерена, поскольку тесты создаются с учетом количественной цели.

Инструменты сплит-тестирования позволяют нацеливать варианты на определенные группы посетителей, обеспечивая более индивидуальный и персонализированный опыт. Веб-опыт этих посетителей улучшается посредством тестирования, о чем свидетельствует повышенная вероятность того, что они выполнят определенное действие на сайте.

На веб-страницах почти каждый элемент можно изменить для сплит-теста. Маркетологи и веб-разработчики могут попробовать протестировать:

  • Визуальные элементы: изображения, видео и цвета
  • Текст: заголовки, призывы к действию и описания
  • Макет: расположение и размер кнопок, меню и форм
  • Поток посетителей: как пользователь веб-сайта попадает из точки А в точку Б

Некоторые рекомендации по раздельному тестированию включают:

  • Исключение: меньшее количество элементов страницы меньше отвлекает от цели конверсии
  • Сосредоточьтесь на призыве к действию: текст резонирует по-разному в зависимости от аудитории
  • Стремитесь к глобальному максимуму: тестируйте с учетом общей цели веб-сайта, а не целей отдельных страниц
  • Обеспечьте симметричный и согласованный опыт: сделайте тестовые изменения согласованными во всем потоке посетителей, чтобы повысить конверсию на каждом этапе процесса

Привычное тестирование для владельца веб-сайта или бизнеса помогает создать культуру принятия решений на основе данных с учетом предпочтений аудитории. Каждый клик на веб-сайте — это точка данных от потенциального клиента. Противоречивые мнения можно проверить с помощью методики сплит-тестирования, а посетители сайта сообщат окончательное решение о «лучшем» дизайне.

Сплит-тестирование эквивалентно проведению контролируемого эксперимента, методологии, которую можно применять не только к веб-страницам. Концепция сплит-тестирования возникла в ходе кампаний прямой почтовой рассылки и печатных рекламных кампаний, которые отслеживались по разным номерам телефонов для каждой версии. В настоящее время вы можете разделить тестовые баннеры и текстовые объявления, телевизионные рекламные ролики, темы электронной почты и веб-продукты.

Веб-экспериментация Optimizely — это инструмент, упрощающий создание, запуск и отчетность по сплит-тестам. Проверьте это на своем веб-сайте сегодня.

15 шагов для идеального сплит-теста

Когда такие маркетологи, как мы, создают целевые страницы, пишут сообщения электронной почты или разрабатывают кнопки с призывом к действию, может возникнуть соблазн использовать нашу интуицию, чтобы предсказать, что заставит людей нажать и подключиться.

Однако гораздо лучше проводить A/B-тестирование, чем основывать маркетинговые решения на «чувствах», так как это может отрицательно сказаться на ваших результатах.

Продолжайте читать, чтобы узнать, как проводить весь процесс A/B-тестирования до, во время и после сбора данных, чтобы вы могли принимать наилучшие решения на основе полученных результатов.

  1. Что такое A/B-тестирование?

  2. A/B-тестирование в маркетинге

  3. Как проводить A/B-тестирование

  4. Примеры A/B-тестирования

Что такое A/B-тестирование?

A/B-тестирование, также известное как сплит-тестирование, представляет собой маркетинговый эксперимент, в ходе которого вы разделяете свою аудиторию, чтобы протестировать несколько вариантов кампании и определить, какие из них работают лучше. Другими словами, вы можете показать версию А маркетингового контента одной половине аудитории, а версию Б — другой.

A/B-тестирование может быть полезным, потому что разные аудитории ведут себя по-разному. То, что работает для одной компании, может не сработать для другой. На самом деле, эксперты по оптимизации коэффициента конверсии (CRO) ненавидят термин «лучшие практики», потому что на самом деле это может не быть лучшей практикой для вас . Но такое тестирование может быть сложным, если вы не будете осторожны.

Давайте рассмотрим, как работает A/B-тестирование, чтобы убедиться, что вы не делаете неверных предположений о том, что нравится вашей аудитории.

Как работает A/B-тестирование?

Чтобы запустить A/B-тест, вам нужно создать две разные версии одного фрагмента контента с изменениями одной переменной . Затем вы покажете эти две версии двум аудиториям одинакового размера и проанализируете, какая из них работала лучше в течение определенного периода времени (достаточно долгого, чтобы сделать точные выводы о ваших результатах).

Источник изображения

A/B-тестирование помогает маркетологам наблюдать, как одна версия маркетингового контента работает по сравнению с другой. Вот два типа A/B-тестов, которые вы можете провести, чтобы повысить коэффициент конверсии вашего веб-сайта:

Пример 1: Тест взаимодействия с пользователем

Возможно, вы хотите проверить, улучшит ли перемещение определенной кнопки призыва к действию (CTA) в верхнюю часть главной страницы вместо того, чтобы оставить ее на боковой панели, рейтинг кликов.

Для A/B-тестирования этой теории вы должны создать еще одну альтернативную веб-страницу, использующую новое размещение CTA. Существующий дизайн с боковой панелью CTA — или « control » — это версия A. Версия B с CTA вверху — это « претендент ». Затем вы должны протестировать эти две версии, показав каждую из них заранее определенному проценту посетителей сайта. В идеале процент посетителей, увидевших любую версию, одинаков.

Узнайте, как легко провести A/B-тестирование компонента вашего веб-сайта с помощью Marketing Hub HubSpot.

Пример 2: Тестирование дизайна

Возможно, вы хотите узнать, может ли изменение цвета кнопки призыва к действию (CTA) повысить ее рейтинг кликов.

Для A/B-тестирования этой теории вы должны разработать альтернативную кнопку CTA с другим цветом кнопки, которая ведет на ту же целевую страницу , что и элемент управления. Если вы обычно используете красную кнопку призыва к действию в своем маркетинговом контенте, а зеленый вариант получает больше кликов после вашего A/B-тестирования, возможно, стоит изменить цвет кнопок призыва к действию по умолчанию на зеленый. на.

Чтобы узнать больше об A/B-тестировании, загрузите наше бесплатное вводное руководство здесь.

A/B-тестирование в маркетинге

A/B-тестирование имеет множество преимуществ для маркетинговой команды в зависимости от того, что именно вы решили протестировать. Однако, прежде всего, эти тесты ценны для бизнеса, потому что они дешевы, но приносят большую прибыль.

Допустим, вы нанимаете создателя контента с зарплатой 50 000 долларов в год. Этот создатель контента публикует пять статей в неделю для блога компании, всего 260 статей в год. Если средний пост в блоге компании генерирует 10 лидов, вы можете сказать, что он стоит чуть более 19 долларов.2, чтобы привлечь 10 потенциальных клиентов для бизнеса (зарплата 50 000 долларов США ÷ 260 статей = 192 доллара США за статью). Это солидный кусок изменений.

Теперь, если вы попросите этого создателя контента потратить два дня на разработку A/B-теста для одной статьи вместо написания двух статей за этот период времени, вы можете потерять 192 доллара, потому что публикуете на одну статью меньше. . Но если этот A/B-тест обнаружит, что вы можете увеличить коэффициент конверсии каждой статьи с 10 до 20 потенциальных клиентов, вы только что потратили 192 доллара, чтобы потенциально удвоить количество клиентов, которых ваш бизнес получает от своего блога.

Если тест не пройден, вы, конечно, потеряли 192 доллара, но теперь вы можете сделать свой следующий A/B-тест еще более информативным. Если этот второй тест удвоит коэффициент конверсии вашего блога, вы в конечном итоге потратите 384 доллара, чтобы потенциально удвоить доход своей компании. Независимо от того, сколько раз ваш A/B-тест терпит неудачу, его конечный успех почти всегда перевешивает затраты на его проведение.

Избранный ресурс

Полный комплект A/B-тестирования для маркетологов

Заполните эту форму, чтобы получить комплект.

Существует множество типов сплит-тестов, которые вы можете запустить, чтобы в конечном итоге эксперимент стоил того. Вот некоторые общие цели, которые маркетологи ставят перед своим бизнесом при A/B-тестировании:

  • Увеличение посещаемости веб-сайта: Тестирование различных заголовков сообщений в блогах или заголовков веб-страниц может изменить количество людей, которые нажимают на заголовок с гиперссылкой, чтобы попасть на ваш сайт. . В результате это может увеличить посещаемость сайта.
  • Более высокий коэффициент конверсии: Тестирование различных мест, цветов или даже якорного текста на ваших CTA может изменить количество людей, которые нажимают на эти CTA, чтобы попасть на целевую страницу. Это может увеличить количество людей, которые заполняют формы на вашем веб-сайте, отправляют вам свои контактные данные и «конвертируют» их в потенциальных клиентов.
  • Более низкий показатель отказов: Если посетители вашего веб-сайта быстро уходят (или «отскакивают») после посещения вашего веб-сайта, тестирование различных предисловий к сообщениям в блогах, шрифтов или избранных изображений может снизить этот показатель отказов и удержать больше посетителей.
  • Отказ от нижней корзины: Предприятия электронной коммерции отмечают, что в среднем 70% клиентов покидают свой веб-сайт с товарами в корзине. Это известно как «брошенная корзина» и, конечно же, наносит ущерб любому интернет-магазину. Тестирование различных фотографий продуктов, дизайнов страниц оформления заказа и даже отображения стоимости доставки может снизить этот показатель отказов.

Теперь давайте пройдемся по контрольному списку для настройки, запуска и измерения A/B-тестирования.

Как проводить A/B-тестирование

Воспользуйтесь нашим бесплатным комплектом для A/B-тестирования со всем необходимым для проведения A/B-тестирования, включая шаблон отслеживания тестирования, практическое руководство для получения инструкций и вдохновения, и калькулятор статистической значимости, чтобы увидеть, были ли ваши тесты выигрышными, проигрышными или безрезультатными.

До A/B-теста

Давайте рассмотрим шаги, которые необходимо предпринять перед началом A/B-тестирования.

1. Выберите одну переменную для тестирования.

Оптимизируя веб-страницы и сообщения электронной почты, вы можете обнаружить ряд переменных, которые необходимо протестировать. Но чтобы оценить, насколько эффективно изменение, вам нужно выделить одну « независимую переменную » и измерить ее эффективность. В противном случае вы не можете быть уверены, какая именно переменная отвечает за изменение производительности.

Вы можете протестировать более одной переменной для одной веб-страницы или электронной почты — просто убедитесь, что вы тестируете их по одной за раз.

Чтобы определить свою переменную, просмотрите элементы в ваших маркетинговых ресурсах и их возможные альтернативы по дизайну, формулировкам и макету. Другие вещи, которые вы можете протестировать, включают строки темы электронной почты, имена отправителей и различные способы персонализации ваших электронных писем.

Имейте в виду, что даже простые изменения, такие как изменение изображения в сообщении электронной почты или слов на кнопке с призывом к действию, могут привести к значительным улучшениям. На самом деле такие изменения обычно легче измерить, чем более крупные.

Примечание: В некоторых случаях имеет смысл протестировать несколько переменных, а не одну переменную. Этот процесс называется многовариантным тестированием. Если вам интересно, следует ли вам запускать тест A/B или многовариантный тест, вот полезная статья от Optimizely, в которой сравниваются два процесса.

2. Определите свою цель.

Несмотря на то, что вы будете измерять несколько метрик во время одного теста, выберите основную метрику, чтобы сосредоточиться на до вы запускаете тест. На самом деле, сделайте это еще до того, как настроите второй вариант. Это ваша «зависимая переменная », которая изменяется в зависимости от того, как вы манипулируете независимой переменной.

Подумайте, где вы хотите, чтобы эта зависимая переменная находилась в конце сплит-теста. Вы можете даже сформулировать официальную гипотезу и проверить свои результаты на основе этого предсказания.

Если вы отложите решение вопроса о том, какие показатели важны для вас, каковы ваши цели и как предлагаемые вами изменения могут повлиять на поведение пользователей, возможно, вы не настроите тест наиболее эффективным образом.

3. Создайте «контроль» и «претендент».

Теперь у вас есть независимая переменная, зависимая переменная и желаемый результат. Используйте эту информацию, чтобы настроить неизмененную версию того, что вы тестируете, в качестве сценария управления. Если вы тестируете веб-страницу, это неизмененная страница, поскольку она уже существует. Если вы тестируете целевую страницу, это будет дизайн и текст целевой страницы, которые вы обычно используете.

Оттуда создайте претендента — измененный веб-сайт, целевую страницу или электронную почту, которые вы будете тестировать против своего контроля. Например, если вам интересно, повлияет ли добавление отзыва на целевую страницу на конверсию, настройте контрольную страницу без отзывов. Затем создайте своего претендента с отзывом.

4. Разделите ваши выборочные группы поровну и случайным образом.

Для тестов, в которых у вас есть больший контроль над аудиторией — например, с электронными письмами — вам нужно протестировать две или более равных аудиторий, чтобы получить окончательные результаты.

То, как вы это сделаете, зависит от используемого вами инструмента A/B-тестирования. Например, если вы являетесь клиентом HubSpot Enterprise и проводите A/B-тестирование электронной почты, HubSpot автоматически разделит трафик на ваши варианты, чтобы каждый вариант получал случайную выборку посетителей.

5. Определите объем выборки (если применимо).

То, как вы определяете размер выборки, также зависит от вашего инструмента A/B-тестирования, а также от типа проводимого вами A/B-тестирования.

Если вы проводите A/B-тестирование электронной почты, вы, вероятно, захотите отправить A/B-тестирование подмножеству вашего списка, достаточно большому для получения статистически значимых результатов. В конце концов, вы выберете победителя и отправите выигрышный вариант остальным участникам списка. (Подробнее о расчете размера выборки см. в электронной книге «Наука о сплит-тестировании» в конце этой статьи.)

Если вы являетесь клиентом HubSpot Enterprise, вам может помочь определить размер группы образцов с помощью ползунка. Это позволит вам провести A/B-тестирование 50/50 для любого размера выборки, хотя для всех других выборок требуется список не менее 1000 получателей.

Если вы тестируете что-то, что не имеет конечной аудитории, например, веб-страницу, то то, как долго вы будете поддерживать выполнение теста, напрямую повлияет на размер вашей выборки. Вам нужно, чтобы ваш тест работал достаточно долго, чтобы получить значительное количество просмотров. В противном случае будет трудно сказать, была ли статистически значимая разница между вариациями.

6. Решите, насколько значительными должны быть ваши результаты.

После того, как вы выбрали целевую метрику, подумайте, насколько значительными должны быть ваши результаты, чтобы оправдать выбор одного варианта над другим. Статистическая значимость — очень важная часть процесса A/B-тестирования, которую часто неправильно понимают. Если вам нужно освежить знания, я рекомендую прочитать этот пост в блоге о статистической значимости с точки зрения маркетинга.

Чем выше процент вашего уровня уверенности, тем больше вы можете быть уверены в своих результатах. В большинстве случаев вам понадобится уровень достоверности 9.Минимум 5%, а лучше даже 98%, особенно если на настройку эксперимента ушло много времени. Однако иногда имеет смысл использовать более низкий уровень достоверности, если вам не нужно, чтобы тест был таким строгим.

Мэтт Реулт, старший инженер-программист HubSpot, любит думать о статистической значимости как о размещении ставки. На какие коэффициенты вам удобно делать ставки? Сказать «Я на 80% уверен, что это правильный дизайн, и я готов поставить на него все» — это все равно, что провести A/B-тестирование до значимости 80%, а затем объявить победителя.

Rheault также говорит, что вам, вероятно, понадобится более высокий порог достоверности при тестировании чего-то, что лишь немного повышает коэффициент конверсии. Почему? Потому что случайная дисперсия, скорее всего, сыграет большую роль.

«Примером, когда мы могли бы чувствовать себя в большей безопасности, снизив порог достоверности, является эксперимент, который, вероятно, повысит коэффициент конверсии на 10% или более, например, переработанный главный раздел», — пояснил он.

«Вывод из этого таков: чем радикальнее изменение, тем менее научным он должен быть в отношении процесса. Чем более конкретным является изменение (цвет кнопки, микрокопия и т. д.), тем более научным мы должны быть, потому что это изменение с меньшей вероятностью окажет большое и заметное влияние на коэффициент конверсии».

7. Убедитесь, что вы запускаете только один тест за раз в любой кампании.

Тестирование нескольких элементов для одной кампании, даже если они не относятся к одному и тому же ресурсу, может усложнить результаты. Например, если вы проводите A/B-тестирование кампании по электронной почте, которая ведет на целевую страницу, одновременно с A/B-тестированием этой целевой страницы, как узнать, какое изменение вызвало увеличение числа лидов?

Во время A/B-тестирования

Давайте рассмотрим шаги, которые нужно предпринять во время A/B-тестирования.

8. Используйте инструмент A/B-тестирования.

Чтобы провести A/B-тестирование на своем веб-сайте или в электронном письме, вам потребуется инструмент для A/B-тестирования. Если вы являетесь клиентом HubSpot Enterprise, программное обеспечение HubSpot имеет функции, которые позволяют проводить A/B-тестирование электронных писем (узнайте, как здесь), призывов к действию (узнайте, как здесь) и целевых страниц (узнайте, как здесь).

Для клиентов, не являющихся пользователями HubSpot Enterprise, другие варианты включают Google Analytics, который позволяет проводить A/B-тестирование до 10 полных версий одной веб-страницы и сравнивать их эффективность с использованием случайной выборки пользователей.

9. Протестируйте оба варианта одновременно.

Время играет важную роль в результатах вашей маркетинговой кампании, будь то время суток, день недели или месяц года. Если бы вы запускали версию A в течение одного месяца, а версию B — через месяц, как бы вы узнали, вызвано ли изменение производительности другим дизайном или другим месяцем?

При выполнении A/B-тестов вам нужно будет запускать два варианта одновременно, иначе вы можете сомневаться в своих результатах.

Единственным исключением здесь является случай, когда вы проверяете само время, например, находите оптимальное время для отправки электронных писем. Это отличная вещь для тестирования, потому что в зависимости от того, что предлагает ваш бизнес и кто ваши подписчики, оптимальное время для взаимодействия с подписчиками может значительно различаться в зависимости от отрасли и целевого рынка.

10. Дайте тесту A/B достаточно времени для получения полезных данных.

Опять же, вы должны убедиться, что ваш тест выполняется достаточно долго, чтобы получить существенный размер выборки. В противном случае будет трудно сказать, была ли статистически значимая разница между двумя вариантами.

Как долго достаточно? В зависимости от вашей компании и того, как вы проводите A/B-тестирование, получение статистически значимых результатов может занять часы… или дни… или недели. Большая часть того, сколько времени требуется для получения статистически значимых результатов, зависит от того, сколько трафика вы получаете, поэтому, если ваш бизнес не получает много трафика на ваш веб-сайт, вам потребуется гораздо больше времени для запуска A / B. тест.

Прочтите этот пост в блоге, чтобы узнать больше о размере выборки и сроках.

11. Спросите отзывы у реальных пользователей.

A/B-тестирование во многом связано с количественными данными… но это не обязательно поможет вам понять, почему люди совершают одни действия, а не другие. Пока вы проводите A/B-тестирование, почему бы не собрать качественную обратную связь от реальных пользователей?

Один из лучших способов узнать мнение людей — провести опрос или опрос. Вы можете добавить на свой сайт выходной опрос, который спрашивает посетителей, почему они не нажали на определенный CTA, или на страницы благодарности, который спрашивает посетителей, почему они нажали кнопку или заполнили форму.

Например, вы можете обнаружить, что многие люди нажимают на призыв к действию, который приводит их к электронной книге, но как только они видят цену, они не конвертируются. Такая информация даст вам понимание того, почему ваши пользователи ведут себя определенным образом.

После A/B-тестирования

Наконец, давайте рассмотрим шаги, которые нужно предпринять после A/B-тестирования.

12. Сосредоточьтесь на целевом показателе.

Опять же, несмотря на то, что вы будете измерять несколько показателей, сосредоточьтесь на основном показателе цели при проведении анализа.

Например, если вы протестировали два варианта электронного письма и выбрали потенциальных клиентов в качестве основного показателя, не зацикливайтесь на коэффициенте открытия или рейтинге кликов. Вы можете увидеть высокий рейтинг кликов и низкие коэффициенты конверсии, и в этом случае вы можете в конечном итоге выбрать вариант с более низким рейтингом кликов.

13. Измерьте значимость ваших результатов с помощью нашего калькулятора A/B-тестирования.

Теперь, когда вы определили, какой вариант работает лучше всего, пришло время определить, являются ли ваши результаты статистически значимыми. Другими словами, достаточно ли их, чтобы оправдать изменение?

Чтобы это выяснить, вам нужно провести тест на статистическую значимость. Вы можете сделать это вручную… или просто ввести результаты своего эксперимента в наш бесплатный калькулятор A/B-тестирования.

Для каждого протестированного вами варианта вам будет предложено ввести общее количество попыток, например количество отправленных электронных писем или просмотренных показов. Затем введите количество достигнутых целей — обычно вы смотрите на клики, но это могут быть и другие типы конверсий.

Калькулятор выдаст уровень достоверности ваших данных для выигрышного варианта. Затем измерьте это число по сравнению со значением, которое вы выбрали для определения статистической значимости.

14. Примите меры на основе ваших результатов.

Если один вариант статистически лучше другого, вы выиграли. Завершите тест, отключив проигрышный вариант в инструменте A/B-тестирования.

Если ни один из вариантов статистически не лучше, вы только что узнали, что тестируемая вами переменная не повлияла на результаты, и вам придется пометить тест как неубедительный. В этом случае придерживайтесь исходного варианта или проведите еще один тест. Вы можете использовать неудачные данные, чтобы помочь вам определить новую итерацию вашего нового теста.

Хотя тесты A/B помогают вам влиять на результаты в каждом конкретном случае, вы также можете применять уроки, извлеченные из каждого теста, и применять их в будущих усилиях.

Например, если вы проводили A/B-тесты в своем маркетинге по электронной почте и неоднократно обнаруживали, что использование чисел в строках темы электронной почты повышает рейтинг кликов, вы можете рассмотреть возможность использования этой тактики в других своих электронных письмах.

15. Спланируйте следующее A/B-тестирование.

A/B-тест, который вы только что закончили, возможно, помог вам найти новый способ повысить эффективность маркетингового контента, но не останавливайтесь на достигнутом. Всегда есть место для большей оптимизации.

Вы даже можете попробовать провести A/B-тестирование другой функции той же веб-страницы или электронного письма, которое вы только что тестировали. Например, если вы только что протестировали заголовок на целевой странице, почему бы не провести новый тест на основном тексте? Или цветовая схема? Или изображения? Всегда следите за возможностями увеличить коэффициент конверсии и количество потенциальных клиентов.

Вы можете использовать комплект для отслеживания A/B-тестов HubSpot, чтобы планировать и организовывать свои эксперименты.

Загрузите этот шаблон сейчас

Как читать результаты A/B-тестирования

Как маркетолог вы знаете ценность автоматизации. Учитывая это, вы, вероятно, используете программное обеспечение, которое обрабатывает расчеты A/B-тестирования для вас — огромная помощь. Но после того, как расчеты сделаны, вам нужно знать, как читать ваши результаты. Давайте рассмотрим, как.

1. Проверьте показатель цели.

Первым шагом в чтении результатов вашего A/B-теста является просмотр вашего целевого показателя, которым обычно является коэффициент конверсии. После того, как вы введете свои результаты в калькулятор A/B-тестирования, вы получите два результата для каждой тестируемой версии. Вы также получите значительный результат для каждого из ваших вариантов.

2. Сравните коэффициенты конверсии.

Глядя на свои результаты, вы, вероятно, сможете сказать, работает ли один из ваших вариантов лучше, чем другой. Однако истинный критерий успеха заключается в том, являются ли полученные результаты статистически значимыми. Это означает, что один вариант работал лучше, чем другой на значительном уровне, потому что, скажем, текст CTA был более привлекательным.

Предположим, вариант А имел коэффициент конверсии 16,04%, а вариант Б — 16,02%, и ваш доверительный интервал статистической значимости равен 9.5%. Вариант А имеет более высокий коэффициент конверсии, но результаты не являются статистически значимыми, а это означает, что вариант А не улучшит ваш общий коэффициент конверсии значительно.

3. Сегментируйте свою аудиторию для получения дополнительной информации.

Независимо от значимости, важно разбить результаты по сегментам аудитории, чтобы понять, как каждая ключевая область отреагировала на ваши варианты. Общие переменные для сегментации аудитории:

  • Тип посетителя или какая версия лучше всего подходит для новых посетителей по сравнению с повторными посетителями.
  • Тип устройства или версия, которая лучше всего работает на мобильных устройствах или на настольных компьютерах.
  • Источник трафика или версия, которая показала наилучшие результаты в зависимости от источника трафика для ваших двух вариантов.

Давайте рассмотрим несколько примеров экспериментов A/B, которые вы могли бы провести для своего бизнеса.

Примеры A/B-тестирования

Мы обсудили, как A/B-тестирование используется в маркетинге и как его проводить, но как оно выглядит на практике?

Как вы могли догадаться, мы проводим множество A/B-тестов, чтобы увеличить вовлеченность и повысить конверсию на нашей платформе. Вот пять примеров A/B-тестов, которые вдохновят вас на собственные эксперименты.

1. Поиск по сайту

Панели поиска по сайту помогают пользователям быстро найти то, что им нужно на определенном веб-сайте. HubSpot обнаружил из предыдущего анализа, что посетители, которые взаимодействовали с панелью поиска на сайте, с большей вероятностью конвертировались в сообщения в блоге. Итак, мы провели A/B-тестирование, пытаясь увеличить взаимодействие с панелью поиска.

В этом тесте функциональность панели поиска была независимой переменной, а просмотры на странице с предложением контента — зависимой переменной. В эксперименте мы использовали одно контрольное условие и три контрольных условия.

В контрольном условии (вариант А) поисковая строка осталась без изменений.

В варианте B панель поиска была увеличена и стала более заметной, а текст-заполнитель был установлен на «поиск по теме».

Вариант C был идентичен варианту B, но выполнялся поиск только в блоге HubSpot, а не на всем веб-сайте.

В варианте D панель поиска была увеличена, но текст заполнителя был установлен на «поиск в блоге». Этот вариант также выполнял поиск только в блоге HubSpot 9.0004

Мы нашли вариант D наиболее эффективным: он увеличил конверсию на 3,4% по сравнению с контролем и увеличил процент пользователей, которые использовали панель поиска, на 6,5%.

2. Мобильные CTA

HubSpot использует несколько CTA для предложений контента в наших сообщениях в блоге, в том числе в теле сообщения, а также внизу страницы. Мы тщательно тестируем эти CTA, чтобы оптимизировать их работу.

Для наших мобильных пользователей мы провели A/B-тест, чтобы определить, какой тип призыва к действию внизу страницы лучше всего конвертируется. Для нашей независимой переменной мы изменили дизайн панели CTA. В частности, в нашем тесте мы использовали один контрольный образец и три претендента. В качестве зависимых переменных мы использовали просмотры страниц на странице благодарности с призывом к действию и клики по призыву к действию.

Контрольное условие включало наше обычное размещение CTA внизу сообщений. В варианте B у CTA не было опций закрытия или минимизации.

В варианте C мобильные читатели могли закрыть CTA, коснувшись значка X. Как только он был закрыт, он больше не появлялся.

В вариант D мы включили возможность минимизировать CTA с помощью курсора вверх/вниз.

Наши тесты показали, что все варианты успешны. Вариант D оказался наиболее успешным, с увеличением конверсии на 14,6% по сравнению с контролем. За ним последовал вариант C с увеличением на 11,4% и вариант B с увеличением на 7,9%.% увеличивать.

3. Авторские призывы к действию

В ходе другого эксперимента с призывом к действию HubSpot проверил, увеличит ли количество лидов контент-лидов добавление слова «бесплатно» и других описательных выражений к авторскому призыву к действию в верхней части сообщений блога. Прошлые исследования показали, что использование слова «бесплатно» в тексте призыва к действию приведет к увеличению числа конверсий, а текст с указанием типа предлагаемого контента будет полезен для SEO и доступности.

В тесте независимой переменной был текст CTA, а основной зависимой переменной был коэффициент конверсии в форме предложения контента.

В контрольном состоянии текст призыва к действию автора не изменился (см. оранжевую кнопку на изображении ниже).

В варианте Б к тексту СТА добавлено слово «бесплатно».

В варианте C в текст CTA в дополнение к «бесплатно» была добавлена ​​описательная формулировка.

Интересно, что вариант B показал снижение количества отправленных форм на 14% по сравнению с контролем. Это было неожиданно, поскольку включение слова «бесплатно» в текст предложения контента считается лучшей практикой.

Между тем, отправка формы в варианте C превзошла контрольную на 4%. Был сделан вывод, что добавление описательного текста к призыву к действию автора помогло пользователям понять предложение и, таким образом, повысило вероятность их загрузки.

4. Содержание блога

Чтобы помочь пользователям лучше ориентироваться в блоге, HubSpot протестировал новый модуль содержания (TOC). Цель состояла в том, чтобы улучшить пользовательский опыт, предоставив читателям желаемый контент быстрее. Мы также проверили, повысит ли конверсию добавление CTA в этот модуль TOC.

Независимой переменной этого A/B-теста было включение и тип модуля TOC в сообщениях блога, а зависимыми переменными были коэффициент конверсии при отправке форм предложения контента и клики по CTA внутри модуля TOC.

Условие контроля не включало новый модуль оглавления — в контрольных постах либо не было оглавления, либо был простой маркированный список анкорных ссылок в теле поста вверху статьи (на фото ниже).

В варианте Б в записи блога добавлен новый модуль TOC. Этот модуль был липким, то есть он оставался на экране, когда пользователи прокручивали страницу вниз. Вариант B также включал призыв к действию с предложением контента в нижней части модуля.

Вариант C включал модуль, идентичный варианту B, но с удаленным CTA.

Оба варианта B и C не увеличили конверсию постов в блогах. Условие контроля превзошло вариант B на 7% и работало так же, как вариант C. Кроме того, немногие пользователи взаимодействовали с новым модулем TOC или CTA внутри модуля.

5. Уведомления о просмотре

Чтобы определить лучший способ сбора отзывов клиентов, мы провели сплит-тест уведомлений по электронной почте и уведомлений в приложении. Здесь независимой переменной был тип уведомления, а зависимой переменной — процент тех, кто оставил отзыв, от всех, кто открыл уведомление.

No related posts.