Полный гайд по A/B-тестированию

A/B-тесты — отличный способ проверить маркетинговые гипотезы и повысить продажи. Но не все знают, как правильно пользоваться этим инструментом. Разбираемся, что такое A/B-тесты и какие задачи в бизнесе они помогут решить. 

Что такое A/B-тестирование?

А/Б-тестирование (AB testing) — метод исследования для оценки эффективности двух вариантов одного элемента. В маркетинге это может быть кнопка на странице сайта, рассылка, заголовки и любые другие детали. Суть в том, чтобы на протяжении определенного времени показывать их двум сегментам аудитории. Сравнение 3 и более элементов — это уже сплит-тест (с англ. «split testing» — «раздельное тестирование»).

Допустим, у вас есть интернет-магазин. Кнопка «купить» выделена красным цветом, но вы считаете, что это больше отпугивает, чем призывает купить продукт. Как узнать, действительно ли изменение цвета кнопки повлияет на конверсию и продажи?  

А вот так: разделить аудиторию на контрольную и тестовую группы, создать две разные страницы и проверить опытным путем. Пользователи из каждой группы будут взаимодействовать с разными версиями сайта. В итоге конверсия у одной из кнопок окажется выше — исследование прошло успешно и можно вносить на сайт изменения.

Почему нельзя просто изменить цвет кнопки на любой другой? 

Можно. Но тогда вы не сможете определить, как это изменение повлияло на оптимизацию воронки. Например, вам не нравится зеленый цвет, поэтому вы решили поменять на сайте зеленый баннер на синий. В следующем месяце продаж было больше на 5%, но гарантии, что на это повлиял цвет баннера, нет. Возможно, контекстная реклама так хорошо сработала или сезонный фактор сыграл роль. А с A/B-тестированием вы получите точный результат. 

Для чего нужно проводить A/B-тест

Маркетинг — это процесс постоянных улучшений. Нельзя один раз создать сайт/рассылку/объявление и считать, что они сами будут приносить заявки. Клиенты с каждым годом всё более придирчивы, да и конкуренты не дремлют, поэтому необходимо непрерывно строить гипотезы и тестировать их, чтобы улучшать пользовательский опыт. И здесь, как по Дарвину, выживет не самый сильный, а тот, кто лучше приспособится. 

Вот несколько примеров, что можно улучшить с помощью A/B-тестов.

Улучшить метрики 

Устаревший дизайн и неинтересный контент — основные причины отказов и низкой кликабельности. Таких проблем можно избежать, если постоянно тестировать элементы и подбирать оптимальные решения для каждой проблемы. Метрики прежде всего важны для маркетологов. 

Показатель отказов — это процент пользователей, которые ушли с сайта почти сразу (как правило, в течение 15 секунд), не сделав ни одного целевого действия или клика. 

Кликабельность, или CTR, — основная метрика в маркетинге, отношение количества кликов к показам. 

Улучшить юзабилити

Юзабилити — это удобство пользования сайтом. Клиенты не должны искать корзину или форму подписки на рассылку. Полезные кнопки нужно держать на виду, иначе пользователи будут уходить без покупок. Даже если сайт удобен, поверьте — всегда есть, что улучшать. A/B-тесты помогают UX-дизайнерам оптимизировать оформление, сделать его максимально удобным и понятным.

Увеличить конверсию с минимальными рисками

Конверсии одинаково важны как для маркетологов, так и для менеджеров продаж. Сплит-тесты помогают проверить, как баннер или кнопка влияют на конверсию и протестировать разные варианты оформления. И всё это — с минимальными затратами и почти без потерь, ведь половина аудитории по-прежнему видит старую версию. 

Есть много успешных кейсов, когда A/B-тесты помогали компаниям добиться желаемых результатов и увеличить продажи. Например, американская IT-компания WorkZone более чем на треть увеличила количество лидов, благодаря отзывам. Изменения сначала протестировали на небольшой группе, а потом уже внесли на сайт. 

Что можно тестировать? 

Если коротко — почти всё. На сайте это:

• CTA, или призыв к действию, — форма, цвет кнопки, текст;
• дизайн и расположение форм обратной связи;
• title и description — метописания страниц сайта в поисковой выдаче;
• текст и иллюстрации.

В контекстной рекламе: 

• заголовок,
• быстрые ссылки,
• текст объявления,
• креативы.

В email-рассылках:

• тема и прехедер письма,
• обращение к подписчикам,
• креативы и дизайн,
• форматы рассылок.

Как проводить тестирование: 5 шагов к успеху

A/B-тесты могут стать универсальным инструментом, главное — провести его правильно. На примере покажем, каких правил стоит придерживаться, как строить гипотезы и анализировать результаты. 

Представьте, что вы маркетолог строительной компании и заметили, что конверсия в подписку на рассылку на сайте всего 15%. На ваш взгляд, ее можно повысить, если изменить дизайн формы. Проведем тестирование? 

Шаг 1. Определяем цель и метрики

Проведение A/B-теста нужно начинать с определения цели и метрик. Иначе будет трудно оценить результаты. Метриками могут быть любые количественные показатели, которые используются в маркетинге — средний чек, количество заказов, кликабельность.

Объясним на примере. Вы проанализировали воронку продаж в компании и заметили, что форму подписки на email-рассылку заполняют лишь 3% тех, кто увидел ее. Вам нужно «увеличить конверсию в подписку на рассылку на 15%» — это и будет цель. А CR, или конверсия, поможет измерить, достигнута ли поставленная цель. 

Шаг 2. Формулируем гипотезу

Гипотеза также является основой A/B-тестирования. Она должна содержать предположение, метрику и конечный результат: «Если мы [...], то [...]». Выделяют два вида гипотез: 

• нулевая — изменения не принесут ожидаемых результатов;
• альтернативная — изменения помогут достичь цели. 

Вернемся к примеру. В нашем случае альтернативная гипотеза может быть такой: «Если мы предложим скидку 10% на любую покупку за подписку на рассылку, конверсия увеличится как минимум на 15%». Цифры не важны, в гипотезе можно обойтись без них, ведь точно никогда не получится посчитать выгоду от каких-либо изменений до эксперимента. Нулевая гипотеза будет такой: «Если мы предложим скидку 10% на любую покупку за подписку на рассылку, это никак не скажется на конверсии».

Тестируйте только один элемент за один эксперимент. Если вы поменяете сразу несколько объектов, не удастся понять, какой из них лучше сработал. Если у вас есть несколько гипотез, необходимо провести несколько тестов. 

Шаг 3. Определяем аудиторию

Чтобы эксперимент прошел объективно, выборка должна быть репрезентативной.

Репрезентативность — соответствие признаков тестируемой группы генеральной совокупности. 

Генеральная совокупность — это совокупность всех пользователей/клиентов, о которых нам необходимо сделать вывод. Если выборка репрезентативная, значит, результаты исследования можно обобщить для всей аудитории.

В нашем примере генеральная совокупность — это наша целевая аудитория. Допустим, наш магазин одежды ориентирован на женщин и мужчин от 18 до 35 лет. При этом, женская аудитория составляет 70% от общего числа. Значит, чтобы выборка была репрезентативной, необходимо собрать группу, которая будет полностью соответствовать этим показателям — в ней должно быть 70% женщин, 30% мужчин от 18 до 35 лет. Нужно определить две таких группы — экспериментальную и контрольную. Одной аудитории мы показываем вариант сайта A, другой — вариант B.

Только в этом случае тест будет корректным. Если выборка окажется нерепрезентативной, результаты эксперимента окажутся под сомнением. 

Также важно определить размер выборки. Для этого можно воспользоваться калькулятором. В зависимости от объема выборки, определите длительность тестирования — рассчитайте ежедневный трафик и посмотрите, сколько нужно дней, чтобы собрать достаточно данных. В среднем для этого требуется две недели. 

И снова пример! Вернемся к нашему магазину — например, в день сайт посещают 10 тысяч человек. Калькулятор показал, что для объективности эксперимента два варианта формы должны увидеть в общей сложности 100 тысяч пользователей. Получается, 100/10=10 дней для получения результатов. 

Шаг 4. Проводим эксперимент

Определитесь с площадкой, с помощью которой будете проводить эксперимент. Приступайте к оценке данных только тогда, когда эксперимент закончится. 

Инструменты для проведения A/B-тестирования

Несколько инструментов для ваших экспериментов:

1. Google Optimize. Раньше это был самый популярный сервис для A/B-тестирования с возможностью проверки 5 вариантов и нескольких гипотез сразу. Правда, с сентября 2023 года поддержку сервиса прекращают. а-б-тестирование появится в Google Аналитике 4.
2. Эксперименты в Яндекс Метрике. Новый инструмент запустили только в прошлом месяце, но он уже стал популярен среди русскоязычной аудитории. 
3. RealROI — отечественная платформа, с помощью которой можно проводить тесты на лендингах и управлять объявлениями в Директе. 
4. Optimizely. Еще один удобный инструмент с интуитивно понятным интерфейсом. 
5. MyTarget. Платформа пригодится, если вам нужно тестировать не страницы сайта, а рекламные объявления. 
6. VWO — платная зарубежная платформа с большими возможностями, но для новичков не подойдет, потому что требует навыков работы с версткой.

Шаг 5. Проводим анализ

Итак, 10 мучительно долгих дней прошли, и что мы видим? Конверсия второй группы, которой мы показывали вариант формы с оффером, составила 30% — предложение-то работает! Значит, наш эксперимент можно считать успешным? Нет, нужно определить статистическую значимость, чтобы убедиться, что результатам можно доверять. Для этого есть множество калькуляторов. Вот один из них.

Вариант B лучше варианта A. Эксперимент удался!

Топ-3 ошибки при проведении тестов

Эти ошибки чаще всего допускают при проведении тестирования:

Одновременная проверка двух гипотез/элементов

Сложно удержаться от соблазна за раз убить двух зайцев проверить несколько элементов. Но так вы не сможете отследить, какой из них повлиял на метрики. Возможно, первый покажет отрицательный результат, а остальные —  положительный. Из-за этого можно сделать неправильные выводы. Один тест — одна гипотеза.

Последовательное тестирование

Во время последовательного тестирования первые две недели (или месяц) вы показываете вариант сайта A, а оставшийся промежуток времени — вариант B. Для ниш с сезонными товарами последовательное тестирование не подойдет — невозможно будет оценить, повлиял ли на результаты спрос. 

Например, вы продаете санки и решили тестировать новую страницу лендинга в феврале. Первый месяц вы показывали старый вариант, следующий месяц — новый. Если у последней показатели оказались крайне низкими, это не значит, что пора прощаться с дизайнером. Важно  учитывать спрос — в марте санки уже никого не интересуют. 

Недостаточное количество данных

Такое случается, когда эксперимент останавливают раньше времени. Может быть, сроки горят или презентацию перенесли на дату пораньше. Из-за этого в будущем можно потерять не одну сотню клиентов. Заканчивать эксперимент раньше срока — грубая ошибка. Чтобы избежать ее, не жалейте времени, и учитывайте, что статистическая достоверность должна быть не ниже 95%.

⌘⌘⌘

А-б тестирование — это лишь эксперимент, а не доказательство ваших гипотез. Тесты не всегда успешны, поэтому относитесь к ним как к полезному опыту, который поможет лучше понимать клиентов и сконцентрироваться на пробелах. Но не забывайте, что никакие тесты и оптимизации не помогут, если на сайте постоянно возникают технические проблемы. Поэтому выбирайте надежный хостинг и экспериментируйте без проблем!