A/B-тесты — отличный способ проверить маркетинговые гипотезы и повысить продажи. Но не все знают, как правильно пользоваться этим инструментом. Разбираемся, что такое A/B-тесты и какие задачи в бизнесе они помогут решить.
А/Б-тестирование (AB testing) — метод исследования для оценки эффективности двух вариантов одного элемента. В маркетинге это может быть кнопка на странице сайта, рассылка, заголовки и любые другие детали. Суть в том, чтобы на протяжении определенного времени показывать их двум сегментам аудитории. Сравнение 3 и более элементов — это уже сплит-тест (с англ. «split testing» — «раздельное тестирование»).
Допустим, у вас есть интернет-магазин. Кнопка «купить» выделена красным цветом, но вы считаете, что это больше отпугивает, чем призывает купить продукт. Как узнать, действительно ли изменение цвета кнопки повлияет на конверсию и продажи?
А вот так: разделить аудиторию на контрольную и тестовую группы, создать две разные страницы и проверить опытным путем. Пользователи из каждой группы будут взаимодействовать с разными версиями сайта. В итоге конверсия у одной из кнопок окажется выше — исследование прошло успешно и можно вносить на сайт изменения.
Можно. Но тогда вы не сможете определить, как это изменение повлияло на оптимизацию воронки. Например, вам не нравится зеленый цвет, поэтому вы решили поменять на сайте зеленый баннер на синий. В следующем месяце продаж было больше на 5%, но гарантии, что на это повлиял цвет баннера, нет. Возможно, контекстная реклама так хорошо сработала или сезонный фактор сыграл роль. А с A/B-тестированием вы получите точный результат.
Маркетинг — это процесс постоянных улучшений. Нельзя один раз создать сайт/рассылку/объявление и считать, что они сами будут приносить заявки. Клиенты с каждым годом всё более придирчивы, да и конкуренты не дремлют, поэтому необходимо непрерывно строить гипотезы и тестировать их, чтобы улучшать пользовательский опыт. И здесь, как по Дарвину, выживет не самый сильный, а тот, кто лучше приспособится.
Вот несколько примеров, что можно улучшить с помощью A/B-тестов.
Устаревший дизайн и неинтересный контент — основные причины отказов и низкой кликабельности. Таких проблем можно избежать, если постоянно тестировать элементы и подбирать оптимальные решения для каждой проблемы. Метрики прежде всего важны для маркетологов.
Показатель отказов — это процент пользователей, которые ушли с сайта почти сразу (как правило, в течение 15 секунд), не сделав ни одного целевого действия или клика.
Кликабельность, или CTR, — основная метрика в маркетинге, отношение количества кликов к показам.
Юзабилити — это удобство пользования сайтом. Клиенты не должны искать корзину или форму подписки на рассылку. Полезные кнопки нужно держать на виду, иначе пользователи будут уходить без покупок. Даже если сайт удобен, поверьте — всегда есть, что улучшать. A/B-тесты помогают UX-дизайнерам оптимизировать оформление, сделать его максимально удобным и понятным.
Конверсии одинаково важны как для маркетологов, так и для менеджеров продаж. Сплит-тесты помогают проверить, как баннер или кнопка влияют на конверсию и протестировать разные варианты оформления. И всё это — с минимальными затратами и почти без потерь, ведь половина аудитории по-прежнему видит старую версию.
Есть много успешных кейсов, когда A/B-тесты помогали компаниям добиться желаемых результатов и увеличить продажи. Например, американская IT-компания WorkZone более чем на треть увеличила количество лидов, благодаря отзывам. Изменения сначала протестировали на небольшой группе, а потом уже внесли на сайт.
Если коротко — почти всё. На сайте это:
В контекстной рекламе:
В email-рассылках:
A/B-тесты могут стать универсальным инструментом, главное — провести его правильно. На примере покажем, каких правил стоит придерживаться, как строить гипотезы и анализировать результаты.
Представьте, что вы маркетолог строительной компании и заметили, что конверсия в подписку на рассылку на сайте всего 15%. На ваш взгляд, ее можно повысить, если изменить дизайн формы. Проведем тестирование?
Проведение A/B-теста нужно начинать с определения цели и метрик. Иначе будет трудно оценить результаты. Метриками могут быть любые количественные показатели, которые используются в маркетинге — средний чек, количество заказов, кликабельность.
Объясним на примере. Вы проанализировали воронку продаж в компании и заметили, что форму подписки на email-рассылку заполняют лишь 3% тех, кто увидел ее. Вам нужно «увеличить конверсию в подписку на рассылку на 15%» — это и будет цель. А CR, или конверсия, поможет измерить, достигнута ли поставленная цель.
Гипотеза также является основой A/B-тестирования. Она должна содержать предположение, метрику и конечный результат: «Если мы [...], то [...]». Выделяют два вида гипотез:
Вернемся к примеру. В нашем случае альтернативная гипотеза может быть такой: «Если мы предложим скидку 10% на любую покупку за подписку на рассылку, конверсия увеличится как минимум на 15%». Цифры не важны, в гипотезе можно обойтись без них, ведь точно никогда не получится посчитать выгоду от каких-либо изменений до эксперимента. Нулевая гипотеза будет такой: «Если мы предложим скидку 10% на любую покупку за подписку на рассылку, это никак не скажется на конверсии».
Тестируйте только один элемент за один эксперимент. Если вы поменяете сразу несколько объектов, не удастся понять, какой из них лучше сработал. Если у вас есть несколько гипотез, необходимо провести несколько тестов.
Чтобы эксперимент прошел объективно, выборка должна быть репрезентативной.
Репрезентативность — соответствие признаков тестируемой группы генеральной совокупности.
Генеральная совокупность — это совокупность всех пользователей/клиентов, о которых нам необходимо сделать вывод. Если выборка репрезентативная, значит, результаты исследования можно обобщить для всей аудитории.
В нашем примере генеральная совокупность — это наша целевая аудитория. Допустим, наш магазин одежды ориентирован на женщин и мужчин от 18 до 35 лет. При этом, женская аудитория составляет 70% от общего числа. Значит, чтобы выборка была репрезентативной, необходимо собрать группу, которая будет полностью соответствовать этим показателям — в ней должно быть 70% женщин, 30% мужчин от 18 до 35 лет. Нужно определить две таких группы — экспериментальную и контрольную. Одной аудитории мы показываем вариант сайта A, другой — вариант B.
Только в этом случае тест будет корректным. Если выборка окажется нерепрезентативной, результаты эксперимента окажутся под сомнением.
Также важно определить размер выборки. Для этого можно воспользоваться калькулятором. В зависимости от объема выборки, определите длительность тестирования — рассчитайте ежедневный трафик и посмотрите, сколько нужно дней, чтобы собрать достаточно данных. В среднем для этого требуется две недели.
И снова пример! Вернемся к нашему магазину — например, в день сайт посещают 10 тысяч человек. Калькулятор показал, что для объективности эксперимента два варианта формы должны увидеть в общей сложности 100 тысяч пользователей. Получается, 100/10=10 дней для получения результатов.
Определитесь с площадкой, с помощью которой будете проводить эксперимент. Приступайте к оценке данных только тогда, когда эксперимент закончится.
Несколько инструментов для ваших экспериментов:
Итак, 10 мучительно долгих дней прошли, и что мы видим? Конверсия второй группы, которой мы показывали вариант формы с оффером, составила 30% — предложение-то работает! Значит, наш эксперимент можно считать успешным? Нет, нужно определить статистическую значимость, чтобы убедиться, что результатам можно доверять. Для этого есть множество калькуляторов. Вот один из них.
Вариант B лучше варианта A. Эксперимент удался!
Эти ошибки чаще всего допускают при проведении тестирования:
Сложно удержаться от соблазна за раз убить двух зайцев проверить несколько элементов. Но так вы не сможете отследить, какой из них повлиял на метрики. Возможно, первый покажет отрицательный результат, а остальные — положительный. Из-за этого можно сделать неправильные выводы. Один тест — одна гипотеза.
Во время последовательного тестирования первые две недели (или месяц) вы показываете вариант сайта A, а оставшийся промежуток времени — вариант B. Для ниш с сезонными товарами последовательное тестирование не подойдет — невозможно будет оценить, повлиял ли на результаты спрос.
Например, вы продаете санки и решили тестировать новую страницу лендинга в феврале. Первый месяц вы показывали старый вариант, следующий месяц — новый. Если у последней показатели оказались крайне низкими, это не значит, что пора прощаться с дизайнером. Важно учитывать спрос — в марте санки уже никого не интересуют.
Такое случается, когда эксперимент останавливают раньше времени. Может быть, сроки горят или презентацию перенесли на дату пораньше. Из-за этого в будущем можно потерять не одну сотню клиентов. Заканчивать эксперимент раньше срока — грубая ошибка. Чтобы избежать ее, не жалейте времени, и учитывайте, что статистическая достоверность должна быть не ниже 95%.
⌘⌘⌘
А-б тестирование — это лишь эксперимент, а не доказательство ваших гипотез. Тесты не всегда успешны, поэтому относитесь к ним как к полезному опыту, который поможет лучше понимать клиентов и сконцентрироваться на пробелах. Но не забывайте, что никакие тесты и оптимизации не помогут, если на сайте постоянно возникают технические проблемы. Поэтому выбирайте надежный хостинг и экспериментируйте без проблем!
Один способ позволяет отслеживать каждую деталь изделия, другой – сфокусироваться на брендинге и маркетинге. Разбираемся…
Рассказываем, как помогли российскому разработчику систем аналитики мигрировать в частное облако и сократить затраты на…
Рассказываем, как создать сайт-визитку и какой должна быть структура. Внутри — инструкция, которая поможет предпринимателям.
Онлайн-карты — хорошая площадка для привлечения аудитории в бизнес. Рассказываем об инструментах продвижения в геосервисах.
Можно стартовать с багажом знаний из найма или практически без опыта. Рассказываем, что нужно делать:…
Что такое наука о данных, чем занимается Data Scientist и можно ли обучиться этой специальности…