Monthly Archives: Ноябрь 2015

A/B тесты: зачем и о чем?

Motos est Vita! Движение — жизнь! Изменение — движение! Простите за восклицания, не удержался. О чем это я? О том, что вас сайт живой: если вы не меняете его, то каким бы он не был идеальным (вы верите в это?), он будет все менее эффективным. Меняются люди, меняются варианты взаимодействия в сети, меняются устройства (по последним данным проекта TNS Web Index, 50 млн. из всех 82 млн. пользователей Интернета в России выходят в Интернет с помощью мобильных устройств). А ваш сайт? Неужели вы думаете, что выйдя веб-студии он сразу стал идеалом? Я уверен, что нет. Вы видите его недостатки, о них вам иногда рассказывают ваши посетители, о них иногда спотыкаются ваши рекламные кампании. И это нормально. Нет в мире идеала, а только движение к нему.
Чтобы развитие сайта не было путем наугад, в слепую, есть замечательный инструмент «научного тыка» — сплит-тестирование, оно же A/B-тестирование. Многие о нем знают и мало кто его использует, еще меньше тестируют корректно, ведь хотя метод и «тыка», но все же научного. Суть сплит-теста: показываете вашим посетителям разные варианты страницы/предложения/формы заявки и оцениваете какой вариант эффективнее. Все просто, но дьявол как всегда в деталях.
аб тест - суть
Что часто тестируется:
  • различные варианты изображений и фотографий
  • цвета/контрастность кнопок (любимый вариант теста для начинающих)
  • различные варианты формулировки УТП (уникального торгового предложения)
  • различные варианты форм заявок/покупки — часто в сторону упрощения, но есть примеры и обратного.
  • добавление различный маркетинговых элементов — отзывы на карточке товара, скидки, акции, сравнения цен, гарантии.
  • и прочее и прочее — это полностью зависит от вашего желания улучшать сайт, просто делать это нужно не наобум.

Несколько примеров A/B-тестов.

1. Женщины любят бородатых.
кейс - женщины любят бородатых
Был протестировано 30 000 посетителей (70% женщины). Конверсия в заказы выросла на 33%!
 2. Лучше использовать реальные фотографии а не «стоковые» (купленные в интернет) изображения.
кейс - добавление реальной картинки
Увеличение количества запросов на обучение на 161 % . В эксперименте также отслеживалась вторичная цель – количество заходов на страницу Регистрации. Этот показатель тоже увеличился на 38.4 %. Статистическая достоверность в обоих случаях составила 98 %.
3. Бесплатная доставка увеличила количество заказов и средний чек.
кейс- бесплатная доставка
Количество заказов увеличилось на 90% при 96% доверительном интервале, а средний чек увеличился на 7%.

Тонкости о которых следует помнить при тестировании:

  • Достаточность трафика и конверсий чтобы делать статистически достоверные выводы (минимум по 30 конверсий на каждый вариант должно быть)
  • Неизменность условий теста – нет несвойственных рекламных кампаний, нет запуска новых РК во время теста, тестирование в 1 этап (то есть разные варианты посетитель может увидеть в 1 промежуток времени).
  • аудитория теста должна однородна — например в контрольной группе большинство перешли по рекламе, а в тестируемой по органическому трафику, конечно же результаты теста будут больше зависит от особенностей аудитории, а не ваших изменений. Рекомендую тестировать один тип трафика.
  • Тестирование сразу многих изменений часто не является эффективным. Часто нельзя выделить: а что же повлияло на столь хороший результат? Какое изменение?
  • Лучше не тестировать незадолго и в течении крупных гендерных праздников, в длинные выходные.
Да это кажется очевидным, но как ни странно только около 10% всех A/B-тестов удовлетворяют таким простым условиям. Не делайте ненужную работу — стоит потратить больше времени и усилий на корректное тестирование, и быть уверенным в своих результатах. Конечно же я могу провести грамотные тестирования для вас — обращайтесь! 🙂 .
Если заметка понравилась — делитесь в соц сетях, если есть дополнения — велкам в коменты, я всегда рад обоснованной критике.