Что такое A/B тестирование?
A/B тестирование — это способ проверить, какой вариант страницы, объявления или текста работает лучше: трафик делится между двумя вариантами (A и B), и побеждает тот, у которого выше целевая метрика: конверсия, CTR или заявки.
Смысл метода в том, что решения принимаются по цифрам, а не по вкусу. «Мне кажется, зелёная кнопка лучше» становится проверяемым утверждением с цифрой разницы.
Как устроен тест
- гипотеза: что изменить и на что повлиять («короткая форма даст больше заявок»);
- два варианта: всё остальное одинаково, меняется одна вещь;
- случайное распределение: посетители попадают в A или B случайно;
- измерение: одна и та же цель на оба варианта;
- вывод: вариант с достаточным статистическим преимуществом остаётся на сайте.
Что тестируют
- заголовки и офферы лендингов;
- формы: длина, поля, расположение;
- кнопки: текст, цвет, место;
- объявления Директа: заголовки и тексты;
- письма рассылки: тема письма решает больше всего.
Сколько нужно данных
Самая частая ошибка: смотреть тест день и объявлять победителя. Разница в 10% на ста визитах может быть случайностью. Проверяйте статистическую значимость (калькуляторы доверительного интервала для этого и существуют) и добирайте данные, пока разница не станет устойчивой. Ориентир: сотни конверсий на вариант, а не десятки.
Типичные ошибки
- менять несколько вещей сразу: непонятно, что сработало;
- останавливать тест рано и менять вариант в сезонный пик;
- сравнивать по разным периодам и разному трафику;
- тестировать мелочь при малом трафике: разницы не хватит, чтобы её увидеть;
- делать вывод по кликам, когда цель заявки.
Связь с другими терминами
A/B тест опирается на цели Метрики и проверку достоверности; чаще всего его применяют к лендингам и объявлениям, а влияние считают в CR, CPA и деньгах.
Итоги
A/B тестирование превращает споры о дизайне в эксперименты с цифрами. Меняйте одну вещь, копите данные до достоверности и проверяйте на той же цели, что и бизнес-результат: тогда каждый тест оставляет на сайте проверенное улучшение.