А/Б тестирование — метод сравнения различных вариантов контента, кода и дизайна и их эффективности при достижении целей.
Он помогает быстрее увидеть, как на реальных выборках пользователей действуют изменения, насколько они эффективны и целесообразны.
Тесты проводят как на сайтах, так и в рассылках, рекламных объявлениях и других форматах контента. Можно тестировать не только изменения в дизайне и структуре, но и разные ценностные предложения, призывы к действию, оформление цен и так далее.
Могу посоветовать тестировать только одно изменение. Чтобы точнее поменять, что повлияло на результат. Но ряд компаний часто выкатывает новый дизайн и тестирует вообще абсолютно другие страницы. У всех разные подходы.
Трафик должен идти равномерно на оба варианта страниц: в одном и то же время, с таких же источников, от такой же аудитории, с заранее указанных устройств.
Для проведения нужна гипотеза, выборка и инструменты.