A/B-тестирование лендинга: как понять, что реально поднимает заявки
Почти в каждом проекте наступает момент, когда команда спорит: сделать кнопку зелёной или синей, написать «Оставить заявку» или «Получить расчёт», убрать блок с ценами или оставить. Спорить можно бесконечно — у каждого своё мнение, и оно ничем не хуже вашего. A/B-тест переводит этот спор из плоскости вкуса в плоскость цифр: показываем половине посетителей один вариант, половине другой и смотрим, где больше заявок. Разбираем, как это работает на самом деле, что реально стоит тестировать и почему половина «очевидных улучшений» ничего не меняет.
Что такое A/B-тест простыми словами
A/B-тест — это способ сравнить два варианта страницы честно, на живых людях. Вы берёте свой лендинг (это версия A) и делаете его копию с одним изменением (версия B). Дальше специальный сервис случайным образом показывает половине посетителей A, а половине B — и считает, у какой версии выше конверсия в заявку. Всё остальное — трафик, источник, время суток — распределяется поровну, поэтому разница в результате объясняется именно тем, что вы поменяли.
Ключевое слово здесь — случайно и одновременно. Люди часто путают A/B-тест с обычным «поменяли и посмотрели». Поменять кнопку на прошлой неделе, а на этой неделе сравнить с позапрошлой — это не тест. За неделю могла смениться реклама, погода, день зарплаты, сезон. Вы не отделите эффект кнопки от всего остального. А в A/B-тесте обе версии живут в одну и ту же секунду и делят один и тот же поток — поэтому им можно верить.
Зачем это бизнесу. Затем, что интуиция про сайты врёт чаще, чем кажется. Мы в APST не раз видели, как «уродливый» с точки зрения дизайнера вариант собирал больше заявок, чем красивый, а логичное на бумаге изменение роняло конверсию. Человек не умеет заранее предсказывать, на что кликнет незнакомец с рекламы. А тест умеет измерить это по факту — и превратить догадку в цифру, на которую можно опереться.
Что на лендинге реально стоит тестировать
Главная ошибка новичка — броситься тестировать оттенок кнопки. Такие изменения почти никогда не двигают результат заметно: их эффект тонет в случайном разбросе, и вы месяц гоняете тест ради одного процента, которого, возможно, и нет. Тестировать имеет смысл то, что реально влияет на решение человека — а это верхняя часть воронки и суть предложения, а не косметика.
Самое сильное место лендинга. Человек решает за первые секунды, оставаться ему или закрыть вкладку, и решает он по заголовку и тому, что видит сразу. Разные формулировки главного обещания, разный подзаголовок, разная картинка первого экрана дают самый большой разброс в результатах. Про то, из чего он вообще собирается, у нас есть отдельный разбор — первый экран лендинга.
Что именно вы предлагаете и на каких условиях. «Расчёт стоимости за 15 минут» против «Бесплатная консультация» — это два разных обещания, и люди реагируют на них по-разному. Часто выигрывает не тот оффер, который красивее звучит, а тот, что снимает конкретный страх клиента. Здесь тест бьёт интуицию особенно жёстко.
Сколько полей в форме и что написано на кнопке — прямой рычаг конверсии. Убрать лишнее поле или заменить «Отправить» на «Получить расчёт» иногда даёт больше, чем весь редизайн. Мы разбирали механику отдельно в материале про форму заявки на сайте — она отлично ложится на A/B-тесты.
Что идёт после первого экрана: сначала цены или сначала кейсы, где стоят отзывы, на каком экране появляется форма. Порядок блоков меняет путь человека по странице и то, с каким настроением он доходит до кнопки. Это уже более крупный тест, но и эффект от него обычно заметнее косметики.
Длинный подробный текст против короткого и жёсткого, сухие факты против истории клиента. Тут нет универсально правильного ответа — он зависит от ниши и аудитории, и именно поэтому его стоит проверять, а не решать спором. Логика подачи — в разборе про продающий текст для лендинга.
Общий принцип: тестируйте гипотезы, а не пиксели. Хорошая гипотеза звучит так: «Если убрать из формы поле с бюджетом, заявок станет больше, потому что людям неловко его называть до разговора». У неё есть предполагаемая причина и предполагаемый результат — такую проверять интересно и полезно. А «давайте попробуем другой шрифт, вдруг лучше» — это не гипотеза, это перебор наугад, и время он съедает, а знаний не даёт.
Как поставить тест, которому можно верить
Технически всё проще, чем кажется. Есть сервисы, которые сами делят трафик и считают статистику; на несложном лендинге тест поднимается за пару часов. Сложность не в кнопках интерфейса, а в дисциплине — чтобы результат не оказался случайностью, которую вы приняли за победу.
Меняйте одну вещь за раз. Если вы одновременно поменяли заголовок, картинку и кнопку и версия B выиграла — вы не знаете, что именно сработало. Может, помог заголовок, а кнопка, наоборот, мешала, и без неё было бы ещё лучше. Один тест — одно изменение. Хотите проверить три идеи — это три теста подряд, а не один винегрет.
Считайте по заявкам, а не по кликам. Заманчиво радоваться, что версия B собрала больше кликов по кнопке. Но кнопка — не цель, цель — заявка, а ещё честнее — заявка, которая дошла до продажи. Бывает, что яркая кнопка ловит больше кликов, но приводит более случайных людей, и до заявки доходит меньше. Ведите тест до той метрики, которая реально приносит деньги. Как её вообще считать, мы разбирали в материале про конверсию сайта.
Дождитесь достаточного объёма. Это главное правило и оно же самое нарушаемое. По десяти заявкам нельзя судить ни о чём: если у A их 6, а у B — 4, это не значит, что A лучше, это обычный случайный разброс, как в подбрасывании монетки. Нужно, чтобы через каждую версию прошли сотни человек и набрались десятки заявок, а сервис показал, что разница статистически значима. Пока значимости нет — победителя нет, даже если цифры вам нравятся.
Не подглядывайте и не останавливайте раньше срока. Очень частый соблазн — на третий день увидеть, что B впереди, обрадоваться и всё переключить. Так делать нельзя: на короткой дистанции лидер меняется туда-сюда почти случайно. Договоритесь заранее, сколько времени или сколько заявок ждёте, и не трогайте тест до этого момента. Обычно это одна-две полные недели, чтобы захватить и будни, и выходные — поведение людей в эти дни разное.
Частые ошибки, из-за которых тест врёт
Даже с правильным сервисом легко получить красивую цифру, которая ничего не значит. Вот что чаще всего портит результат.
Слишком мало трафика. На лендинге, куда приходит десять человек в день, честный A/B-тест собирать значимую разницу будет месяцами — за это время поменяется всё вокруг. Если трафика мало, тесты пока не ваш инструмент: сначала стоит наладить поток людей, а уже потом на нём что-то измерять. Иначе вы просто гадаете, только с графиками.
Тест на фоне резких изменений. Запустили новую рекламу, попали в сезон, отработал крупный инфопартнёр — состав аудитории на входе поменялся, и посреди этого сравнивать версии страницы бессмысленно. A/B-тест любит стабильный, ровный поток. Если рядом что-то штормит, лучше подождать.
Победа «на глаз». «B выглядит бодрее, там на пару заявок больше — берём B» — так теряется весь смысл. Пара заявок разницы на маленькой выборке — это шум, а не сигнал. Ориентир один: сервис прямо говорит, что разница значима. Нет этой пометки — считайте, что варианты равны, и не тратьте силы на переключение.
Забыли про мобильных. Вариант может выигрывать на десктопе и проигрывать на телефоне, а телефонов обычно больше половины трафика. Полезно смотреть результат в разбивке по устройствам — иногда «победитель» побеждает только на экране, которого у большинства ваших посетителей нет. Про то, почему мобильную версию нельзя считать второстепенной, у нас есть отдельный разбор.
Один удачный тест приняли за закон. То, что заголовок B победил в вашей нише этой весной, не делает его правильным навсегда и для всех. Аудитория, сезон и конкуренты меняются. A/B-тест отвечает на вопрос «что работает здесь и сейчас», а не выдаёт вечную истину. Поэтому тестирование — это не разовая акция, а привычка периодически проверять свои же решения.
Чего ждать от тестов и когда они не нужны
Сначала честно о пределах. A/B-тест — это про улучшение того, что уже работает, а не про спасение того, что не работает вообще. Если на лендинг не идёт трафик или предложение никому не нужно, никакая перестановка кнопок этого не вылечит — тестировать будет попросту нечего. Сначала должен быть живой поток людей и вменяемый оффер, и только тогда тесты начинают приносить пользу.
Второе. Тесты дают прирост процентами, а не чудо в разы. Хорошая серия тестов может поднять конверсию с 3% до 4% — и это отличный результат, потому что на дистанции он превращается в заметно больше заявок с того же бюджета. Но если кто-то обещает вам «удвоим заявки одним A/B-тестом кнопки» — это продажа надежды, а не работа. Мы честно говорим клиентам: гарантировать конкретную цифру прироста нельзя, тест на то и тест, что его результат заранее неизвестен. Гарантировать можно только сам процесс — что решения будут приниматься на данных, а не на споре, кому чей вариант больше нравится.
Когда тесты точно не нужны. На новом лендинге, у которого ещё нет ни трафика, ни статистики, — сначала запуск и первые заявки, тесты потом. При совсем маленьком потоке — вместо A/B честнее смотреть на поведение людей другими способами: карту кликов, вебвизор, разговоры с реальными клиентами. И когда изменение очевидно правильное и ничего не стоит (починить сломанную на телефоне кнопку, убрать явную ошибку) — это просто делают, а не тестируют. Тест нужен там, где есть реальная развилка и цена ошибки, а не там, где ответ и так ясен.
И главное — с чем к тестам стоит подходить. Не как к разовой процедуре «оптимизировали сайт и забыли», а как к постоянной привычке сомневаться в своих решениях и проверять их на людях. Именно эта привычка, а не конкретный выигравший заголовок, со временем и отделяет сайт, который стабильно растёт, от сайта, который живёт на догадках владельца.
Частые вопросы
Сколько посетителей нужно, чтобы A/B-тест был достоверным?
Универсальной цифры нет — она зависит от вашей конверсии и от того, насколько велика разница между вариантами. Ориентир на практике: через каждую версию должны пройти хотя бы несколько сотен человек и набраться десятки заявок, а сервис — показать, что разница статистически значима. По десятку заявок судить нельзя, это случайный разброс.
Сколько времени держать тест?
Обычно от одной до двух полных недель, чтобы попали и будни, и выходные — поведение людей в эти дни разное. Точнее — держать до тех пор, пока не наберётся нужный объём и сервис не покажет значимость. Останавливать раньше «потому что уже видно победителя» нельзя: на короткой дистанции лидер меняется почти случайно.
Можно ли тестировать несколько изменений сразу?
Одно изменение за один тест — иначе вы не поймёте, что именно сработало. Если поменять сразу заголовок, картинку и кнопку, победа версии не скажет, кто из троих был причиной. Несколько идей проверяют последовательными тестами. Тестировать много вариантов сразу (мультивариантный тест) можно, но он требует ещё больше трафика.
Что тестировать в первую очередь?
То, что сильнее всего влияет на решение человека: первый экран и заголовок, сам оффер, форму заявки. Оттенок кнопки и мелкую косметику оставьте на потом — их эффект обычно тонет в случайном разбросе, и вы потратите недели ради процента, которого может и не быть.
А если трафика на сайт мало, тесты вообще имеют смысл?
При совсем маленьком потоке классический A/B-тест будет собирать значимую разницу месяцами, и за это время изменится всё вокруг. В такой ситуации честнее смотреть на карту кликов, вебвизор и разговаривать с реальными клиентами, а сами тесты отложить до того момента, когда поток людей вырастет.
Короткий вывод
A/B-тест переводит спор о сайте из «мне так кажется» в цифру: две версии страницы одновременно делят один поток, и вы видите, у какой выше конверсия в заявку. Тестировать стоит то, что реально влияет на решение — первый экран, оффер, форму, — а не оттенок кнопки. Правила простые и нарушаемые: одно изменение за тест, метрика — заявка, дистанция — сотни людей и одна-две недели, победитель — только при статистической значимости. Тесты улучшают то, что уже работает, дают прирост процентами и требуют трафика; гарантировать можно процесс принятия решений на данных, а не конкретную цифру. Но именно эта привычка проверять свои решения на людях со временем и отличает сайт, который растёт, от сайта, который живёт на догадках.
Настроим тесты на вашем лендинге
APST делает сайты в Воронеже с 2005 года и умеет не только собрать лендинг, но и поставить на нём честные A/B-тесты: сформулировать гипотезы, развести трафик, довести до значимого результата и принять решение по цифрам, а не по вкусу. Пришлите ссылку на свой лендинг — посмотрим, что на нём стоит проверить в первую очередь.
Обсудить проект