Проведение a b тестов. Важно про данные. Как и зачем тестировать разные варианты страниц

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Если в детстве вы любили разбирать на части машинки с моторчиком или смешивать все жидкости, которые были в доме, то эта статья для вас. Сегодня разбираемся с A/B тестированием сайта и выясняем, почему в умелых руках оно превращается в мощное оружие. Откапываем в глубинах сознания дух экспериментатора, стряхиваем с него пыль и читаем.

Что это такое – А/Б тестирование сайта?

Если вкратце, то это метод оценки эффективности двух вариантов одной и той же страницы. Например, есть два дизайна карточки товара и оба они настолько круты, что вы даже спать и есть не можете. Логичный выход – проверить, какой вариант работает лучше. Для этого половине посетителей показывается вариант №1, а половине – вариант №2. Побеждает тот, кто лучше справляется с поставленными задачами.

Это не единственный способ применения А/Б (или сплит) тестирования сайта. С его помощью можно проверять сумасшедшие гипотезы, удобство новой структуры страницы или разных вариантов текста.

Как проводится A/B тестирование сайта

Постановка задачи

Сначала нужно определиться с целью. Поймите, чего вы хотите добиться: увеличения конверсии, времени пребывания на сайте или снизить процент отказов. Если с целями и задачами все ОК, меняйте контент или дизайн, опираясь на них. Например, можно пойти по пути всех growth-хакеров и изменить расположение и дизайн кнопки «Купить». Сейчас она висит слева внизу и вы хотите посмотреть, что будет, если поменять ее внешний вид и передвинуть кнопку выше и правее.

Техническая реализация

Здесь все просто – либо создается отдельная страница, на которой меняется только объект тестирования, либо программист применяет магию и реализует все в рамках одного документа.

Подготовка контрольных данных

Страница переделана и все готово к запуску теста. Но сперва нужно измерить исходные показатели конверсии и всех остальных параметров, которые мы будем учитывать. Исходному варианту страницы присваиваем имя «A», а новому – «B».

Тест

Теперь нужно случайным образом разделить трафик пополам. Половине пользователей показывается страница A, а остальным – B. Для этого можно воспользоваться специальными сервисами (их очень много) или сделать все руками программиста.

При этом важно, чтобы «состав» трафика был одинаковым. Эксперимент не будет объективным, если всем пользователям, пришедшим по клику на контекст будет доступен только первый вариант, а всем посетителям из социальных сетей – только второй.

Анализ

Теперь нужно ждать, пока наберется достаточно статистики и сравнить результаты А/Б тестирования. Сколько именно придется ждать, зависит от популярности сайта и некоторых других параметров. Выборка должна представлять статистическую значимость. Это значит, что вероятность случайности результата должна быть не выше 5%. Пример: Допустим, на обеих страницах одинаковое количество визитов – по тысяче. При этом у страницы A 5 целевых действий, а у страницы B – 6. Результат отличается слишком незначительно, чтобы говорить о закономерности, поэтому он не годится.

Большинство специальных сервисов сами рассчитывают, порог статистической значимости. Если делаете все руками, можете воспользоваться калькулятором .

Выработка решения

Как поступить с результатами теста – решать вам. Если новый подход сработал, можно оставить его на сайте новый вариант страницы. При этом не обязательно останавливаться на достигнутом, особенно если вы видите, что потенциал для роста показателей еще остался. В этом случае оставляйте на сайте вариант B и готовьте новое тестирование.

Как сделать A/B и сплит-тестирование объективным

Снизить влияние внешних факторов. Мы уже немного затронули эту тему – нужно проводить тест в один и тот же период времени, а источники трафика должны быть одинаковыми для обеих страниц. Если не позаботиться о равных условиях, то получите нерепрезентативную выборку. Люди из поиска ведут себя на странице не так, как посетители из группы в «Фейсбуке» или «Вконтакте». То же самое с объемом трафика – он должен быть примерно одинаковым.

Минимизировать влияние внутренних факторов. Это актуально для сайтов крупных компаний – на статистику могут сильно влиять сами сотрудники фирмы. Они заходят на сайт, но не совершают никаких целевых действий. Поэтому их нужно исключить из статистики. Для этого нужно установить фильтр в системах веб-аналитики.

Плюс, есть довольно очевидная вещь, про которую иногда забывают. Тестировать нужно один элемент. Если вы поменяли сразу пол-страницы, но при этом полного редизайна сайта не было, результаты эксперимента не будут валидными.

Влияет ли A/B тестирование сайта на SEO?

Есть популярный миф, что А/Б тестирование может выйти боком, потому что из-за дублирования страниц можно попасть под фильтры поисковиков. Это неправда. Google даже рассказывает , как сделать все правильно и дает для этого специальные инструменты.

Что и как можно улучшить с помощью A/B тестирования

Конверсию. Самый популярный вариант. Даже незначительное изменение страницы может повлиять на показатель конверсии. При этом целевым действием может считаться и покупка, и регистрация, и просмотр какой-либо страницы, и подписка на рассылку, и переход по ссылке.
Средний чек. В этом случае часто тестируют новые блоки дополнительных продаж: «похожие товары» и «с этим товаром часто покупают».

Поведенческие факторы. К ним относят глубину просмотра, среднее время на сайте и отказы.

Обычно пробуют менять:

Дизайн кнопок «Купить», «Оставить заявку».
Контент страницы: заголовки, описание продукта, изображения, призывы к действию и все остальное.
Расположение и внешний вид блока с ценами.
Структуру страницы.
Расположение, структуру и дизайн формы заявки.

В принципе, сработать может что угодно, точно сказать, как повысить конверсию или средний чек не сможет ни одна Ванга. Рекомендаций куча, но учесть их все просто нереально, да и сработать они могут с противоположным эффектом. А иногда к улучшению показателей приводят совсем нелогичные вещи, например, отказ от развернутого описания товаров. Пробуйте разные подходы и варианты, это же тест.

Инструменты для A/B тестирования сайта

Их просто куча, поэтому мы выбрали самые лучшие. Все они англоязычные и поэтому дорогие, но у каждого есть бесплатный пробный период. В России что-то подобное делает только lpgenerator.ru, но тестировать там можно только лендинги, созданные в конструкторе сервиса. Свою страничку загрузить не получится.

Optimizely.com

Один из самых популярных сервисов. Умеет тестировать все и в любых комбинациях. Из других плюсов: возможность мультиканального тестирования, эесперименты с мобильными приложениями, удобные фильтры результатов, таргетинг, визуальный редактор и немножко веб-аналитики.

Changeagain.me

Достаточно удобный сервис, главное преимущество – простая и полная интеграция с Google Analytics: цели можно создавать прямо в сервисе, а они потом автоматически подгружаются в систему. Остальные функции более-менее стандарны: простой визуальный редактор, таргетинг по устройствам и странам. конкретный набор зависит от тарифного плана..

ABtasty.com

Этот сервис отличается большим пробным периодом – он длиться аж 30 дней, вместо стандартных 14-15-ти. Плюс, инструмент интегрируется в WordPress, Google Analytics и несколько других сервисов, которыми пользуются забугорные маркетологи и веб-мастера. Из дополнительных плюсов: удобный интерфейс и детальный таргетинг.

Как провести A/B тестирование через Google Analytics

Для этого нужно зайти в свой аккаунт, открыть меню отчета, досскроллить до вкладки «Поведение» и в ней нажать «Эксперименты». Там все предельно просто.

Даем эксперименту имя, распределяем трафик по страницам в нужной пропорции, выбираем цели и переходим к следующему этапу – детальной настройке.

Там задаются адреса страниц A и B. Если поставить галочку «Унификация вариантов для других отчетов по содержанию», то в остальных отчетах показатели всех вариантов будут учитываться как показатели исходной страницы.

После этого Analytics выдаст код, который нужно разместить на странице A и запустить эксперимент. Отчеты по эффективности можно будет увидеть в том же меню «Эксперименты».

Как настроить «Яндекс Метрику» для A/B тестирования

Работа делится на две части. Сначала нужно либо создать две страницы, либо настроить одну на показ пользователю двух разных типов элементов. Как это сделать – тема для отдельной большой статьи, поэтому ее, пока что, обойдем

После этого нужно передать в метрику информацию о том, какой вариант сайта увидел пользователь. Небольшую инструкуцию дает сам «Яндекс» . Для нам нужно создать параметр А/Б тестирования и присвоить ему нужное значение. В случае с кнопкой мы определяем параметр как:

var yaParams = {ab_test: "Кнопка1" };

или

var yaParams = {ab_test: "Кнопка2" };

После этого параметр передается в «Метрику» и его можно использовать для формирования отчета по «параметрам визитов».

Итоги

А/Б (или сплит) тестирование сайта – это важный, нужный и почти обязательный инструмент. Если регулярно проверять новые гипотезы, эффективность страницы можно вывести на новый уровень. Но нельзя сказать, что усилий для этого нужно минимум. Чтобы просто поменять расположение или цвет кнопки придется подключить к делу программиста или дизайнера, пусть это и не займет много времени. Плюс, любое предположение может оказаться ошибочным. Но кто не рискует, тот не получает возросший поток заявок и не бегает по офису счастливым.

AB test, полезная штука, которая просто должна быть по-умолчанию в интернет проектах. Как проводить и что для этого нужно?

Сегодня тестирование гипотез и проверка идей, обязательная программа. Под эту задачу отлично подходит AB test. Давайте разберём подробнее, что это вообще такое, в чём польза и какие есть инструменты.

AB test: что это и зачем

AB test или Split test - метод маркетингового исследования, суть которого заключается в том, что вы берёте и сравниваете несколько вариантов элемента продукта с одним определенным изменением. А после смотрите какой из вариантов показал себя лучше.

К примеру, у нас родилась идея, поменять цвет кнопки на некой странице. Мы думаем, что это изменение принесёт нам больше кликов. Запускаем оба варианта, половине наших пользователей показываем вариант A, а другой половине вариант B.

По прошествии какого-то времени (продолжительность определяется перед запуском теста) замеряем результат. Смотрим какой из вариантов лучше отработал и используем его в работе. Таким образом вы можете проверять практически любые гипотезы и смотреть, что лучше работает, а что нет.

Что можно анализировать с помощью AB test?

Конверсии. Кол-во успешных целевых действий на вашем сайте. Это может быть нажатие на кнопку “Купить”, посещение какой-то страницы или что-то ещё.
Экономика. Средний чек или объём выручки.
Поведенческие факторы. Глубина просмотра, длительность сеанса.

Нюансы и тонкости

Очень важно при тестировании менять только один фактор. Если это цвет кнопки на лендинге, то мы тестируем только разные цвета кнопок и не меняем больше ничего на страницах.
Также и с внешними факторами. Тест запускается в одно и то же время при одних и тех же условиях. В противном случае вы можете получить данные, которые будут необъективными.

Простите, что прерываю чтение. Присоединяйтесь к моему telegram канал . Свежие анонсы статей, развитие digital продуктов и growth hack, там все. Жду вас! Продолжаем…

Важно про данные

Всё было бы очень просто, если бы не одно “Но”. Можно провести AB test, получить результаты, где откровенно видно, что один из вариантов сильно лучше другого.

Например, мы показали 2 варианта страниц с разным цветом кнопок по 1000 раз каждый. Проводили тест одну неделю. И получили следующие результаты:

При одинаковых показах баннера (это важно), кол-во кликов у варианта B больше в три раза. Делаем вывод, что этот вариант более эффективный и берём его в рабочую версию, а старый удаляем.

А если, к примеру, так?

Стоит ли брать вариант B? Или может быть это просто погрешность? Да и достаточно ли показать 1000 раз каждый из вариантов, чтобы принять решение? Может к нам на сайт в день заходит 10 000 пользователей и выборка очень мала, чтобы сделать вывод? А если, данные которые мы анализируем, не просто кол-во кликов, а средний чек с транзакций?

Статистика нам в помощь

Чтобы понять, как устроен мир цифр и экспериментов, давайте немного разберём мат.часть. Если нет времени и сил, то советую пропустить этот раздел. Дальше, я дам более простые решения задачи.

Большой соблазн, когда получили результаты эксперимента, принять решение и всё, вот оно, “светлое будущее”. Но, ведь, если копнуть немножечко глубже, то за неделю распределение кликов по дням было неравномерным. Давайте распишем.

В таблице видно, что клики по дням распределены по-разному. А значит, наши значения варианта A и варианта B могут меняться каждый день. То есть, мы имеем дело со случайными величинами. Для таких случаев применяют средние значения. Но ведь, если мы проведем эксперимент ещё раз, то какова вероятность, что результат повториться?

Изобразим на графике распределение всех данных за неделю по варианту A и B.

Если мы возьмём средние величины по каждому из вариантов (это вертикальные полоски посередине двух волн), то увидим, что разница совсем невелика. Но существуют определенные отклонения, в большую и меньшую сторону от среднего. Поэтому, мы получаем пересечение двух волн. Чем оно больше, тем меньше значимость эксперимента и, соответственно, чем меньше пересечение, тем выше статистическая значимость.

Статистическая значимость, это то, насколько верны полученные результаты. То есть в нашем примере, ответ на вопрос “нужно ли брать вариант B?”.

Обычно, по-умолчанию принимают уровень значимости равный 95%. Это означает, что мы с 95% вероятностью хотим знать, стоит ли выбирать другой вариант (B) при сравнении. Оставшиеся 5%, это вероятность ошибки, которую мы допускаем или p-value в терминологии статистики.

Интересно, что многие забывают проверять уровень значимости в своих экспериментах и тем самым могут получать ошибочные данные. 8 из 10 AB тестов проходят мимо этой оценки. ( )

Не буду вдаваться долго в подробности, как рассчитывается показатель значимости, просто дам инструмент, который посчитает все за вас.

Инструменты для расчета значимости

Для оценки значимости данных советую использовать этот инструмент .

Здесь у нас A и B соответственно наши варианты. А по цифрам:

Число посетителей/можно кол-во показов вставлять.
Кол-во конверсий. Нажали на кнопку, зарегистрировались. В общем выполнили целевое действие.
P-value. Вероятность ошибки, которую мы опускаем при заданных данных.
Ответ на вопрос существенны ли, полученные изменения в нашем эксперименте.

Пример: берём данные по показам и кликам из таблицы, которую показывал выше.

Забиваем их в сервис, нажимаем на кнопку “Calculate Significance” и…

Получаем ответ “No” или “Нет” (по-русски) в нижней строке, а чуть выше p-value 0,283. Что это означает? А то, что с вероятностью 28,3% (0,283*100), если мы выберем вариант “B”, то он не принесёт никаких существенных результатов.

Чтобы эксперимент считался успешным, p-value должен быть меньше 5%

Есть ещё один сервис, в который также вбиваете данные и смотрите результат, доступен по ссылке .

На этом строится базовый принцип измерения случайных величин. Просто в тот момент, когда получите результаты AB test, прогоните их через инструмент и посмотрите, а на столько лишь значимо улучшение от другого варианта, чтобы брать его в работу?

Как понять сколько нужно данных?

Бывает так, что для получения выводов недостаточно полученных данных.Для того, чтобы понять, сколько раз нужно показать страницу A и B, а затем получить нужное кол-во данных, используйте этот инструмент .

Очень важно, повторюсь, запускать эксперимент при одних и тех же условиях. В идеале мы берём неделю, на которой нет ни праздников, ничего остального и параллельно тестируем варианты. Вернёмся к сервису.

Благодаря этому сервису вы поймете размер выборки для каждого из вариантов.

Подробнее по пунктам:

Существующий уровень конверсии. Или, например, сколько процентов из всех пользователей сейчас нажимают кнопку.
Минимально значимое изменение, которое нас интересует. На сколько мы хотели бы изменить базовый показатель конверсии.
Значимое отклонение, которое мы ввели на предыдущем шаге показывает, что конверсия может увеличится, так и уменьшиться.
Вы выбираете значение: absolute (абсолютный) или relative (относительный). Выбирайте то значение, которое хотите получить. Если у вас baseline уровень конверсий равен 30% (как в примере с картинки) и вы хотите повысить его на 5% с помощью ab тестов, то выбирайте “relative”. То есть, финальный результат изменения в случае успешности эксперимента будет 5% от 30%, то есть 31,5%.
Размер выборки для каждого варианта. Сколько мы должны раз показать страницу отдельно A и страницу B, чтобы сделать выводы по эксперименту. Очень важно! Чтобы сделать выводы по эксперименту, мы показываем 24 409 раз A и 24 409 раз B!
Статистическая значимость. На сколько точный эксперимент мы хотим провести.
Погрешность p-value. Какую вероятность ошибки допускаем.

Можно ли останавливать эксперимент раньше?

Можно. Существует вариант, когда мы можем не дожидаться окончания эксперимента, а на определенном этапе уже сделать выводы. Для этого используйте уже известный инструмент, вкладка “ Sequental Sampling “.

По шагам:

Вбиваете свой уровень конверсии сейчас. К примеру 30%, именно столько из 100% заходящих к нам на страницу нажимает кнопку.
Набираете, на сколько вы хотели бы повысить ранее введенный показатель. Поставил на 10%. Было 30, хочу до 33 поднять.
Кол-во конверсий одного из экспериментов, после которого останавливаем эксперимент и принимаем решение.
Разница в конверсиях между вариантом A и B, после которой останавливаем эксперимент и берем, тот, что больше набрал.
Выставляем уровень значимости 95% (как положено, см.выше материал).
Устанавливаем погрешность p-value (опять же, см.выше материал).

Здесь нет никакой хитрости, просто статистика. Используйте этот инструмент, когда эксперименты занимают много ресурсов (время на разработку, бюджеты на рекламу для проверки гипотез и т.д.). Теперь у вас есть два правила, при которых вы можете останавливать эксперимент и делать выводы.

Чем проводить AB test?

Готовые решения:

Optimizely, vwo.com, zarget.com
http://alternativeto.net/software/optimizely
Google Analytics (ссылка как проводить)

Собственное решение:

Пишем админку.
Пишем и настраиваем каждый эксперимент.

Вот про 10 сервисов для AB test. Есть из чего выбрать.

Всё

Теперь у вас есть общее представление, что такое AB test, какие существуют нюансы и какими инструментами его проводить. В заключение добавлю что данное исследование гипотез является одним из самых полезных в развитии digital проекта. Разве не прекрасно, что можно проверить практически любую идею? Главное правильно, теперь вы знаете как.

Обзор сервисов для A/B тестирования

Пробуем сервисы, которые помогают менять сайт к лучшему

A/B тестирование — маленький эксперимент, который проводится над пользователями сайта. Его суть — проверять гипотезы.

Если вы думаете, что пользователи сайта будут чаще кликать на фото модели в бикини, а не на бизнесмена в очках, это легко подтвердить или опровергнуть. Создайте две странички, на одну поместите бизнесмена, на другую — модель. И ждите. А время покажет, правы вы или нет. Аудитория сайта действием проголосует за тот вариант, который им симпатичнее. И так, проводя A/B тестирования и наблюдая за поведением пользователей, можно постепенно подгонять сайт под их вкусы и хотелки.

Подробнее об A/B тестировании мы писали в . Но чего-то в ней не хватало. Мы её покрутили, повертели, посмотрели на свет. И поняли — нужен обзор инструментов для тестирования! Итак, приступим.

Google Analytics Experiments

Google Anatytics умеет многое, просто скромно об этом умалчивает. Если в нем поковыряться, можно настроить A/B тестирование (или запрограммировать телефоны на Android на самоуничтожение — как повезет). Это удобно, если вы и так пользуетесь Analytics, немного можете в код или у вас есть знакомые разработчики, которые сделают страничку для тестирования.

Плюсы: Удобно для пользователей, привыкших к Google Anatytics. Есть русский язык. И, главное, сервис бесплатный.

Минусы: Нет визуального редактора. Если элементы, которые вы хотите протестировать, не изменить через админку сайта, а перепрограммировать самостоятельно скила не хватает — придется обращаться к разработчикам.

Цена: Бесплатно.

Сервис прост и понятен. На каждом этапе — подсказки, что делать и зачем. В визуальном редакторе можно изменить текст, картинки и структуру сайта. Все элементарно: изменили сайт в редакторе, добавили код на страницу-оригинал и наблюдаете за результатами. Для сбора статистики сервис интегрируется с Яндекс.Метрикой.

Плюсы: Есть простой визуальный редактор. Поддерживается русский язык. .

Минусы: Визуальный редактор слишком прост. По-хорошему он работает только с текстом и изображениями. А вот со структурой не поиграться: RealROI предлагает элемент либо скрыть, либо удалить. Заменить, подвинуть, поменять форму — ничего этого сделать нельзя.

И у нас есть подозрение, что функция «Отправить код разработчику» не работает. Мы трижды пробовали, а письма все нет. Поэтому отправлять код рекомендуем самостоятельно, старым-добрым Ctrl+C — Ctrl+V.

Цена: Бесплатно.

В этом инструменте уже больше фишек. Визуальный редактор позволяет творить любое безумие: элементы можно менять, двигать, добавлять, удалять. Сервис позволяет запустить тест в заданную дату или приостановить поток трафика на страницу (может пригодиться в эксперименте, где участвует более 2 вариантов). Можно настроить таргетинг и персонализацию.

Плюсы: Удобный визуальный редактор — программисты не нужны, чтобы создавать страницы для тестирования. Сервис интегрируется с Google Analytics, WordPress и другими системами аналитики и CRM.

Минусы: Русский язык вроде бы есть, но чем сильнее углубляешься в сайт, чем сложнее становятся термины — тем его меньше.

Нет триальной версии. Можно потестировать визуальный редактор, но про остальные функции узнаёшь только из описаний.

Цена: 39 $ в месяц, если вам хватит 5 000 протестированных пользователей. Тариф пожирнее — 140 $ в месяц, позволяет протестировать сайт на 40 000 уникальных посетителях. 200 000 протестированных пользователей в месяц стоят 390 $. При оплате сразу за год — скидка на все тарифы.

Сервис, который может устроить A/B для компьютеров и мобильных устройств. В визуальном редакторе VWO можно сразу пометить цель для кликов. Остальные — добавить в следующем шаге.

Сервис предлагает посмотреть карту кликов, добавить всплывающие окна и рассылать пользователям, которые что-либо купили на сайте, призыв оставить отзыв.

А еще у VWO есть галерея идей. Вроде бы мелочь, а приятно. И полезно: владельцу сайта не нужно придумывать самому, что бы такого потестировать. Он может выбрать из вариантов, которые подготовили профессионалы. Идеи можно фильтровать по отрасли, сложности и затраченному времени. Очень круто.

Плюсы: Много функций, и везде — подсказки и инструкции. Понятный визуальный редактор заставляет программистов нервно курить в сторонке. Есть триальная версия на 30 дней. VWO интегрируется с Google Analytics, WordPress и еще 12 сервисами.

Минусы: Нет русского языка. И поэтому подсказки могут не помогать, а бесить.

Цена: Если на сайте ежемесячно менее 10 000 посетителей, стоимость сервиса — 59 $ в месяц. До 30 000 посетителей — 155 $, до 100 000 людей на сайте — 299 $, и так по нарастающей. Традиционно, при оплате за год — скидка.

Предлагает A/B, мультивариантное и сплит-тестирование, персонализацию. Цель для кликов можно пометить в визуальном редакторе.

Функций меньше, чем у некоторых конкурентов из обзора, зато у Convert (осторожно, сейчас будет очень субъективное мнение) самый удобный визуальный редактор в плане выделения и перетаскивания объектов. У других сервисов рамки объекта дрожат, как будто пользователь на них с топором набрасывается, а не аккуратно трогает мышкой.

Поймать рамку, изменить размер объекта и передвинуть его в редакторе A/B Tasty — испытание не для слабонервных. А в Convert все проходит гладко, приятно. Единственное — чтобы отредактировать текст, придется запустить руки в CSS-код.

Плюсы: Удобный визуальный редактор, интеграция с 35 сервисами аналитики и CRM, бесплатный триальный период — 15 дней. Можно настраивать тесты под мобильные устройства.

Минусы: Нет русского языка. Визуальный редактор приятный, но в нем придется копаться и разбираться.

Цена: Тариф Lite (легкий, ага) — 499 $ в месяц за 400 000 посетителей, без техподдержки. Хотите, чтобы сотрудники сервиса вам помогали? Доплачивайте ещё 200 $. Чем больше посетителей, тем выше цена. Если оплатить сервис на год вперед — будет скидка.

Как известно, в бизнесе не бывает статичных состояний. Предприятие должно постоянно развиваться, чтобы соответствовать текущей рыночной ситуации, потребностям клиентов и собственников. Остановив развитие, проект в ту же секунду начинает деградировать. Например, нельзя создать интернет-магазин, добавить на сайт 200 товаров и ежемесячно получать прибыль в сумме 100 тыс. рублей. Чтобы прибыльность проекта хотя бы не падала, предпринимателю необходимо постоянно расширять ассортимент, увеличивать охват аудитории с помощью рекламы и публикации полезного контента, улучшать поведенческие метрики сайта и коэффициент конверсии.

Одним из инструментов развития веб-проектов является A/B-тестирование. Этот метод позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики. Из этой статьи вы узнаете, как правильно проводить A/B-тестирование.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing - раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию . Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование - это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин . Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование - это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

Текст и внешний вид конверсионных кнопок, а также их расположение.
Заголовок и описание продукта.
Размеры, внешний вид и расположение конверсионных форм.
Макет и дизайн страницы.
Цену товара и другие элементы бизнес-предложения.
Изображения товаров и другие иллюстрации.
Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных сервисов. Наиболее востребованным из них является Content Experiments компании Google, доступный пользователям системы Analytics. До середины 2012 года этот инструмент назывался Google Website Optimizer. С его помощью можно протестировать различные элементы страницы, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.п. Сервис Content Experiments остается бесплатным, что относится к его основным преимуществам. К его недостаткам относится необходимость работы с HTML-кодом.

Также вы можете использовать для проведения сплит-тестирования следующие российские и иностранные инструменты:

Optimizely - наиболее популярный в буржунете платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США в зависимости от типа подписки. К преимуществам данного сервиса относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
RealRoi.ru - еще один отечественный сервис, который позволяет проводить А/Б-тестирование. Среди главных плюсов можно выделить то, что он бесплатен и очень прост в использовании. О том, как он работает, можно подробно посмотреть на следующем видео:

Visual Website Optimizer - платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость подписки составляет от 49 до 249 долларов.
Unbounce - сервис, предназначенный для создания и оптимизации лэндингов. В том числе, он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 50 до 500 долларов в месяц. Отечественный аналог - LPGenerator. Этот сервис позволяет тестировать только созданные с его помощью страницы.

Как провести A/B-тестирование с помощью Content Experiments

Сервис «Эксперименты» Google Analytics позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, маркетологи могут выполнять A/B/N-тестирования, отличающиеся от стандартных A/B-экспериментов возможностью следить за эффективностью нескольких новых страниц, каждая из которых может иметь несколько новых элементов.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Специалист может получать данные о результатах тестирования на электронную почту.

Чтобы провести сплит-тестирование с помощью Content Experiments, выполняйте следующие действия:

Войдите в аккаунт Google Analytics, выберите сайт, эффективность которого необходимо проверить. После этого выберите меню «Поведение - эксперименты».

Введите в соответствующую форму URL страницы, которую вы будете тестировать, и нажмите кнопку «Начать эксперимент».

Выберите название и цель тестирования. Определите процент трафика, участвующий в эксперименте. Решите, хотите ли вы получать оповещения о ходе тестирования на электронную почту. Нажмите кнопку «Далее» после выбора необходимых параметров.

Выберите варианты страницы, участвующие в тестировании. Добавьте их в соответствующие формы и нажмите «Далее».

Создайте код эксперимента. Если вы не знаете, как вставить его на страницу, выберите вариант «Отправить код веб-мастеру». Если вас не бросает в пот при упоминании HTML-кода, выберите вариант «Вставить код вручную».

Выбирайте «Вставить код вручную», если умеете обращаться с HTML-кодом

Скопируйте отмеченный на предыдущей иллюстрации код и вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега . После выполнения этого действия нажмите кнопку «Сохранить изменения».

Проверьте наличие кода тестирования на контрольной странице и нажмите кнопку «Начать эксперимент». Обратите внимание, код необходимо добавить только на контрольную страницу.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью сплит-тестирования

Выше неоднократно отмечалось, что A/B-тестирование помогает увеличить эффективность веб-страниц. Чтобы этот маркетинговый метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон страницы с голубого на салатовый.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
Добавьте на конверсионную страницу слова «бесплатно» или free. Конечно, аудитория знает, что подписка на рассылку является бесплатной. Но иногда слово free творит настоящие чудеса, ведь дармовой уксус сладок.
Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

Сплит-тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. Оба варианта должны иметь разные URL. После этого следует воспользоваться одним из сервисов для проведения сплит-тестов, например, Content Experiments. Оценку результатов тестирования можно проводить как минимум через две недели после запуска эксперимента.

Как вы считаете, стоит ли проводить A/B-тесты? В каких случаях этот маркетинговый метод остается бесполезной тратой времени?

kak-provodit-a-b-testirovanie