A/B-тесты при малом трафике: что всё равно работает
A/B-тесту нужно достаточно случаев, чтобы отделить случайность от эффекта. При 300 посетителях в месяц этот порог недостижим — тогда любой результат это подброшенная монета. Пять других подходов всё равно дают полезные указания.
Самое важное вкратце
- При менее чем примерно 1000 целевых действий на вариант результаты A/B нельзя отделить от случайности — то есть на небольших сайтах практически никогда.
- Пять подходов работают всё равно: наблюдение за пользователями, четырёхсекундный тест, сравнение «до и после» по кварталам, точки отказа и вопрос в первом разговоре.
- При малом трафике окупаются крупные изменения, а не мелкие — новая структура, а не другой цвет кнопки.
- Если ты всё же хочешь провести A/B-тест, тестируй на списках рассылки, а не на сайте: там цифр часто достаточно.
Почему это не проходит по расчётам
Тест должен показать, работает ли изменение или же разница — это случайность. Сколько для этого нужно случаев, зависит от двух вещей: исходного показателя и размера ожидаемой разницы.
Пример делает порядок величины наглядным: при исходном показателе 3 процента и надежде на рост до 3,6 процента — то есть относительном улучшении на 20 процентов — на каждый вариант нужно несколько тысяч посетителей, чтобы надёжно отделить разницу от случайности. При 300 посетителях в месяц тест стал бы показательным через годы, а к тому времени предложение уже изменится.
Пять подходов, которые работают
1. Понаблюдать за пятью людьми
Из целевой аудитории, с задачей, без объяснений. Там, где они медлят, и кроется ошибка. Пять человек вскрывают бо́льшую часть грубых проблем.
Затраты: 2 часа · Показательность: высокая для удобства использования
2. Четырёхсекундный тест
Показать страницу, через четыре секунды закрыть, спросить: о чём это было, для кого это, что нужно сделать? Кто не может ответить, тот не понял верхнюю часть страницы.
Затраты: 30 минут · Показательность: высокая для входа
3. «До и после» по кварталам
Одно крупное изменение, затем измерять три месяца и сравнить с тремя месяцами до него. Неточно, потому что действуют и другие влияния, — но для крупных изменений годится.
Затраты: низкие · Показательность: средняя
4. Измерять точки отказа
Где заканчивается прокрутка, где обрывается заполнение формы? Не показывает, что было бы лучше, — но очень точно, где сидит проблема.
Затраты: разовая настройка · Показательность: высокая для локализации проблемы
5. Вопрос в первом разговоре
«Что побудило тебя написать нам — и что чуть было тебя не остановило?» Вторая часть — самая ценная.
Затраты: никаких · Показательность: высокая, если спрашивать регулярно
Знаешь ли ты?
При малом трафике окупаются крупные изменения, а не мелкие — и по чисто расчётным причинам: чем больше фактическая разница, тем меньше случаев нужно, чтобы её распознать.
Другой цвет кнопки меняет показатель на несколько процентов и при малых числах в принципе недоказуем. Совершенно иная структура страницы может удвоить показатель — и это видно даже при 300 посетителях. Кто имеет мало трафика, должен менять смелее, а не осторожнее.
Где A/B-тесты работают и у небольших компаний
| Место | Осуществимо? | Примечание |
|---|---|---|
| Темы писем в рассылке | да | грубо пригодно уже от нескольких сотен получателей |
| Тексты объявлений | да | много показов, быстрая обратная связь |
| Главная страница | редко | слишком мало целевых действий |
| Контактная форма | нет | слишком мало отправок |
| Страница с ценами | нет | слишком мало случаев, слишком большой разброс |
Самый честный способ обращаться с малыми числами — не выдавать решение за результат теста. Если изменение по веским причинам кажется разумным — более короткая форма, более ясная верхняя часть страницы, цена вместо её отсутствия, — внедряй его и запиши, на чём основано твоё ожидание.
Через три месяца ты смотришь, сдвинулся ли показатель притока, и знаешь: это указание, а не доказательство. Эта честность стоит больше, чем тест, результат которого — подброшенная монета, потому что она не даёт случайному числу стать основой следующего решения.
Помоги мне решить, как оценить изменение на нашем сайте. Наши цифры: - Посетителей в месяц на затронутой странице: [Anzahl] - Целевых действий в месяц на этой странице: [Anzahl] - Что я хочу изменить: [Beschreibung] - Насколько большой я ожидаю эффект: [Schätzung] Задачи: 1. Скажи мне, был бы A/B-тест показательным при наших цифрах. Посчитай по прикидочному правилу и покажи ход рассуждения. Если нет, скажи это чётко. 2. Порекомендуй из пяти альтернатив — наблюдение за пользователями, четырёхсекундный тест, «до и после» по кварталам, точки отказа, вопрос в первом разговоре — те две, что подходят к моему изменению. Обоснуй. 3. Оцени, достаточно ли велико моё запланированное изменение, чтобы вообще стать заметным при наших цифрах. Если нет, предложи более смелый вариант. 4. Сформулируй для четырёхсекундного теста три вопроса, которые мне следует задать. 5. Сформулируй для нашего отчёта одно предложение, которое честно говорит, что покажет результат, а что нет. Не выдумывай отраслевые ориентиры.
Вывод
При малых числах классический A/B-тест — не инструмент, а машина случайностей с научным налётом. Кто его всё же применяет, принимает решения на основе шума.
Что работает: понаблюдать за пятью людьми, четырёхсекундный тест, точки отказа, вопрос в первом разговоре — и смелые, а не осторожные изменения, потому что крупные различия видны даже при немногих случаях.
Частые вопросы
С какого момента A/B-тесты показательны?
Как порядок величины: нужно несколько тысяч посетителей на вариант, если типичный исходный показатель в несколько процентов надо улучшить примерно на пятую часть. При 300 посетителях в месяц такой тест стал бы показательным лишь через годы — а к тому времени предложение уже изменится.
Что делать вместо этого?
Пять подходов: понаблюдать за пятью людьми из целевой аудитории во время использования, четырёхсекундный тест верхней части страницы, «до и после» по кварталам при крупных изменениях, измерение точек отказа и вопрос в первом разговоре — что чуть было не удержало от обращения.
Почему при малом трафике стоит менять смелее?
Потому что более крупные фактические различия требуют меньше случаев, чтобы их распознать. Другой цвет кнопки при малых числах в принципе недоказуем; совершенно иная структура страницы может удвоить показатель — и это видно даже при нескольких сотнях посетителей.
Где A/B-тесты работают и у небольших компаний?
В темах писем в рассылке, где уже несколько сотен получателей дают грубые указания, и в текстах объявлений с множеством показов. На сайте — главная страница, контактная форма, страница с ценами — целевых действий, как правило, недостаточно.
Можно ли прекратить тест, если один вариант лидирует?
Нет. При малых числах лидерство регулярно меняется; кто прекращает на желаемом результате, всегда его найдёт. Тогда это не тест, а подтверждение собственного предположения — и случайное число становится основой следующего решения.
Маркетинг, который настраивается сам
Бета Studio Engine уже открыта. Забронируй место и участвуй в развитии с самого начала.
Присоединиться к бете →