Расчет размера выборки для A/B теста: простой гайд

Зачем считать выборку до запуска теста

Представьте, что магазин одежды в Ташкенте проверяет два баннера в Instagram. К вечеру первого дня у одного шесть сообщений в Direct, у другого девять. Хочется сразу выключить «проигравший» вариант. Но на таких числах завтра картина может развернуться на противоположную: разницу создал случай, а не креатив.

Выборка — это объём наблюдений в каждом варианте, при котором разница перестаёт быть игрой случая. Считать её нужно до старта: расчёт сразу покажет, хватит ли вам трафика и бюджета на честный тест, или стоит принять решение другим способом.

Четыре параметра, от которых зависит расчёт

Любой калькулятор просит одни и те же вводные. Формулу запоминать не нужно, но смысл каждого параметра понимать полезно.

• Базовая конверсия — доля людей, которые сейчас совершают целевое действие. Чем она ниже, тем больше людей нужно, чтобы набрать достаточно конверсий для сравнения.
• Минимальный заметный эффект — насколько вариант должен отличаться, чтобы разница имела для вас практический смысл. Поймать небольшое улучшение гораздо дороже, чем крупное.
• Уровень значимости — допустимый риск увидеть разницу там, где её нет. Его выбирают заранее.
• Мощность — вероятность заметить реальную разницу, если она существует. Чем выше мощность, тем больше выборка.

Как провести расчёт по шагам

Значимость и мощность в калькуляторах уже выставлены по общепринятым значениям, и для рекламных задач их обычно не трогают. Реальные рычаги — первые два параметра.

• Возьмите базовую конверсию из прошлых данных: например, долю кликов, дошедших до заявки.
• Решите, какое минимальное улучшение изменит ваше решение.
• Откройте любой бесплатный калькулятор размера выборки для A/B тестов.
• Введите конверсию и минимальный эффект, значимость и мощность оставьте по умолчанию.
• Запишите результат: это нужное число посетителей или кликов на каждый вариант.

Что считать конверсией, если вы продаёте в Узбекистане

Частая ошибка — сравнивать варианты по лайкам или дешёвым кликам, хотя деньги приносят другие события: оплата через Click или Payme, заказ в Telegram-боте, звонок, продажа, записанная в CRM. Чем ближе событие к деньгам, тем реже оно случается и тем больше выборка нужна.

Здесь и пригождается сквозная аналитика: когда события с сайта, из бота и из звонков связаны с рекламным кабинетом, вы видите, какой вариант привёл не просто заявки, а покупателей. Без неё выигрывает объявление, которое собирает больше пустых обращений. Настройкой такой отчётности для бизнеса в Узбекистане занимается markdev.

Если трафика мало

Для небольшого бизнеса из регионов или узкой ниши полноценный тест по продажам может длиться неприемлемо долго. Помогают компромиссы.

• Тестируйте крупные отличия: другое предложение или подход, а не оттенок кнопки.
• Сравнивайте по более частому событию, например по клику или началу заполнения формы, помня, что вывод получается слабее.
• Объединяйте похожие идеи в один период вместо множества мелких тестов.
• Удлиняйте тест, не меняя условий, вместо того чтобы подгонять критерий успеха после результата.

Ошибки, которые незаметно портят результат

Самая опасная — смотреть на цифры каждый день и останавливать тест, как только один вариант вырвался вперёд. Колебания в начале нормальны, а вероятность ложного вывода при таком подходе резко растёт. Определите размер выборки или срок заранее и не делайте выводов до их достижения.

Учитывайте и особенности рекламы. Алгоритм в первые дни обучается, поэтому результаты нестабильны. Тест должен включать полные недели, чтобы будни и выходные были представлены поровну. Не запускайте его накануне Навруза, Рамадана или крупной распродажи, когда спрос меняется скачком. И не меняйте в варианте сразу несколько элементов: потом непонятно, что сработало.

Для важных решений используйте встроенные эксперименты Meta Ads и Google Ads: они делят аудиторию без пересечений и показывают оценку достоверности. Ручное сравнение двух групп с пересекающейся аудиторией и неравномерным бюджетом такой точности не даёт.

Как зафиксировать тест

До старта запишите гипотезу, варианты, метрику, минимальный эффект, расчётный размер выборки, срок и бюджет. После — фактические данные, вывод и решение. Такой протокол превращает тесты в накопленное знание, а не в набор впечатлений.

Если хотите настроить измерение так, чтобы тесты опирались на реальные продажи, обсудите задачу с командой markdev: разберём ваши события, трафик и реалистичный план экспериментов.