A/B-тесты и продуктовая аналитика: гайд к собесу

Как пользоваться гайдом

1. Выбор метода проверки гипотезы

Как выбрать способ валидации?

Метод зависит от цены ошибки и требуемой точности. Чем дороже ошибка и сложнее откатить решение, тем убедительнее должно быть доказательство.

Методы валидации гипотез: качественные и количественные

Качественные находят проблему и объясняют «почему» — на них рождаются гипотезы.

Количественные отвечают «сколько» и «насколько» — ими гипотезы проверяют. На собесе называй обе группы и то, как одна переходит в другую.

Качественные: мало людей, глубоко, без статистики

Метод	Что даёт	Пример
Глубинные интервью (кастдевы)	Мотивы, боли, контекст решения	Хотим понять почему не оформляют рассрочку на кассе: неловко перед очередью, непонятно, сколько и когда платить
Юзабилити-тестирование	Где человек спотыкается в интерфейсе и решении своей задачи	Даём задачу, например «оплати покупку частями», наблюдаем и просим думать вслух. 5–8 человек находят основные проблемы
Отзывы и обращения в поддержку	Частые жалобы и их формулировки	«Не прошла оплата частями, пришлось платить картой»

Количественные: много данных, цифры, можно обобщать

Метод	На какой вопрос отвечает	Пример
Анализ данных и воронок	Где и у кого теряем, сколько	На каком шаге и в каких сегментах отваливаются покупатели
Опрос	Насколько распространено знание или отношение	Знают ли покупатели о рассрочке
Fake door	Есть ли первичный спрос	Кнопка «Оплатить частями» в Доставке до интеграции, считаем клики
Пилот, MVP	Работает ли механика в реальной жизни, пока без строгой оценки эффекта	Рассрочка в нескольких магазинах
Квазиэксперимент	Каков эффект, если группы нельзя поделить случайно	Например, на кассе нельзя показать рассрочку одним покупателям и скрыть её от других, тестовые магазины против похожих контрольных, разница разниц
A/B-тест	Каков причинный эффект и его размер	Рассрочка в Доставке, когда аудиторию можно разделить

Что такое A/B-тест

A/B-тест — рандомизированный контролируемый эксперимент для оценки причинного эффекта изменения.

Пользователей (или другие единицы измерения) случайно и постоянно распределяют в контрольную и тестовую группы.

Группы живут в один и тот же период и в одинаковых условиях, и различаются только проверяемым изменением.

Благодаря случайному делению группы однородны, поэтому разницу в заранее выбранной метрике можно приписать изменению, а статистический тест показывает, не случайна ли эта разница.

Рандомизация в среднем балансирует известные и неизвестные факторы между группами. Поэтому при корректном дизайне разницу можно связать с изменением, а не просто с сезонностью, рекламой или составом трафика.

Когда A/B подходит

• Есть конкретная гипотеза и измеримая метрика.
• Трафика достаточно, чтобы обнаружить эффект, важный для бизнеса.
• Можно разделить аудиторию так, чтобы группы не влияли друг на друга.
• Изменение можно безопасно показать части аудитории и быстро отключить.
• Цена теста ниже ожидаемой цены ошибочного решения.

Когда лучше выбрать другой подход

• Мало трафика: тест способен обнаружить только слишком большой эффект.
• Изменение обязательно: например, критический баг или требование регулятора.
• Нельзя разделить пользователей из-за сетевых эффектов или общей кассы.
• Итоговая метрика созревает месяцами, как просрочка по кредиту.
• Цена теста выше потенциальной выгоды или нет процесса контроля и отката.

Альтернативы: качественное исследование, квазиэксперимент, тест по магазинам или поэтапная раскатка с мониторингом.

Когда A/B-тест подходит

1. Есть конкретная гипотеза и метрика, которая меряется в допустимые для нас сроки. Главная метрика теста должна быть заранее согласована и измерима за короткий срок, например за 2 недели.

2. Трафика хватает, чтобы поймать эффект, важный для бизнеса. Ожидаемый эффект должен быть не меньше MDE — минимального эффекта, который тест способен обнаружить. Если ждём +0,5%, а MDE — 5%, тест не имеет смысла .

3. Группы не влияют друг на друга. A/B опирается на допущение, что поведение одного участника не меняет результат другого.

4. Изменение можно безопасно показать части аудитории и откатить. Тест сначала запускают на небольшой доле трафика, «чтобы поймать грубые ошибки». При минусе в ключевых метриках фичу откатывают.

5. Цена ошибочного решения выше цены теста. Интуиция ошибается чаще, чем кажется: в Microsoft метрики улучшила только треть протестированных идей. Тест окупается, когда ошибка дорогая.

Когда лучше выбрать другой подход

1. Мало трафика. Тест сможет заметить только крупный эффект, а реальный, скорее всего, меньше — результат будет «серым» при любом исходе. Аналитики Авито отмечают: если тесты «очень часто» дают незначимый результат, проблема в чувствительности.

2. Изменение обязательно или решение нельзя протестировать. Критический баг или требование закона внедряют в любом случае: от результата теста решение не зависит.

3. Группы нельзя разделить: сетевые эффекты или общий ресурс. В Ситимобиле пассажир из одной группы может «забрать» машину у пассажира из другой. Поэтому вместо деления пользователей там используют switchback: районы города случайно переключаются между тестом и контролем каждые несколько минут. В рознице аналог — общая касса: делим не покупателей, а магазины.

4. Итоговая метрика созревает месяцами. В Т-Банке пишут, что ускоренные методы тестирования «не подходят для метрик с долгим периодом созревания», например возврата клиентов через полгода. Решение — краткосрочные прокси, которые предсказывают долгосрочный результат, и долгий контроль. В кредитах так работают с просрочкой.

5. Тест дороже выгоды или нет процесса контроля и отката. Высокие затраты на разработку и внедрение, отсутствие централизованного процесса A/B-тестирования и баги платформ.

2. Дизайн эксперимента

Десять шагов

1. Цель и гипотеза. «Если сделать X для сегмента Y, метрика Z вырастет не менее чем на N%, потому что…». H₀ (нулевая гипотеза) — эффекта нет; H₁ (альтернативная гипотеза) — эффект есть.
2. Метрики. Заранее зафиксируй целевую метрику, прокси, контр-метрики и разрезы.
3. Единица рандомизации. Пользователь, магазин или комбинация времени и географии — выбирай единицу, на которой действует изменение.
4. Exposure. Определи событие, после которого пользователь действительно попадает в сценарий изменения. Оно должно быть определено одинаково для контроля и теста.
5. Конфликты с другими экспериментами. Проверь параллельные тесты: независимые можно запускать одновременно, конфликтующие — развести.
6. Статистические параметры. Задай α, мощность и MDE, затем рассчитай выборку. MDE должен быть не больше эффекта, важного для бизнеса.
7. Длительность. Рассчитай по выборке и дневному потоку, округли до полных недель при недельной сезонности. Учти созревание метрики и эффект новизны.
8. Правила остановки и решения. До старта опиши, что делать при положительном, неопределённом и отрицательном результате.
9. Проверки перед запуском. Убедись, что логирование и сплит работают корректно; при необходимости проведи A/A-тест.
10. Анализ и решение. Проверь валидность, оцени эффект и доверительный интервал, переведи результат в экономику и риски.

Как сплитовать аудиторию

Онлайн. Используй стабильное случайное распределение по ID пользователя: например, хеш user_id с солью эксперимента определяет группу, поэтому пользователь не прыгает между контролем и тестом. Репрезентативность обеспечивает рандомизация — вручную задавать квоты обычно не нужно. Для точности группы можно заранее стратифицировать.

Офлайн. Единицей может быть магазин. Подбери пары похожих точек по истории выручки, числу чеков, формату, региону и доле касс самообслуживания, а затем случайно назначь тестовую точку внутри каждой пары.

Exposure: где начинается анализ

Exposure — событие, по которому в обеих группах определяют пользователей, дошедших до сценария изменения. Если эффект считать по всей аудитории, хотя изменение затрагивает только часть пользователей, результат может «размыться».

Пример. Рассрочку показывают в корзине Доставки при чеке от 3 000 ₽. Exposure — открытие корзины с чеком от 3 000 ₽ в обеих группах, а не клик по кнопке: в контроле этой кнопки нет. Вывод относится к пользователям, дошедшим до этого сценария.

MDE, выборка и мощность

MDE (minimum detectable effect) — минимальный эффект, который эксперимент с заданными параметрами способен обнаружить. Чем выше шум метрики, тем больше нужна выборка. Чтобы уменьшить MDE вдвое, при прочих равных потребуется примерно в четыре раза больше наблюдений.

Как уменьшить MDE:

• Увеличить выборку или длительность.
• Выбрать более чувствительную прокси, связанную с бизнес-целью.
• Снизить дисперсию с помощью CUPED или стратификации, если доступны подходящие данные.
• Точнее определить exposure и анализировать релевантную аудиторию.

α — вероятность ложноположительного результата при условии, что эффекта нет; часто используют 5%. β — вероятность не обнаружить эффект заданного размера; часто используют 20%. Мощность = 1 − β = 80%. При прочих равных снижение α или повышение мощности требует большей выборки.

3. Чтение результатов и решение

Положительный результат

Сначала проверь валидность: корректен ли сплит, не было ли сбоев, набрана ли выборка, не изменились ли условия. Затем оцени размер эффекта, доверительный интервал, экономику и контр-метрики. Если результат убедительный и экономика сходится, выбери способ раскатки.

Серый результат: эффект не доказан

Серый результат означает, что тест не позволил надёжно отличить эффект от нуля. Это не доказывает отсутствие эффекта.

1. Проверь выборку, сплит, логирование и корректность запуска.
2. Посмотри на MDE и доверительный интервал: узкий интервал вокруг нуля говорит, что крупного эффекта, вероятно, нет; широкий означает недостаточную точность.
3. Решай с учётом цены и риска. Дешёвое и обратимое изменение иногда можно раскатить как ставку, честно указав, что эффект не доказан. Дорогую фичу с комиссией партнёру без доказанного эффекта лучше не раскатывать.
4. Если вопрос важен, спроектируй следующий тест: увеличь выборку, используй CUPED или уточни exposure.
5. Сегменты используй для новых гипотез, а не для поиска случайного «зелёного» результата.

Отрицательный результат

1. Проверь баги, логи, равенство групп, скорость интерфейса и кассы.
2. Если ухудшение подтвердилось, не раскатывай изменение или откати его; разбери воронку.
3. Зафиксируй вывод: тест помог не масштабировать вредную механику.
4. Если целевая метрика выросла, а контр-метрика ухудшилась, оцени компромисс в деньгах.

Варианты раскатки

Подход	Когда подходит	Что контролировать
Сразу на 100%	Дешёвое и обратимое изменение с убедительным результатом	Ключевые метрики после релиза
Постепенно: 1 → 5 → 20 → 50 → 100%	Рискованное изменение	Контр-метрики и возможность быстрого отката
По сегментам или регионам	Эффект подтверждён на конкретной аудитории	Не переносить эффект автоматически на другие сегменты
Долгий контроль 5–10%	Нужен долгосрочный эффект	Отложенные метрики, включая просрочки
Feature flag и откат	Почти любой экспериментальный релиз	Возможность выключить изменение без нового релиза

4. Статистика без магии

p-value

p-value — вероятность получить такую же или ещё более выраженную разницу, если нулевая гипотеза верна и эффекта нет. Если p-value ≤ α, отвергаем H₀. Если p-value > α, оснований отвергнуть H₀ недостаточно.

p-value не показывает вероятность того, что эффекта нет, и не говорит, насколько велик эффект. Маленькое p-value не обязательно означает большую бизнес-пользу.

Доверительный интервал

Доверительный интервал показывает диапазон значений эффекта, согласующихся с данными при выбранном методе. В частотной интерпретации 95%-й интервал при многократном повторении эксперимента накрывает истинное значение примерно в 95% повторений.

Интервал показывает масштаб и неопределённость: оценка среднего чека +200 ₽ с интервалом от +50 до +350 ₽ информативнее одной точечной оценки. Если интервал разницы включает ноль, результат обычно незначим на соответствующем двустороннем уровне.

Типы метрик и статистические критерии

Тип	Примеры	Типичный подход
Доли	Конверсия, retention	Z-тест для долей или подходящий эквивалент
Среднее на пользователя	GMV на клиента, ARPU	t-тест Уэлча для разницы средних
Ratio-метрики	Средний чек, CTR, доля чеков в рассрочку	Дельта-метод, линеаризация или бутстреп с корректной единицей анализа

t-тест Уэлча сравнивает средние и допускает разные дисперсии в группах. Манна—Уитни не является универсальной заменой t-тесту при ненормальности: он проверяет другой аспект различий распределений. Бутстреп помогает оценивать неопределённость сложных статистик, если процедура ресэмплинга соответствует структуре эксперимента.

Почему средний чек особенный

Пользователей рандомизируют, но средний чек считают по чекам. У одного пользователя может быть несколько чеков, поэтому наблюдения зависимы. Если считать каждый чек независимым, стандартная ошибка может быть заниженной. Нужен метод, учитывающий структуру данных: например, дельта-метод, линеаризация или бутстреп на уровне рандомизации.

CUPED и множественные сравнения

CUPED использует данные о поведении до эксперимента, чтобы объяснить часть вариации метрики во время теста:

Y_cuped = Y − θ · (X − mean(X)),   θ = cov(Y, X) / var(X)

X — предэкспериментальная метрика, например история покупок по карте лояльности.

Множественные сравнения. Чем больше метрик и сегментов проверяем, тем выше вероятность случайно найти значимый результат. При 10 независимых проверках с α = 5% вероятность хотя бы одного ложноположительного результата — примерно 40%. Защита: заранее выбрать основную метрику и использовать подходящие поправки, например Бонферрони или Холма. Сегментные находки трактовать как гипотезы для следующей проверки.

5. Диагностика и сложные случаи

A/A-тест и SRM

A/A-тест — обе группы получают одинаковую версию. Он помогает проверить сплитование, логирование и аналитический пайплайн.

SRM (sample ratio mismatch) — расхождение фактического соотношения групп с ожидаемым, например 55/45 вместо 50/50. При необъяснённом SRM результатам нельзя доверять, пока не найдена причина.

Пример риска. Если для оформления рассрочки нужна карта лояльности, в тестовой группе может измениться доля идентифицированных покупателей. Это перекос в составе аудитории, а не обязательно эффект продукта.

Ранняя остановка и подглядывание

Нельзя завершать обычный тест только потому, что p-value стал меньше 0,05: многократные проверки увеличивают вероятность ложной победы. Смотреть на техническое здоровье теста, сплит, логи и защитные метрики можно регулярно.

Остановить тест по вреду можно при заранее заданных порогах критического падения или сбоев. Если нужны промежуточные проверки эффективности, используй последовательный дизайн, где правила остановки и распределение α определены до старта.

Эффект новизны и долгий горизонт

Новая функция может временно привлекать внимание просто потому, что она новая. В зависимости от сценария первые 1–2 недели могут не отражать устойчивое поведение; решение об исключении периода адаптации принимают до анализа. В кредитах просрочки и исполнение графика могут проявиться через несколько платёжных циклов.

Офлайн-эксперименты

Если нельзя скрыть предложение от отдельных покупателей на кассе, единицей эксперимента становится магазин или магазин-период. Число чеков не заменяет число независимых магазинов: чеки внутри одной точки похожи друг на друга.

• Пары магазинов: подобрать похожие точки, случайно назначить тест внутри пары.
• Difference-in-differences: сравнить изменение в тесте с изменением в контроле; проверить правдоподобие параллельных трендов до запуска.
• Синтетический контроль: построить взвешенный контроль из нескольких магазинов, если пилотных точек мало.
• Switchback: чередовать условия по дням или периодам; учитывать перенос эффекта между периодами.
• Разрыв у порога: сравнить наблюдения чуть выше и ниже заданного порога, если предпосылки дизайна обоснованы.

DiD = (тест после − тест до) − (контроль после − контроль до)

Мощность офлайн-теста зависит прежде всего от числа независимых единиц, вариативности между ними и длительности. Анализ должен учитывать кластеризацию — например, на уровне магазин-день.

6. Экономика и кредитная специфика

Считать нужно дополнительную прибыль, а не только GMV

Оборот в рассрочку не равен дополнительному обороту: часть покупателей могла бы купить и без неё. При этом комиссия партнёру может начисляться на весь оборот в рассрочку, а маржа появляется только с дополнительной части.

ΔProfit = ΔGMV_incremental × margin − fee × GMV_BNPL

В упрощённом примере при комиссии 6% и марже 23% доля действительно нового оборота должна быть не ниже 6% / 23% ≈ 26%, чтобы покрыть комиссию. В реальном решении учитывай и другие расходы.

Если метрики противоречат друг другу

Например, конверсия выросла, а выручка упала. Разложи результат на число покупателей, конверсию, частоту и средний чек. Возможно, механика привела новых покупателей, но с меньшими чеками. Решение принимай по заранее выбранной целевой метрике с учётом контр-метрик и экономики.

Что учитывать в кредитном продукте

Воронка: показ → клик → заявка → одобрение → оформление → первый платёж → исполнение графика.

• Краткосрочные продуктовые метрики можно оценивать раньше, но риск-метрики созревают позже.
• Отслеживай невыплату первого платежа, просрочку 30+ и 90+, сбои оплаты, время на кассе, жалобы и долю рассрочек на небольшие чеки.
• При тестировании скоринга запускай новую модель на ограниченной части потока и заранее задай ограничения риска.
• Рандомизируй клиентов, а не заявки, если у клиента возможны повторные заявки.

Базовые метрики и мини-кейс

Что такое медиана и как она считается?

Медиана — значение посередине упорядоченного ряда: половина наблюдений меньше неё, половина больше. Сортируем значения и берём то, что стоит посередине. При чётном числе наблюдений — полусумма двух центральных.

Пример: чеки 500, 700, 900, 1 200 и 30 000 ₽. Медиана — 900 ₽. Для ряда 500, 700, 900, 1 200 — (700 + 900) / 2 = 800 ₽.

Чем медиана отличается от среднего?

Среднее = сумма всех значений / их число. Оно чувствительно к выбросам, медиана — нет.

В примере выше средний чек — 6 660 ₽ из-за одного чека на 30 000 ₽, а медиана остаётся 900 ₽. Денежные метрики — чек, сумма рассрочки — почти всегда скошены вправо, поэтому среднее у них выше медианы.

Когда брать медиану, а когда среднее?

• Медиана — чтобы описать типичного клиента: какой чек «обычный», сколько минут занимает оформление, какая зарплата.
• Среднее — чтобы считать деньги. GMV = средний чек × число чеков, через медиану выручку не посчитать.
• В A/B-тестах денежные метрики сравнивают по среднему, а выбросы убирают обрезкой или CUPED. Рост медианы не гарантирует роста выручки.

Что такое retention и как он считается?

Retention дня N — доля пользователей когорты, которые вернулись и совершили целевое действие в день N после первого. Когорта — люди, пришедшие в один день или месяц.

Retention дня N = активные в день N из когорты / размер когорты

• Классический — пользователь активен ровно в день N.
• Rolling — активен в день N или позже. Он всегда выше классического.
• Для рассрочки дневной retention бессмыслен: крупные покупки делают редко. Смотрят месячный — долю клиентов, которые снова оплатили частями в следующие месяцы.

Как посчитать retention второго дня на примере?

1 октября приложение установили 1 000 человек — это день 0. 2 октября, в день 1, вернулись 350. 3 октября, в день 2, — 250.

Retention второго дня = 250 / 1 000 = 25%.

На собесе уточни две вещи: с какого дня идёт отсчёт (в одних компаниях день установки — день 0, в других — день 1) и что считается активностью — заход или целевое действие.

Мини-кейс: брошенная заявка на рассрочку

Покупатели часто бросают анкету рассрочки в Доставке. Разработка предлагает сохранять введённые данные и при повторном заходе показывать баннер «Заполнить сохранённые данные?».

Какие метрики отслеживать для формы?

• Конверсия из начала заполнения в отправку заявки — в целом и по каждому полю или шагу.
• Доля брошенных заявок и поле, на котором их бросают.
• Время заполнения и доля ошибок валидации.
• Дальше по воронке: одобрение, оформление, GMV в рассрочку.

На какую метрику влияет баннер?

Напрямую — на конверсию повторного захода в отправку заявки и на время заполнения. Через них — на общую конверсию в заявку и на GMV.

На первое заполнение баннер не влияет: его видят только те, кто вернулся.

Как проверить гипотезу?

• A/B по пользователям. Делим в момент первого входа в форму. Exposure — «вернулся к незаконченной заявке» в обеих группах, а не «увидел баннер»: баннера в контроле нет, и сплит разъедется.
• Без полноценного A/B. Сначала оценить потолок эффекта: какая доля бросивших вообще возвращается. Если возвращаются 3%, даже идеальный баннер даст мало. Плюс юзабилити-тест на 5–8 людях: пользуются ли предзаполнением.
• Риски. Хранение паспортных данных нужно согласовать с юристами и службой безопасности. Контр-метрика — ошибки в предзаполненных данных и отказы из-за них.

7. Кейсы и шпаргалка

Кейс 1. Рассрочку на кассе нельзя показывать только части покупателей

Единица — магазин. Подбери пары по 8–12 неделям истории (выручка, чеки, формат, регион, доля КСО), внутри пары случайно назначь тест.

• Целевая метрика: дополнительный GMV на магазин-день для чеков от заданного порога.
• Контр-метрики: время оплаты, прерванные оплаты, сбои и жалобы.
• Перед стартом: проверь, что механика работает на всех кассах, оцени число пар и длительность.
• Анализ: с учётом парности и кластеризации.

Кейс 2. Конверсия из одобрения в оформление упала за неделю

1. Проверь разметку, события, релизы приложения и кассового ПО.
2. Разложи по каналу, партнёру, сумме, региону, новым и повторным клиентам.
3. Проверь изменение состава аудитории: партнёр мог расширить одобрение на клиентов, которые реже оформляют.
4. Проверь внешние причины: условия после одобрения, сбои SMS, таймауты.

Кейс 3. GMV +3% значимо, маржа −1% незначимо

Посчитай эффект на прибыль в рублях, проверь комиссию, сдвиг в низкомаржинальные категории и каннибализацию. При отрицательном вкладе в прибыль не раскатывай механику в текущем виде. Возможны ограничения по сумме или категории, если экономика подтверждается отдельно.

Кейс 4. Размер выборки для рассрочки в Доставке

Рассрочкой пользуются 3% заказов; ожидаемый относительный рост — 15%. Абсолютный эффект: 3% × 15% = 0,45 п.п. При α = 5% и мощности 80% используем приближение n ≈ 16 × p(1 − p) / δ².

n ≈ 16 × 0,03 × 0,97 / 0,0045² ≈ 23 000 пользователей на группу

При потоке 5 000 пользователей в день и сплите 50/50 каждая группа получает около 2 500 в день: выборка набирается примерно за 9–10 дней. С учётом недельной сезонности срок округляем минимум до двух недель.

Кейс 5. Расчёт показал девять дней — сколько держать?

Покрой полные недели, чтобы учесть сезонность. Для рассрочки спрос может зависеть от аванса и дня зарплаты, поэтому иногда разумно наблюдать полный месяц. Для невыплат и просрочек добавь окно созревания.

Как поставить задачу аналитику

1. Контекст и решение: зачем нужен анализ и что команда сделает при разных результатах.
2. Вопрос и гипотеза.
3. Метрики и определения: формулы, события и окно измерения.
4. Сегменты и период анализа.
5. Нужная точность и срок — с объяснением.
6. Формат результата: оценка, дашборд или документ с выводом и рекомендацией.

Вопросы руководителю аналитики

1. Какая главная метрика направления и как решается конфликт GMV и маржи?
2. Как тестируют на кассах и КСО: по магазинам, парам или временным периодам?
3. Какие риск-метрики партнёра доступны команде?
4. Какая доля тестов даёт неопределённый результат и как принимают решения?
5. Аналитик закреплён за продуктом или работает из общего пула? Кто отвечает за дизайн теста?
6. Что будет признаком сильного продакта через три месяца?

Формулы и ориентиры

Что	Формула / ориентир
Уровень значимости	α = 0,05; z ≈ 1,96 для двустороннего теста
Мощность	80%; z ≈ 0,84
Приближение для MDE	1,96 + 0,84 ≈ 2,8
Выборка на группу для доли	n ≈ 16 × p(1 − p) / δ²
Выборка на группу для среднего	n ≈ 16 × σ² / δ²
95%-й доверительный интервал	Оценка эффекта ± 1,96 × стандартная ошибка
Множественные сравнения	FWER = 1 − (1 − α)^m
Разница разниц	(тест после − тест до) − (контроль после − контроль до)
Окупаемость в упрощённом примере	Доля дополнительного оборота ≥ комиссия / маржа

Короткий ответ на интервью

«Сначала формулирую гипотезу и бизнес-решение, которое должен поддержать тест. Выбираю целевую и контр-метрики, единицу рандомизации и корректное exposure. Затем задаю MDE от экономики, рассчитываю выборку и длительность с учётом сезонности и созревания метрик. До старта фиксирую правила остановки и решения для положительного, неопределённого и отрицательного результата. После теста проверяю валидность, оцениваю эффект с доверительным интервалом и перевожу его в деньги и риски. Если индивидуальный A/B невозможен, выбираю дизайн на уровне магазинов или квазиэксперимент».

Ошибки, которых стоит избегать

• «p-value — вероятность, что эффекта нет». Нет: это вероятность данных не менее экстремальных при условии H₀.
• «p-value больше 0,05 доказывает отсутствие эффекта». Нет: тест мог быть недостаточно точным.
• «Две недели всегда достаточно». Нет: длительность зависит от выборки, потока, сезонности и созревания метрики.
• «Манна—Уитни нужен всегда при ненормальных данных». Нет: он проверяет не то же самое, что сравнение средних.
• «Можно остановить тест, когда p-value стал меньше 0,05». Только при заранее заданном корректном последовательном дизайне.
• «GMV вырос — значит, фича успешна». Нужно учитывать дополнительный оборот, маржу, комиссию, каннибализацию и риск.
• «Достаточно сравнить до и после». Без контроля нельзя надёжно отделить эффект от внешних факторов.

---

Материал основан на личном опыте, курсах Авито и Т-Банка, лекциях летних школ Яндекса.