11. Проект: отчёт по A/B-тесту

Интернет-магазин две недели тестировал новую страницу оформления заказа. Руководителю нужен отчёт не «p меньше 0,05», а понятный ответ: на сколько изменились метрики, насколько мы в этом уверены и что делать. Для этого вместо одного p-значения считают доверительные интервалы (ДИ) — диапазон, в котором с выбранной надёжностью (95% при α = 5%) лежит настоящий эффект.

• критическое z для двустороннего интервала — НОРМ.СТ.ОБР(1-α/2), при α = 5% это около 1,96;
• ДИ разницы конверсий: (pB − pA) ± z·SE, где SE = √(pA(1−pA)/nA + pB(1−pB)/nB). Здесь дисперсии считают по каждой группе отдельно — интервал описывает реальную разницу, а не гипотезу «разницы нет»;
• погрешность среднего чека: ДОВЕРИТ.НОРМ(α; стандартное_отклонение; n) = z·s/√n. Для маленьких выборок есть ДОВЕРИТ.СТЬЮДЕНТ — он чуть шире;
• ДИ разницы средних чеков: (чекB − чекA) ± z·√(sA²/nA + sB²/nB);
• выручка на посетителя = конверсия × средний чек — объединяет обе метрики. Новая страница может поднять конверсию, но уронить чек.

Как читать интервал: целиком выше нуля — B точно лучше; целиком ниже — хуже; содержит ноль — данных недостаточно для вывода. Ширина интервала показывает, насколько точна оценка.

Правило решения задано заранее: «внедряем B», если ДИ разницы конверсий выше нуля и выручка на посетителя у B больше; «оставляем A», если ДИ разницы конверсий целиком ниже нуля; иначе — «нужно больше данных».