После завершения A/Б-теста Sellium автоматически рассчитывает статистику и показывает результаты по каждому варианту изображения. Вам остаётся интерпретировать данные: сравнить метрики, оценить вероятность победы и принять решение - оставить лидера, отключить аутсайдеров или продолжить тест для набора большей выборки. В этой статье разберём, что система считает сама, а что вы делаете вручную.
Что система делает автоматически
Sellium берёт на себя всю статистическую обработку. Вам не нужно считать вручную - достаточно открыть завершённый тест. Автоматически рассчитывается:
- Три метрики для каждого варианта:
- CTR (показ → клик) - какое фото лучше кликают. Самый быстрый результат.
- CR корзины (клик → корзина) - какое фото приводит к добавлению в корзину.
- % из показа в корзину (показ → корзина) - итоговая бизнес-метрика. При конфликте CTR и CR - это арбитр.
- Светофоры - цветные индикаторы рядом с каждой метрикой. Показывают, насколько уверенно один вариант лучше другого.
- p-value и вероятность - на основе Z-теста определяется, реальная разница или случайное колебание.
- Коррекция Бонферрони - автоматически применяется, если вариантов больше двух. Порог вероятности растёт с количеством вариантов.
- Холм-Бонферрони (step-down) - для итоговой метрики (% из показа в корзину). Если вариант достоверно слабее лидера, он исключается, и порог для оставшихся смягчается.
- Рекомендации:
- «Завершить тест» (при 2 вариантах) - лидер определён, оба набрали достаточно данных.
- «Отключить вариант» (при 3+ вариантах) - вариант достоверно уступает лидеру.
- Минимальные пороги данных - метрики затемняются, пока не набрано достаточно показов/корзин.
- Порог «варианты одинаковые» - рассчитывается динамически для каждой метрики на основе реальной конверсии. MDE (минимальный детектируемый эффект) = 20% от средней конверсии между вариантами. Чем ниже конверсия, тем больше данных нужно, чтобы подтвердить отсутствие разницы.
Что вы делаете вручную
Ваша задача - интерпретировать результаты и принять решение. Система даёт цифры и рекомендации, но финальный выбор за вами. Вручную вы:
- Открываете завершённый тест и смотрите на три метрики со светофорами.
- Наводите курсор на светофор - появляется подсказка с точной вероятностью (например, «лидер по CTR с вероятностью 100%»).
- Сравниваете метрики между вариантами:
- если CTR и CR корзины указывают на разные варианты, ориентируетесь на % из показа в корзину - это итоговая метрика;
- если вероятность ниже порога (80% для 2 вариантов, выше для большего числа), результат считается недостаточно надёжным.
- Проверяете рекомендации системы - внизу отображается, какие варианты исключены из расчёта и почему.
- Смотрите прогресс - сколько показов уже набрано и сколько ещё нужно для уверенного результата. Оценка «осталось» - это прогноз при текущей разнице, а не фиксированное число: при увеличении разрыва между вариантами необходимый объём данных уменьшается.
- Принимаете решение:
- завершить тест и оставить лидера;
- отключить аутсайдеров и продолжить тест (кнопка «Продолжить»);
- перезапустить тест с новыми изображениями.
- При необходимости анализируете дополнительные отчёты:
- сравнение по компаниям - если в тесте было несколько рекламных кампаний;
- сравнение по типам кампаний - если были разные типы;
- отчёты по временным периодам - сколько показов и кликов получает карточка в разное время;
- графики по времени - как распределялись показы между вариантами.
Светофоры: как читать
Рядом с каждой метрикой отображается цветной кружок. Наведите на него - увидите точную вероятность.
| Цвет | Значение |
|---|---|
| 🟢 | Вероятно лучше - высокая уверенность |
| 🟡 | Почти вероятно - средняя уверенность |
| 🔴 | Слабый сигнал - низкая уверенность |
| ⚪ | Разницы нет - варианты одинаковые |
Важно: светофоры работают параллельно и независимо по каждой метрике. Но решения по завершению теста и отключению вариантов принимаются только по итоговой метрике (% из показа в корзину). Почему 80% вероятность сравнения и мощности достаточно:
- Вероятность 80% - стандарт для маркетинговых экспериментов. В 4 из 5 случаев результат будет верным, в 1 из 5 - «победитель» может оказаться ложным. Для обратимых решений (можно вернуть прежнее изображение в любой момент) это приемлемый риск. Яндекс рекомендует 80% для рекламных экспериментов, Booking.com использует >90%, Optimizely позволяет настраивать от 70% до 99%.
- Мощность 80% - вероятность обнаружить реальную разницу, если она существует. Индустриальный стандарт, зафиксированный Джеромом Коэном в 1988 году. Более высокая мощность требует значительно больше данных, что непрактично при ограниченном трафике маркетплейса.
В тултипах показывается, сколько ещё показов нужно набрать при текущей разнице.
Коррекция Бонферрони: чем больше вариантов, тем строже порог
При 2 вариантах - одно сравнение, порог вероятности 80%. При большем количестве - каждый вариант сравнивается с лидером (k−1 сравнений), и порог делится: α/(k−1).
| Вариантов | Сравнений | Порог p-value | Вероятность |
|---|---|---|---|
| 2 | 1 | 0.2000 | 80.0% |
| 3 | 2 | 0.1000 | 90.0% |
| 4 | 3 | 0.0667 | 93.3% |
| 5 | 4 | 0.0500 | 95.0% |
| 6 | 5 | 0.0400 | 96.0% |
| 7 | 6 | 0.0333 | 96.7% |
| 8 | 7 | 0.0286 | 97.1% |
| 9 | 8 | 0.0250 | 97.5% |
| 10 | 9 | 0.0222 | 97.8% |
Это защита от ложных победителей: чем больше вариантов, тем выше риск случайно выбрать неверный. Коррекция применяется ко всем трём метрикам. Для итоговой метрики дополнительно используется Холм-Бонферрони (step-down): если вариант достоверно слабее лидера при строгом пороге, он исключается, а для оставшихся порог смягчается. Это ускоряет получение результата без потери надёжности.
Минимальные пороги данных
Пока не набрано достаточно данных, метрики затемняются:
- CTR - ≥1000 показов.
- CR корзины - ≥50 корзин у лидера.
- % из показа в корзину - ≥1000 показов + ≥50 корзин у лидера.
Рекомендация «отключить»: ≥3000 показов на слабом варианте + ≥50 корзин у лидера. Условие ≥3000 показов защищает от ложных рекомендаций на ранних этапах теста.
Как это работает на практике Тестировались 4 изображения носок. По CTR лидер определился с вероятностью 100% - это изображение явно кликают лучше. По проценту корзин второе изображение оказалось лучше, но с вероятностью 91,3% - этого недостаточно для зелёной достоверности (при 4 вариантах нужно 93,3%). По итоговой метрике (% из показа в корзину) вероятность составила всего 52,71% - слабый сигнал. Система показала, что нужно набрать ещё 13 000 показов (прогресс 8000 из 21000).
Тест перезапустили. На этот раз лидер по CTR сохранился (99 и 94%), по проценту корзин победитель упрочился (99 и 95%), и по итоговой метрике победило другое изображение - с достаточной достоверностью для уверенных выводов.
Вывод: если вероятность ниже порога, тест стоит продолжить или перезапустить с большей выборкой. Не принимайте решения на основе слабых сигналов. Система специально создана для того, чтобы давать рекомендации - прислушивайтесь к ним.
Дополнительные отчёты
Если в тесте участвовало несколько кампаний или типов кампаний, доступны вкладки:
- Сравнение по компаниям - как разные кампании влияли на результат.
- Сравнение по типам кампаний - если были разные типы.
Рекомендуется добавлять в настройках проекта все активные рекламные кампании - это даёт более полную картину и позволяет анализировать результаты в разрезе.
Также доступны отчёты по временным периодам и графики по времени: видно, сколько показов и кликов получает карточка в разное время суток. Чем больше вариантов в тесте, тем более неровным будет график - это ещё одна причина, почему для многих вариантов нужно больше данных.
Условия и ограничения
- Для анализа требуются Performance API-ключ и Seller API-ключ.
- В Sellium необходимы роли Аналитик и Финансовый менеджер (либо Управляющий).
- Анализ доступен только после завершения теста или в процессе (с накоплением данных).
- Пороги вероятности и минимальные выборки - не настройки пользователя, а фиксированная методология.
Что делать при ошибках
Если проблема сохраняется, обратитесь в поддержку Sellium (@help_sellium) и приложите скриншот и укажите SKU, кампанию и настройки теста.