Как измерить ошибки выбора размера после обновления размерной сетки

Содержание · 22 частей

01 Что считать ошибкой выбора размера02 Почему возвраты не равны ошибкам размера03 На каком уровне считать ошибку04 Основные метрики для оценки размерной сетки05 Bracketing: когда несколько размеров не являются ошибкой06 Матрица переходов размеров07 Какие данные нужны для анализа08 Почему нужна версия размерной сетки09 Как выбрать период до и после10 Как учитывать задержку возврата11 Сравнение до и после обновления12 Основные, диагностические и защитные метрики13 Как понять, проблема в сетке или в товаре14 Качество данных перед выводами15 Пошаговый алгоритм измерения16 Условный пример расчёта17 Как интерпретировать результат18 Как оценивать статистическую и практическую значимость19 Что делать при слабых данных о возвратах20 Что проверить перед сравнением старой и новой сетки21 FAQ22 Как превратить новую размерную сетку в измеримый эксперимент

Количество ошибок выбора размера нельзя измерить простым подсчётом всех возвратов после обновления размерной сетки. Сначала нужно определить, что именно считается подтверждённой размерной ошибкой, выбрать подходящий знаменатель, дождаться созревания данных по возвратам и только после этого сравнивать результаты до и после изменения.

Для большинства интернет-магазинов основной показатель строится вокруг доставленных товарных позиций или заказов, по которым уже известно, возникла ли проблема с размером. Поведенческие сигналы, обмены и заказы нескольких размеров помогают понять причины изменения результата, но сами по себе не всегда являются доказательством ошибки.

01Что считать ошибкой выбора размера

Перед расчётом метрик необходимо дать рабочее определение ошибки. Без этого разные команды могут считать одно и то же явление по-разному.

Подтверждённая ошибка выбора размера

Прямая ошибка выбора размера — это ситуация, когда покупатель получил товар и затем оформил возврат или обмен по причине, связанной с размером: товар оказался слишком маленьким, слишком большим или размер не подошёл.

Такую ошибку можно подтвердить только после появления фактического результата после покупки. Сам выбор размера на сайте ещё не является ошибкой.

Поведенческий сигнал неопределённости

До получения товара можно увидеть косвенные признаки затруднения выбора:

• покупатель несколько раз меняет размер в карточке товара;
• после открытия таблицы размеров выбирает другой вариант;
• заказывает один товар в нескольких размерах;
• использует инструмент подбора размера и затем корректирует выбор.

Такие события полезны для диагностики, но их нельзя автоматически записывать в ошибки. Покупатель может менять размер осознанно или использовать несколько размеров как способ снизить неопределённость.

Проблема размерной системы

Отдельно нужно анализировать системные перекосы. Например, если по конкретному товару большинство обменов происходит из M в L, причина может быть связана не только с ошибками покупателей, но и с особенностями посадки, описанием товара или самой размерной сеткой.

Ошибка выбора размера и плохая размерная сетка — разные понятия. Новая сетка может быть понятнее, но конкретная модель может маломерить. И наоборот, товар может хорошо соответствовать размерам, но покупателю не хватать информации для выбора.

02Почему возвраты не равны ошибкам размера

Общий показатель возвратов смешивает разные причины. Если после обновления сетки доля возвратов изменилась, это ещё не говорит о влиянии размерной информации.

Причинами возврата могут быть:

• другой цвет или внешний вид товара;
• качество или повреждение;
• несоответствие описанию;
• изменение решения покупателя;
• заказ нескольких вариантов для примерки;
• ошибка комплектации;
• неподходящий размер;
• особенности посадки.

Если все причины объединить в одну цифру, нельзя понять, стала ли новая размерная сетка помогать покупателям выбирать точнее.

03На каком уровне считать ошибку

Один и тот же показатель можно считать на разных уровнях. Каждый отвечает на свой вопрос.

• Товарная позиция. Показывает, какая доля конкретных единиц товара столкнулась с размерной проблемой.
• Заказ. Показывает, сколько покупок содержали хотя бы одну проблему с размером.
• SKU. Помогает находить проблемные товары.
• Размер. Позволяет увидеть перекосы между вариантами.
• Пользователь. Полезен для анализа повторных покупок и поведения.
• Сессия. Подходит для анализа действий до покупки.

Для возвратов чаще используют уровень товарной позиции или заказа. Для поведения в интерфейсе важнее пользователь и сессия.

04Основные метрики для оценки размерной сетки

Доля размерных ошибок среди доставленных позиций

Одна из базовых формул:

Доля размерных ошибок = число подтверждённых размерных ошибок / число доставленных товарных позиций, доступных для наблюдения результата × 100%.

В знаменатель нельзя включать вчерашние заказы, по которым покупатель ещё не успел получить товар и оформить возврат.

Доля заказов с размерной ошибкой

Формула:

Доля заказов с размерной ошибкой = число заказов хотя бы с одной размерной проблемой / число заказов с завершённым наблюдением результата × 100%.

Эта метрика отвечает на вопрос о покупательском опыте. Один заказ с тремя товарами и одной ошибкой не должен автоматически превращаться в три ошибочных заказа.

Размерные возвраты и обмены

Доля размерных возвратов рассчитывается так:

Доля размерных возвратов = число возвратов по размерной причине / общее число возвратов × 100%.

Эта метрика полезна для понимания структуры возвратов, но она не показывает вероятность ошибки среди всех покупателей.

Обмены дают дополнительную информацию. Переход M → L и переход L → M нельзя считать одинаковыми сигналами: они показывают разные направления ошибки.

05Bracketing: когда несколько размеров не являются ошибкой

Bracketing — это сценарий, когда покупатель заказывает один товар в нескольких размерах, чтобы примерить варианты и оставить подходящий.

Такое поведение нельзя автоматически считать ошибкой выбора. Покупатель может заранее снижать неопределённость, особенно если примерка дома является частью привычного процесса покупки.

При анализе нужно отдельно считать:

• сколько заказов содержали несколько размеров одного товара;
• сколько таких заказов завершились возвратом части вариантов;
• изменилось ли это поведение после обновления сетки.

06Матрица переходов размеров

Один из самых полезных инструментов — сравнение исходного выбранного размера и итогового размера после обмена.

Условный пример:

Такая матрица помогает увидеть направление ошибок. Общая доля возвратов может не измениться, но структура переходов покажет, что покупатели систематически выбирают размер меньше нужного.

07Какие данные нужны для анализа

Минимальный набор данных должен связывать показ размерной информации, выбор, покупку и последующий результат.

• идентификатор заказа;
• идентификатор товарной позиции;
• SKU или идентификатор товара;
• выбранный размер;
• версия размерной сетки;
• дата показа новой сетки;
• дата заказа и доставки;
• факт возврата;
• причина возврата;
• факт обмена;
• исходный и итоговый размер;
• категория товара;
• источник трафика и устройство, если они нужны для сегментации.

На сайте полезно отслеживать просмотр карточки, открытие таблицы размеров, выбор размера, смену размера, добавление в корзину, оформление заказа и события возврата.

08Почему нужна версия размерной сетки

Сравнение до и после невозможно корректно выполнить, если неизвестно, какую сетку видел покупатель.

Нужно хранить информацию:

• какая версия сетки была показана;
• когда произошёл переход;
• какие товары использовали новую логику;
• не смешались ли старая и новая система обозначений.

Если версия размерной сетки неизвестна, результат сравнения становится менее надёжным.

09Как выбрать период до и после

Сравнивать несколько случайных дней обычно недостаточно. На одежду и обувь влияют сезонность, новые коллекции, акции, ассортимент и состав покупателей.

Периоды должны быть сопоставимыми. При этом после обновления нужно дождаться, пока заказы пройдут полный цикл от доставки до возможного возврата.

Заказ без возврата через один день после покупки не является подтверждением правильного выбора. Результат просто ещё неизвестен.

10Как учитывать задержку возврата

При анализе важно различать дату заказа, доставки, возврата и обработки возврата.

Простое сравнение новых и старых заказов создаёт проблему: свежие заказы имеют меньше времени для появления возврата.

Практические варианты:

1. Использовать только зрелые когорты, где окно наблюдения завершено.
2. Задать одинаковое окно наблюдения для сравниваемых групп и исключить незавершённые случаи.

11Сравнение до и после обновления

Базовый подход — сравнить одинаковую метрику в сопоставимых когортах до и после изменения.

Но разница между периодами не доказывает причинность. На результат могли повлиять:

• сезонность;
• новый ассортимент;
• изменение трафика;
• цены;
• правила возврата;
• изменение состава клиентов.

Более сильный подход — контролируемый эксперимент. Например, часть пользователей получает новую сетку, а часть остаётся на старой. При этом заранее определяют основную метрику, дополнительные показатели и защитные показатели.

12Основные, диагностические и защитные метрики

Логично разделять показатели по роли.

Основная метрика: доля доставленных позиций с подтверждённой размерной проблемой.

Диагностические метрики:

• размерные обмены;
• направление переходов между размерами;
• заказы нескольких размеров;
• смена размера до покупки;
• использование таблицы размеров.

Защитные метрики:

• конверсия;
• добавление в корзину;
• выручка;
• количество товаров в заказе;
• стоимость возвратов.

13Как понять, проблема в сетке или в товаре

Нужно проверять несколько гипотез:

• покупателю сложно понять размер;
• фактическая посадка товара отличается от ожиданий;
• разные товары используют разные правила размеров;
• интерфейс мешает выбрать вариант;
• покупатель сознательно заказывает несколько размеров.

Для проверки помогают разрезы по SKU, категории, размеру, направлению обмена и причине возврата.

14Качество данных перед выводами

Иногда проблема находится не в размерной сетке, а в измерении.

Перед анализом нужно проверить:

• не изменились ли обозначения размеров;
• корректно ли передаются события;
• нет ли дублей;
• одинаково ли учитываются возвраты;
• не изменились ли правила обмена;
• не попали ли в выборку служебные заказы.

15Пошаговый алгоритм измерения

1. Зафиксировать версию сетки. Без этого нельзя понять, что видел покупатель.
2. Определить ошибку. Разделить подтверждённые проблемы и косвенные сигналы.
3. Выбрать уровень анализа. Определить, считаются заказы или товарные позиции.
4. Определить знаменатель. Выбрать только случаи с известным результатом.
5. Сформировать зрелую когорту до изменения. Учитывать завершённый цикл возврата.
6. Сформировать зрелую когорту после изменения. Использовать одинаковые правила.
7. Рассчитать основную метрику. Измерить подтверждённые ошибки.
8. Рассчитать диагностические показатели. Найти причины изменения.
9. Построить матрицу размеров. Проверить направление переходов.
10. Проверить bracketing. Отделить неопределённость от ошибок.
11. Проверить качество данных. Убедиться, что измерение корректно.
12. Сделать вывод с учётом неопределённости. Не приписывать изменение одной причине без доказательств.

16Условный пример расчёта

Условный пример: магазин сравнивает две зрелые когорты. До изменения было 10 000 доставленных товарных позиций, из них 800 имели подтверждённую размерную проблему. После изменения было 10 000 позиций, из них 650 имели такую проблему.

Расчёт до изменения: 800 / 10 000 × 100% = 8%.

Расчёт после изменения: 650 / 10 000 × 100% = 6,5%.

Числа в примере вымышленные и нужны только для демонстрации метода. Само изменение показателя ещё не доказывает, что причиной стала новая сетка.

17Как интерпретировать результат

Размерных ошибок стало меньше, а конверсия не изменилась

Нужно проверить устойчивость результата, сегменты и качество данных. Снижение ошибок может быть полезным сигналом, но важно убедиться, что оно не связано с изменением ассортимента.

Ошибок стало меньше, но снизилась покупаемость

Возможно, новая информация помогает избежать неподходящих покупок, но одновременно увеличивает сомнения до покупки. Нужно смотреть на поведение пользователей до оформления заказа.

Возвраты почти не изменились, но стало меньше заказов нескольких размеров

Это может означать снижение неопределённости до покупки. Такой результат нельзя оценивать только через возвраты.

Общий показатель улучшился, но отдельные SKU ухудшились

Среднее значение по магазину может скрывать проблемы конкретных товаров. Нужен анализ по категориям и размерам.

Изменение есть, но данных недостаточно

При небольшой выборке или незавершённых когортах вывод может быть преждевременным. Нужно накопить данные или усилить дизайн сравнения.

18Как оценивать статистическую и практическую значимость

Любое изменение метрики может быть связано со случайными колебаниями.

Статистическая неопределённость показывает, насколько уверенно можно отличить эффект от случайности. Но даже заметное с точки зрения статистики изменение не всегда имеет практическую ценность для бизнеса.

Перед экспериментом полезно определить, какой размер изменения действительно важен, а после анализа учитывать не только число, но и влияние на пользовательский опыт и бизнес-результат.

19Что делать при слабых данных о возвратах

Если магазин редко получает причины возврата, можно использовать несколько уровней анализа:

• Уровень 1: действия пользователя при выборе размера.
• Уровень 2: изменения структуры заказов и выбор нескольких размеров.
• Уровень 3: фактические возвраты и обмены.
• Уровень 4: контролируемое сравнение с экспериментальной группой.

Чем ниже уровень доказательности, тем осторожнее должны быть выводы.

20Что проверить перед сравнением старой и новой сетки

• Одинаково ли определена ошибка размера?
• Используется ли одинаковый знаменатель?
• Сформированы ли зрелые когорты?
• Одинаково ли окно наблюдения?
• Известна ли версия размерной сетки?
• Сопоставим ли ассортимент?
• Учтена ли сезонность?
• Проверены ли события аналитики?
• Отдельно ли обработаны заказы нескольких размеров?
• Проверены ли конкретные SKU и размеры?

21FAQ

Какую метрику использовать как основную для оценки новой размерной сетки?

Чаще всего основой становится доля подтверждённых размерных ошибок среди доставленных товарных позиций с завершённым периодом наблюдения. Но выбор зависит от задачи бизнеса.

Можно ли считать любой возврат по причине размера ошибкой?

Нет. Причина возврата показывает результат, но не всегда объясняет источник проблемы. Нужно учитывать посадку товара, качество описания и поведение покупателя.

Как учитывать заказы, где выбрано несколько размеров?

Их нужно выделять отдельно как bracketing. Такой заказ показывает неопределённость, но не обязательно ошибку.

Сколько ждать после покупки перед сравнением?

Нужно использовать окно, которое покрывает обычный цикл получения результата в конкретном магазине. Универсального срока для всех категорий нет.

Что делать, если выросла конверсия, но размерных возвратов меньше не стало?

Нужно изучить дополнительные сигналы: выбор размеров, обмены, причины возврата и структуру заказов. Одна метрика не описывает весь эффект изменения.

22Как превратить новую размерную сетку в измеримый эксперимент

Главный шаг — заранее определить, что именно считается ошибкой выбора размера. После этого можно собрать зрелую базовую когорту, настроить отслеживание версии сетки и сравнить её с сопоставимым периодом после изменения.

При анализе важно смотреть не только на общий процент ошибок, но и на направление переходов между размерами, заказы нескольких размеров, качество причин возврата и различия между товарами.

Размерная сетка становится управляемым инструментом не тогда, когда магазин просто меняет таблицу размеров, а когда может измерить, какое изменение произошло в выборе покупателей и почему.