Прогнозирование в производстве: какие метрики стоит использовать?

Представьте, что у вас на производстве есть тщательно рассчитанные прогнозы, которые определяют дальнейшие шаги вашего бизнеса. Однако остается важный вопрос: как оценить их правильность и на что обращать внимание при анализе результатов? В этой статье мы подробно рассмотрим различные концепции прогнозирования и их влияние на оценку точности прогнозов. Исследуем, как эти концепции могут улучшить эффективность вашего бизнеса и обеспечить более точное управление цепочкой поставок.

Типы прогнозирования и их особенности

На рисунке представлены различные типы прогнозирования. Первым рассмотрим точный и несмещенный прогноз. Это классическое отображение точности (метрик прогноза), когда мы имеем цель, а вокруг нее расположены точки, напоминающие попадание в цель. Такой прогноз является точным и несмещенным, а его точки очень близко расположены к цели, похожи на попадание в яблочко. Другими словами, прогноз является точным и хорошо адаптированным. Это идеальный вариант, поскольку позволяет максимально точно планировать ресурсы и принимать управленческие решения.

Когда прогноз является точным, но смещенным, важно обратить внимание на группу попаданий, которая, хоть и достаточно плотная, но смещена относительно цели. Для чего следует учитывать информацию о смещении? Это дает понимание того, что в целом прогноз является точным, но требует коррекции. Такая ситуация может возникать из-за систематических ошибок в моделях или данных, используемых для прогнозирования. Коррекция смещения помогает настроить прогноз для более точного отражения реальной ситуации.

В случае, когда прогноз одновременно смещен и неточен, это свидетельствует о том, что мы не только имеем проблему с прогнозированием, но и, возможно, по определенным причинам постоянно переоцениваем или недооцениваем его. Иными словами, мы сталкиваемся с двумя проблемами. Решение такой ситуации требует более глубокого анализа и пересмотра всей методологии прогнозирования, чтобы выявить и устранить причины неточностей и смещения.

Еще прогноз может быть неточным (то есть мы точно не угадываем), но при этом он не является смещенным. То есть хотя мы и не достигаем цели, но наши прогнозы в определенный период времени совпадают с фактическими значениями. Это может свидетельствовать о случайных ошибках или непредсказуемых факторах, которые влияют на результат. В таких случаях важно определить и минимизировать влияние этих факторов для улучшения точности прогнозирования.

Понимание этих типов прогнозов помогает выработать более гибкие и адаптивные подходы к планированию, что в конечном итоге приводит к повышению эффективности всего бизнеса.

Рассматривая график, можно сделать вывод, что в отдельных случаях нужно работать над повышением точности прогнозов, а в других — понять, что точность приемлема, но существует тенденция к систематической недооценке или переоценке прогнозов. Это особенно характерно для отделов продаж или маркетинга, которые по разным причинам могут иметь оптимистичный подход к оценке, добавляя к прогнозу дополнительный резерв в размере +10-15%. Такой подход может привести к несоответствиям между прогнозами и реальными показателями, что требует тщательного анализа и коррекции.

Следующий график отображает точность прогнозирования и темпы продаж

На графике синяя линия (Demand) представляет фактические продажи, а серая линия (Forecast 2) отражает точность прогнозов, преимущественно двигаясь ниже или очень близко к синей. Это показывает точность прогнозирования на уровне 84%, но со смещением -12%. Таким образом, в среднем мы постоянно недооцениваем фактические продажи на 12%. Это может быть вызвано артефактами или, например, стратегией менеджера, который стремится к более легкому достижению KPI, занижая прогноз.

Рассмотрим оранжевую линию (Forecast 1): Ее смещение составляет -1%, что означает, что средняя оранжевая линия практически совпадает со средней синей. Однако фактические точки на этой оранжевой линии значительно отклоняются. На графике она представлена серой линией, которая является точной с показателем точности 84%, но смещена на 12%. С другой стороны, оранжевая линия не смещена и расположена вокруг центра, но ее точность значительно разбросана.

Метрики точности

В контексте метрик рассмотрим следующие аббревиатуры: МАЕ — средняя абсолютная погрешность; МАРЕ — средняя абсолютная погрешность процентов; WMAE — взвешенная средняя абсолютная погрешность. 

МАРЕ (Mean Absolute Percentage Error) — в практике существуют компании, которые используют только эту метрику, что не всегда оптимально. Поставив аналитикам KPI на основе МАРЕ, ему относительно легче достичь этой цели по сравнению с другими. Также существует тенденция к тому, что если немножко занижать прогноз, сделать его более консервативным, чем в реальности, то показатели МАРЕ могут выглядеть лучше. Другими словами, если аналитик имеет мотивацию достичь высокой точности по этой метрике, он может оптимизировать свой прогноз, но это не всегда приводит к общему улучшению для компании.

МАЕ (средняя абсолютная погрешность) и BIAS (смещение) — использование этих метрик является отраслевым стандартом, когда специалисты оценивают как погрешность, так и смещение в данный момент. МАЕ позволяет измерять среднее отклонение фактических значений от прогнозируемых, предоставляя ясное представление о точности прогноза. BIAS, в свою очередь, выявляет систематические ошибки, показывая, имеют ли прогнозы тенденцию к переоценке или недооценке.

Лучшей практикой на сегодня является учитывать смещение и взвешенную среднюю абсолютную погрешность (WMAE), поскольку эти показатели обеспечивают более точную оценку эффективности прогнозирования. Взвешенная средняя абсолютная погрешность учитывает важность каждого элемента, предоставляя более релевантную информацию о точности прогноза для различных категорий товаров или услуг.

Использование МАЕ, BIAS и WMAE вместе позволяет получить более комплексное представление о качестве прогнозов, что позволяет лучше адаптировать стратегии управления запасами и обеспечить бесперебойность цепи поставок. Применение этих метрик помогает выявлять и устранять потенциальные проблемы, улучшая тем самым эффективность и надежность процессов прогнозирования в производстве.