Есть свой процесс CI/CD с примочками, в котором новые модели (в каком-то алгоритме их может быть 10 тысяч, а где-то количество доходит и до миллиона) одного алгоритма проходят путь обучения и прогноза на участке данных или же на всех данных, где уже есть факт продаж, до проверки результатов экспертом. При положительном исходе процесс CI/CD идет дальше с финальной точкой в виде помещения обновленного проекта в целевой директории. Уже после начинается полноценное переобучение и использование модели в ансамбле.
Проекты алгоритмов в основном содержат PySpark код, а оркестрация реализована с помощью надстроек над Airflow. По сути у нас один бэкэнд на все алгоритмы/модели.
Если интересно, то можем и это записать себе в бэклог по статьям.
Аудитория очень широкая, поэтому была выбрана такая формулировка. Если хотите больше деталей, то расскажите про что интересно почитать и мы бы рассмотрели варианты статей.
Прям сильно в теорию автоматического управления капнули, конечно. Описанная модель названа статистической в том числе и потому, что когда-то выросла из ARIMA, а не из модели описания состояний динамической системы.
Бустинги тоже есть - мы их обучаем на подгруппах датасетов, то есть на на всех данных сразу, т.к. положить все данные в одну модель (не нейронку) - это утопия. Поэтому spark.ml почти неприменим в таких случаях.
Сахар и Курица - это категории товаров повседневного спроса и они практически никогда не бывают с акционными ценниками, то есть не являются товарами "промо", о прогнозировании которых, кстати, идёт речь в статье. Если бы Вы её прочитали, то стало бы понятно, что такой комментарий не уместен, ведь речь в нём идет даже не о прогнозе, а о процессах пополнения. Мы не можем сказать, что это не является проблемой, но с темой статьи корреляции почти нет. Сразу отвечаю на вопрос есть ли недоработки в процессах пополнения - да, они случаются, но они же и решаются в рамках других систем.
Фрустрация и негатив - это нормально, но он не может быть повсеместным.
То, что Вы описали очень далеко от реальности, если сглаживать углы.
Первый кейс с наценкой в 25%, чтобы быстро привезти товар для создания ажиотажа с целью быстрого сбыта: так работает с одеждой, но не с товарами повседневного спроса, потому что, во-первых, товар быстро не удастся привезти из-за сложной логистики в РФ (большие расстояния), а, во-вторых, ни одна категория товаров не выдержит схемы с наценкой в 25% - Магнит, как Target и прочие компании в сегменте по всему миру, является дискаунтером, т.е. люди в таком кейсе просто уйдут через дорогу в другой магазин купить дешевле. И, к слову, как Вы себе представляете увеличение цен на молоко в 1.25 раз с условием продажи по несколько пачек, чтобы сэкономить 2%? Понимаю, что утрируете, но тогда непонятна суть вопроса.
Насчёт гнили и просрочки: во-первых, гнить может не такой широкий ассортимент, а именно фрукты и овощи, а, во-вторых, в случае окончания срока годности (просрочки) товар уделяется, а не продаётся по акции и, если Вы зайдёте в магазин, то поймёте почему, увидев на товаре не жёлтый или красный ценник, а наклейку для сигнала клиенту, что товар можно купить дешевле, т.к. срок годности истекает. Товар для промо зачастую производится поставщиком с целью продать его по скидке и это редко товар с коротким сроком годности потому, что в таких товарных категориях играть с покупателем в цены опасно: товар может совсем пропасть и не принести компании выгоду, а клиенту принести только страдания.
Есть свое, но не много:
Монитор запросов
Самописные конеекты pxf
Интеграция с другими сервисами Arenadata
Интересно как будут разрабатывать ядро СУБД. Теперь синхронизировать репозиторий не с кем.
Есть свой процесс CI/CD с примочками, в котором новые модели (в каком-то алгоритме их может быть 10 тысяч, а где-то количество доходит и до миллиона) одного алгоритма проходят путь обучения и прогноза на участке данных или же на всех данных, где уже есть факт продаж, до проверки результатов экспертом. При положительном исходе процесс CI/CD идет дальше с финальной точкой в виде помещения обновленного проекта в целевой директории. Уже после начинается полноценное переобучение и использование модели в ансамбле.
Проекты алгоритмов в основном содержат PySpark код, а оркестрация реализована с помощью надстроек над Airflow. По сути у нас один бэкэнд на все алгоритмы/модели.
Если интересно, то можем и это записать себе в бэклог по статьям.
Ещё раз повторюсь, что в статье отражена другая предметная область, а именно прогнозирование продаж акционных товаров.
Аудитория очень широкая, поэтому была выбрана такая формулировка. Если хотите больше деталей, то расскажите про что интересно почитать и мы бы рассмотрели варианты статей.
Прям сильно в теорию автоматического управления капнули, конечно. Описанная модель названа статистической в том числе и потому, что когда-то выросла из ARIMA, а не из модели описания состояний динамической системы.
Думаю, что у Вас уйдет много времени на то, чтобы сделать 25 тысяч фотографий в каждом магазине. Доказуемо ровно и обратное, поверьте)
Расскажите про что бы Вам хотелось почитать в будущих статьях - мы бы учли это, почему нет?
Бустинги тоже есть - мы их обучаем на подгруппах датасетов, то есть на на всех данных сразу, т.к. положить все данные в одну модель (не нейронку) - это утопия. Поэтому spark.ml почти неприменим в таких случаях.
Про нейронки будет, да.
Сахар и Курица - это категории товаров повседневного спроса и они практически никогда не бывают с акционными ценниками, то есть не являются товарами "промо", о прогнозировании которых, кстати, идёт речь в статье. Если бы Вы её прочитали, то стало бы понятно, что такой комментарий не уместен, ведь речь в нём идет даже не о прогнозе, а о процессах пополнения. Мы не можем сказать, что это не является проблемой, но с темой статьи корреляции почти нет. Сразу отвечаю на вопрос есть ли недоработки в процессах пополнения - да, они случаются, но они же и решаются в рамках других систем.
Фрустрация и негатив - это нормально, но он не может быть повсеместным.
Скидывай резюме
То, что Вы описали очень далеко от реальности, если сглаживать углы.
Первый кейс с наценкой в 25%, чтобы быстро привезти товар для создания ажиотажа с целью быстрого сбыта: так работает с одеждой, но не с товарами повседневного спроса, потому что, во-первых, товар быстро не удастся привезти из-за сложной логистики в РФ (большие расстояния), а, во-вторых, ни одна категория товаров не выдержит схемы с наценкой в 25% - Магнит, как Target и прочие компании в сегменте по всему миру, является дискаунтером, т.е. люди в таком кейсе просто уйдут через дорогу в другой магазин купить дешевле. И, к слову, как Вы себе представляете увеличение цен на молоко в 1.25 раз с условием продажи по несколько пачек, чтобы сэкономить 2%? Понимаю, что утрируете, но тогда непонятна суть вопроса.
Насчёт гнили и просрочки: во-первых, гнить может не такой широкий ассортимент, а именно фрукты и овощи, а, во-вторых, в случае окончания срока годности (просрочки) товар уделяется, а не продаётся по акции и, если Вы зайдёте в магазин, то поймёте почему, увидев на товаре не жёлтый или красный ценник, а наклейку для сигнала клиенту, что товар можно купить дешевле, т.к. срок годности истекает. Товар для промо зачастую производится поставщиком с целью продать его по скидке и это редко товар с коротким сроком годности потому, что в таких товарных категориях играть с покупателем в цены опасно: товар может совсем пропасть и не принести компании выгоду, а клиенту принести только страдания.
Если уж критикуете, то надо знать мат. часть))