Pull to refresh

Comments 11

Со статьей поторопились — надо было дождаться результатов A/B тестов. Потому что если у вас не получилось, то вся эта история не имеет смысла.

Статья — не история успеха, скорее история проб и ошибок; и прежде всего хотелось рассказать об опыте и организации работы.
Так или иначе, пока нет оснований полагать, что не получится.

Так или иначе, пока нет оснований полагать, что не получится.

Пока вы не попробуете на живых данных, у вас нет основания полагать, что получится. Ошибка может быть где угодно — неверные данные, подглядывание в будущее (например, ошибка с приведением данных к одному часовому поясу), загрязненные OOS данные (принятие решений на основе OOS) и т.д.
Хорошая реальная задача. Я делал похожее прогнозирование, только многомерных физических процессов с помощью ИНС. Побольше бы таких задач и работ! :)
а вам не кажется что а/б тест нужно было проводить в рамках одного региона? регион же во многом определяет эк.состояние

Мы думали об этом, да, хороший вопрос. Выходило, однако, что в результате A/B-теста в одном и том же регионе пришлось бы делить и так не очень большое количество магазинов пополам, и результаты не были бы так репрезентативны.
С другой стороны, результаты можно собрать, сравнивая регионы, или текущие результаты с результатами продаж прошлого года (с учетом внешнеэкономических факторов и естественного роста компании, разумеется).

Кроссфит и ставки на спорт не стоят потраченного времени

Почему?

Спасибо за интересные ссылочки!
а вы модель на форвардных тестах (тесты на исторических данных вне обучающей [обычно более поздний интервал] или оптимизирующей выборки) погоняли, метко попадает?


А не подскажете, на "бесплатные" $300 в Google Cloud доступен весь функционал, или есть какие-то ограничения?
И еще более животрепещущий вопрос, вот, допустим, вы переехали на Google Cloud, вы свою систему под тамошнюю инфраструктуру оптимизировали, перекопилили, профилировали (и есть вообще такая возможность), или оставили как есть?

Прогоняли, да, именно так мы нашу кросс-валидацию и построили. Мы планируем о результатах поведать вам отдельно.


Насчет ограничений Google Cloud: вы можете иметь не более 8 ядер (или виртуальных процессоров) одновременно на запущенных машинах. Например, вы можете запустить 8 экземпляров машин типа n1-standard-1, или 2 экземпляра n1-standard-4, но не сможете запустить машину типа n1-standard-16.


К тому же, некоторые действия запрещены на протяжении пробного периода, например, майнинг криптовалют :). Дополнительные ограничения смотрите в соглашении об "Условиях использования пробной версии" и "Условиях использования Google Cloud Platform".


Инфраструктуру не оптимизировали и не меняли: просто запустили более обширные grid-search'и параметров. Смотрели на то, какие библиотечки лучше параллелятся (XGBoost прям выигрывает у LightGBM, например).

Спасибо за статью. Интересно почитать, как эта вся «магия» работает на реальных проектах.
Было бы интересно почитать и о результатах работы.

Результаты будут! Мы планируем написать отдельную статью.

Only those users with full accounts are able to leave comments. Log in, please.