Sber.DS — платформа, которая позволяет создавать и внедрять модели даже без кода

[UnnamedUA]

Ссылка на github?)

[QtRoS]

Да Вы что, "ни одного бита" (с) же!

[superstarstas306]

Ну всё, щас ДСников оптимизируют

[aniskovets]

Наоборот, профессиональные DS в нашей платформе создают новые алгоритмы AutoML. Потребность в квалифицированных кадрах только возрастает.

[superstarstas306]

aniskovets сарказм, конечно же, ну что вы.
Круто, что появляются конструкторы для решения задач, которые «уже были»

[savvvan]

1. "один экземпляр не должен потреблять больше 4-8 гигабайт оперативной памяти"©
   Что происходит, если пользовательский датасет больше этих 4-8 гигабайт?
2. "наша команда разрабатывает sber.ds"©
   Под словом "наша" имеются в виду заказчики в банке или интегратор на букву Е, который рекламирует свои услуги по созданию такого рода платформ, указывая в портфолио проект в Сбербанке?
3. "Многие возможности библиотеки продиктованы правилами регулятора, например, отчетность и хранение обучающих и валидационных выборок"
   Если верить http://www.finmarket.ru/news/5107310, то в России всего 2 банка используют IRB подход. Сбербанк и Райффайзен. Причем ЦБ РФ предъявляет специфические требования только к небольшому числу моделей определенного класса.
   Зачем загонять в это прокрустово ложе вообще все модели? И насколько этот подход будет востребован у потенциальных клиентов? Или в статье просто презентуется чисто внутренний проект банка исключительно для личного пользования?
4. Какое то сравнение с аналогичными data mining платформами, работающими в связке с hadoop, в следующих постах будет? Просто несколько лет назад на конференции по SAS Сбербанк рассказывал о внедрении платформы SAS HPA. Она еще используется?
   Если она не устраивала, почему было не взять за основу готовое опенсорсное решение такого класса KNIME и не доработать его немного под свои требования? С hadoop KNIME работать умеет.
   Насколько было оправдано создавать свое решение с нуля, да еще и силами стороннего подрядчика-бодишопа?
   Возможно, я что то не понимаю, но небольшая статья порождает массу вопросов, главный из которых "зачем?"

[aig]

Забавно, как вопрос про SAS зазвучал по-другому сейчас :)

[savvvan]

Вопрос писался более 3 лет назад, почему то опубликовали только сейчас. К слову, на базе knime Евраз построил свою платформу ml платформу, а вопрос про sas да, спустя 3 года звучит совсем иначе..

[aig]

Я бы даже сказал, что вопрос про компанию на букву Е, теперь тоже не актуален. Обе компании ушли с рынка в один день, и по слухам очень некрасиво ушли. А Сбер и СберДС вроде даже отлично себя чувствуют и развиваются.

Что касается Knime, основная проблема в том, что в Сбере очень специфическая инфраструктура и адаптация open-source решений проходит нелегко, именно поэтому делается очень много кастомных вещей.

Кроме того, лицензия Knime - GNU не позволяет полностью легально адаптировать продукт без раскрытия исходного кода, особенно если потом захочется продать адаптированный продукт в другие компании.

[gerashenko]

Компания на букве E сегодня сообщила, что позавчера ты уже не на проекте. А до этого всем предлага совершить прыжок веры без гарантий за свой счет.