Комментарии 2
Попробовал представленную библиотеку PyTorch-LifeStream. Интересное решение, но у меня возник такой же вопрос, как и при использовании sberbank-lightautoml. Умышленно ли делается api совершенно непонятным по логике и без учёта устоявшихся паттернов (например, scikit-learn-like api)?
Так же вероятно стоит разнести реализации для pyspark и local, так как без удаления некоторых файлов библиотека не запускается из коробки (хотя эта фича не является основной) (но это уже придирки)
Для обучения моделей библиотека использует pytorch-lightning. Он предоставляет достаточно удобный api именно для обучения нейронных сетей. Сами модули библиотеки - это расширение стандартных torch.nn.Modue
А со spark проблема действительно была, сейчас ее поправили. Теперь библиотека запускается даже если spark отсутствует.
Как нейронка обогнала бустинг, а команда Сбера заняла 1 место в конкурсе Data Fusion Contest 2022