Возможно для того чтобы ваш код работал быстро не стоит использовать pandas, которые изначально не направлен для обработки больших массивов данных. Pandas не позволяет оптимизировать цепочки вычислений и не обладает возможностью ленивых вычислений. Взгляните на аналоги polars, dask, vaex, pyspark и используйте их для увеличения производительности.
@svetlanamorozova здравствуйте. Спасибо за статью, всегда было интересно почитать про процессы у других команд/компаний.
Было бы интересно узнать как у вас организованы процессы исследований,ревью и поставки результатов DS проектов. Какие подходы используются и как к ним пришли?
Ещё подскажите, а какие инструменты mlops и как вы используете на этапе исследований? Mlops это не только про продакшен, это и про работу исследователя и тд. Было бы интересно узнать это, потому что сам сейчас копаюсь в этой теме и интересен опыт коллег по несчастью
Еще вопрос по makefile, почему использовали его а не pre-commit? DS может забыть его вызвать, а pre-commit не даст закомитить/запущить код который имеет проблемы.
Информация
В рейтинге
5 171-й
Откуда
Санкт-Петербург, Санкт-Петербург и область, Россия
Тогда зачем вас читать, вы прослойка, лучше уж проще сразу с гпт общаться
Они с этим не справляются. Они делают кашку похожую на правду, но работать оно будет криво, косо и с одним пользователем
Возможно для того чтобы ваш код работал быстро не стоит использовать pandas, которые изначально не направлен для обработки больших массивов данных. Pandas не позволяет оптимизировать цепочки вычислений и не обладает возможностью ленивых вычислений. Взгляните на аналоги polars, dask, vaex, pyspark и используйте их для увеличения производительности.
@svetlanamorozova здравствуйте. Спасибо за статью, всегда было интересно почитать про процессы у других команд/компаний.
Было бы интересно узнать как у вас организованы процессы исследований,ревью и поставки результатов DS проектов. Какие подходы используются и как к ним пришли?
Ещё подскажите, а какие инструменты mlops и как вы используете на этапе исследований? Mlops это не только про продакшен, это и про работу исследователя и тд. Было бы интересно узнать это, потому что сам сейчас копаюсь в этой теме и интересен опыт коллег по несчастью
Еще вопрос по makefile, почему использовали его а не pre-commit? DS может забыть его вызвать, а pre-commit не даст закомитить/запущить код который имеет проблемы.