Возможно для того чтобы ваш код работал быстро не стоит использовать pandas, которые изначально не направлен для обработки больших массивов данных. Pandas не позволяет оптимизировать цепочки вычислений и не обладает возможностью ленивых вычислений. Взгляните на аналоги polars, dask, vaex, pyspark и используйте их для увеличения производительности.
@svetlanamorozova здравствуйте. Спасибо за статью, всегда было интересно почитать про процессы у других команд/компаний.
Было бы интересно узнать как у вас организованы процессы исследований,ревью и поставки результатов DS проектов. Какие подходы используются и как к ним пришли?
Ещё подскажите, а какие инструменты mlops и как вы используете на этапе исследований? Mlops это не только про продакшен, это и про работу исследователя и тд. Было бы интересно узнать это, потому что сам сейчас копаюсь в этой теме и интересен опыт коллег по несчастью
Еще вопрос по makefile, почему использовали его а не pre-commit? DS может забыть его вызвать, а pre-commit не даст закомитить/запущить код который имеет проблемы.
Information
Rating
10,168-th
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Обычно учиться + работать на полную ставку не особо получается, интересно на что автор больше забивал? Рабочие задачи или пары в универе?
Возможно для того чтобы ваш код работал быстро не стоит использовать pandas, которые изначально не направлен для обработки больших массивов данных. Pandas не позволяет оптимизировать цепочки вычислений и не обладает возможностью ленивых вычислений. Взгляните на аналоги polars, dask, vaex, pyspark и используйте их для увеличения производительности.
@svetlanamorozova здравствуйте. Спасибо за статью, всегда было интересно почитать про процессы у других команд/компаний.
Было бы интересно узнать как у вас организованы процессы исследований,ревью и поставки результатов DS проектов. Какие подходы используются и как к ним пришли?
Ещё подскажите, а какие инструменты mlops и как вы используете на этапе исследований? Mlops это не только про продакшен, это и про работу исследователя и тд. Было бы интересно узнать это, потому что сам сейчас копаюсь в этой теме и интересен опыт коллег по несчастью
Еще вопрос по makefile, почему использовали его а не pre-commit? DS может забыть его вызвать, а pre-commit не даст закомитить/запущить код который имеет проблемы.