Заголовок который не соответствует статье, я понимаю такой заголовок, если бы там был парсер html, css, их полноценный рендеринг и поддержка js, но это просто подключаем библиотеку используем несколько готовых функций и все.... О каком браузере тут идёт речь? Как будто бы на это любой gpt like был готов ещё 24 году
Возможно для того чтобы ваш код работал быстро не стоит использовать pandas, которые изначально не направлен для обработки больших массивов данных. Pandas не позволяет оптимизировать цепочки вычислений и не обладает возможностью ленивых вычислений. Взгляните на аналоги polars, dask, vaex, pyspark и используйте их для увеличения производительности.
@svetlanamorozova здравствуйте. Спасибо за статью, всегда было интересно почитать про процессы у других команд/компаний.
Было бы интересно узнать как у вас организованы процессы исследований,ревью и поставки результатов DS проектов. Какие подходы используются и как к ним пришли?
Ещё подскажите, а какие инструменты mlops и как вы используете на этапе исследований? Mlops это не только про продакшен, это и про работу исследователя и тд. Было бы интересно узнать это, потому что сам сейчас копаюсь в этой теме и интересен опыт коллег по несчастью
Еще вопрос по makefile, почему использовали его а не pre-commit? DS может забыть его вызвать, а pre-commit не даст закомитить/запущить код который имеет проблемы.
Information
Rating
3,541-st
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Заголовок который не соответствует статье, я понимаю такой заголовок, если бы там был парсер html, css, их полноценный рендеринг и поддержка js, но это просто подключаем библиотеку используем несколько готовых функций и все.... О каком браузере тут идёт речь? Как будто бы на это любой gpt like был готов ещё 24 году
Тогда зачем вас читать, вы прослойка, лучше уж проще сразу с гпт общаться
Они с этим не справляются. Они делают кашку похожую на правду, но работать оно будет криво, косо и с одним пользователем
Возможно для того чтобы ваш код работал быстро не стоит использовать pandas, которые изначально не направлен для обработки больших массивов данных. Pandas не позволяет оптимизировать цепочки вычислений и не обладает возможностью ленивых вычислений. Взгляните на аналоги polars, dask, vaex, pyspark и используйте их для увеличения производительности.
@svetlanamorozova здравствуйте. Спасибо за статью, всегда было интересно почитать про процессы у других команд/компаний.
Было бы интересно узнать как у вас организованы процессы исследований,ревью и поставки результатов DS проектов. Какие подходы используются и как к ним пришли?
Ещё подскажите, а какие инструменты mlops и как вы используете на этапе исследований? Mlops это не только про продакшен, это и про работу исследователя и тд. Было бы интересно узнать это, потому что сам сейчас копаюсь в этой теме и интересен опыт коллег по несчастью
Еще вопрос по makefile, почему использовали его а не pre-commit? DS может забыть его вызвать, а pre-commit не даст закомитить/запущить код который имеет проблемы.