Все потоки
Поиск
Написать публикацию
Обновить
433.7

Python *

Высокоуровневый язык программирования

Сначала показывать
Порог рейтинга
Уровень сложности

Пишем свой PyTorch на NumPy. Часть 3. Строим граф вычислений

Уровень сложностиПростой
Время на прочтение22 мин
Количество просмотров2.5K

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. Для использования этого фреймворка, часто достаточно поверхностно понимать работу алгоритмов машинного обучения.

В этой статье мы продолжим реализацию собственный библиотеки машинного обучения на NumPy!

Читать далее

Temporal Fusion Transformer: улучшение прогнозирования в ритейле с минимальными затратами

Время на прочтение24 мин
Количество просмотров6.8K

Всем привет! Меня зовут Дмитрий Поляков, я работаю аналитиком данных в команде ad-hoc аналитики X5 Tech. В этой статье мы хотели бы рассмотреть задачу прогнозирования, которая является чрезвычайно важной задачей в ритейле.

Мы детально рассмотрим основные преимущества и архитектурные особенности модели Temporal Fusion Transformer (TFT), наш подход к использованию этой модели в задаче прогнозирования спроса, и как нам удалось увеличить точность прогнозов в среднем на 7%, затратив при этом минимальные усилия.

Также эта статья будет полезна и тем, кто хочет глубже понять принципы работы TFT, изучить её применение в библиотеке Darts и решить задачу прогнозирования для множества многомерных временных рядов.

Читать далее

Polars vs Pandas: битва титанов. Кто кого?

Время на прочтение7 мин
Количество просмотров10K

Привет, Хабр! Это Леша Жиряков, техлид backend-команды витрины онлайн-кинотеатра KION. В прошлом посте я рассказывал про альтернативы Pandas, а сегодня будем сравнивать две библиотеки — Polars и Pandas. Обсудим, какие преимущества есть у Polars и за счет чего она выигрывает в производительности. В посте — мой взгляд, но мнения по этому поводу, конечно, разные. Пишите, что думаете, в комментариях — будем обсуждать!

Читать далее

Обвиваем YouTube змеем, или как смотреть и скачивать видео с YouTube без VPN на чистом Python-е. Часть 1

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров172K

Современный мир пресыщен различной информацией, и в наше непростое время её важно уметь не только находить и сохранять. Многие наверняка заметили, что в на YouTube, кроме мусора, котиков и прочих бесполезных вещей (которые мы иногда не прочь посмотреть) есть масса полезного материала по самым различным темам. И иногда этот материал неплохо было бы сохранить себе на будущее, чтобы не зависеть от переменчивых настроений в мире.

В этой статье я хочу рассказать, как можно скачивать видео, аудио (1 часть статьи), плейлисты и целые каналы с YouTube (2 часть статьи) без использования VPN и на чистом Python-е. Сразу оговорка: VPN нам не понадобится, но мы сделаем собственное средство, которое будет решать "проблему с устаревшим и изношенным оборудованием Google Global Cache" (вы поняли, о чём я). Я думаю это средство будет особенно актуально сегодня, когда у многих россиян YouTube почти или совсем не работает.

Читать далее

Опыт Звука: как реализовать рекомендательную систему аудиокниг с использованием больших языковых моделей (LLM)

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.6K

Всем привет! На связи Дмитрий Берестнев, Chief Data Scientist в HiFi-стриминге Звук. Сегодня я расскажу о том, как мы реализовали систему подбора аудиокниг и зачем это вообще было сделано. В статье мы фокусируемся на принципе рекомендации похожих книг (а подходы для авторов в нашем случае были сделаны аналогично).

Читать далее

SOAP, XML и Python: получаем данные с zakupki.gov.ru

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров8.7K

Эта статья написана для начинающих пользователей, которые хотят разобраться в работе сервиса отдачи информации zakupki.gov.ru. Мы шаг за шагом разберем, как получить токен для физического лица, как выглядит XML-документ для запроса и как написать простую программу на Python для взаимодействия с сервисом. Это не руководство от профессионала, а скорее дневник выживания: как не сойти с ума, пока пытаешься подружиться с сервисом zakupki.gov.ru.

Читать далее

Какие зарубежные компании подают патентные заявки в РФ в 2023, 2024 годах

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров1.3K

Я патентный поверенный, мне интересно работать с данными, у Роспатента появилась открытая и удобная для обработки статистика по зарубежным заявителям (https://www1.fips.ru/registers-web/ ), и мне стало интересно поизучать ее.

Коротко о процессе: скачал два файла с данными (за 2023 год и за 2024 год (с учетом даты выхода статьи это почти полные данные за 2024 год)), с помощью небольшого скрипта на питоне построил следующие графики:

Читать далее

Remote Config и A/B-эксперименты: история разработки и основные возможности

Время на прочтение8 мин
Количество просмотров1.3K

Привет, Хабр! Меня зовут Леша Жиряков, я техлид backend-команды витрины онлайн-кинотеатра KION: путь от разработчика до этой должности прошел за три года. Сейчас я продолжаю готовить свою серию статей и докладов про Python — всегда топлю за него, хочу, чтобы этот ЯП использовали в проде как можно чаще и больше. Сегодня расскажу про наш сервис Remote Config и A/B-эксперименты — это переработка одного из моих докладов. Если что, задавайте вопросы в комментариях — постараюсь на все ответить.

Читать далее

Обновление python на centos 7

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров1.7K

Плейбук ансибл завершался с ошибкой
>>The module failed to execute correctly, you probably need to set the interpreter.\nSee stdout/stderr for the exact error
на целевом узле установлен Python 3.6.8, а ошибка связана с функциональностью, введенной в Python 3.7 и выше. Решение этой задачи осложнялось, так как обновить Python на CentOS 7 невозможно из-за EOL (End of Life) статуса.

Читать далее

Пишем свой PyTorch на NumPy. Часть 2. Добавляем новые слои

Уровень сложностиПростой
Время на прочтение21 мин
Количество просмотров4.4K

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей.

В этой статье мы продолжим реализовывать собственную библиотеку машинного обучения на NumPy!

Читать далее

Telegram-бот-магазин на Python: пошаговый гайд с оплатой, каталогом и админкой (Aiogram 3 + SQLAlchemy 2)

Время на прочтение52 мин
Количество просмотров43K

Сегодня я к вам с новым практическим проектом на Python. На этот раз мы создадим полноценного Telegram-бота для продажи цифровых товаров с базой данных, которой будем управлять через SQLAlchemy 2, админ-панелью, пользовательской частью и интегрированной оплатой через Юкассу.

Я шаг за шагом проведу вас через все этапы разработки такого бота: начиная от регистрации токена в BotFather и заканчивая деплоем готового продукта на удаленном хостинге, чтобы бот мог бесперебойно работать 24/7 без привязки к вашему компьютеру или интернет-соединению.

Читать далее

Простое управление настройками приложения в проекте на django

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров1.8K

Как добавить кучу настроек для администратора в свой проект на django без дополнительных сервисов feature-toggle и потом в них не потеряться.

Читать далее

Они вам не сотрудники

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров15K

Маркетинг есть везде. Не очень хорошего маркетинга всегда в два раза больше. Так вот некоторые так называемые маркетологи, чтобы добавить вуаль загадочности, решили назвать простые интеграции с ChatGPT ИИ-сотрудниками. Кто-то называет их НЕЙРО-сотрудниками. Суть от этого не меняется, в 99% случаях это просто интеграция с LLM, например ChatGPT. При этом они действительно могут нести осязаемую пользую для бизнеса и выполнения личных задач.

Читать далее

Ближайшие события

Хороший Плохой Злой ИИ Open Source: как мы в Axolotl пушили

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров766

Всем привет! Меня зовут Шубин Вадим, я Data Scientist в компании Raft Digital Solutions. В этой статье я хотел бы рассказать о нашем опыте с фейл-сабмитом в существующий опенсорс-проект Axolotl и о том, какие уроки из него мы извлекли. Но обо всём по порядку. Давайте начнем!

Читать далее

SVG-виджеты для tcl/tk. Финальный аккорд. Часть IV

Уровень сложностиСредний
Время на прочтение3 мин
Количество просмотров1.7K

Реализация проекта «SVG-виджеты для tckl/tk» позволяет устранить одну из главных претензий, предъявляемых к графическому интерфейсу приложений, разрабатываемых с использованием tk - устаревший дизайн виджетов. Переход от классических виджетов к svg-виджетам не требует больших усилий. В этом лично я убедился, переписав gui утилиты для работы с электронной подписью cryptoarmpkcs. Ее дистрибутивы под именем cryptoarmpkcs_svg для платформ Linux64 и Windows64 можно найти в проекте:

Читать далее

Царство грибов. Симуляция мицелия на p5py. Битвы гифов. Часть первая

Уровень сложностиПростой
Время на прочтение14 мин
Количество просмотров2.2K

Одни из самых долгоживущих, самых скрытных и самых древних организмов на Земле. Грибы. Существа в скрытом царстве под горой. Они меня всегда увлекали.

В 1998 году внимание биологов привлекла гибель деревьев, чьи корни были опутаны грибницей. Тогда-то они и определили, что скопления опёнка темного в Орегоне не отдельные грибницы, а единый организм. Крупнейшее живое существо на Земле: размером с 880 гектаров и старше 2,4 тысячи лет.

Хочется написать симуляцию этого великолепного царства (прямо в браузере на Python и p5py). Посадить электронные споры, понаблюдать за ростом мицелия и восшедшими плодовыми телами, и проследить за спорами-путешественниками, как они создают новые колонии.

Добро пожаловать в путешествие в Царство Грибов.

Читать далее

Python: неочевидное и вероятное

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров17K

Python известен своей простотой и предсказуемостью, но за этой доступностью скрываются интересные и неочевидные особенности, способные удивить программистов с базовым опытом(а если повезет, то и опытных). В этой статье мы рассмотрим несколько таких «фокусов» и тонкостей, чтобы глубже понять внутреннюю логику и философию языка.

Читать далее

Какие тренды в технологиях нас ждут в 2025 году

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров3.3K

Мобильная разработка продолжает активно развиваться по разным направлениям. Попробую выбрать несколько основных трендов развития в 2025 году:

1) ИИ

C выпуска Chat GPT осенью 2022 года и появления его аналогов у Yandex, Google и других компаний мы переживаем настоящий бум различных LLM. Спектр их использования довольно широк: ассистенты в чатах, помощники-анализаторы, генераторы контента и так далее.

Весной 2024 года Google представили ИИ-помощников, интегрированных как в саму ОС Android, так и в инструменты разработки Android Studio, а также SDK для подключения ИИ-помощников уже в своё собственное приложение. Примерно в то же время Apple объявили о создании своего ИИ-помощника на базе моделей OpenAI. Из-за разных ограничений, решения доступны не все пользователям, что делает крайне актуальной разработку аналогов (чем и занимается, в частности, Сбер). Также актуальным будет создание и обучение собственных ИИ-ассистентов на базе открытых LLM (например, известная и популярная Meta-LLama), чем уже заняты крупные компании.  

2) Кросс-платформенная разработка

Не секрет, что компания Google, разрабатывающая Flutter, в 2024 году сделала открыто ставку и на Kotlin Multiplatform, объявив совместимость с данной технологией одним из своих приоритетов. В этом году они активно занимались переводом Jetpack библиотек для разработки современного приложения Android и на кросс-платформу. Flutter также не сдаёт свои позиции и всё больше завоёвывает популярность во многих компаниях. Это хорошее решение для ускоренной разработки ряда клиентских приложений. Также он становится инструментом для удобного создания приложений под ОС Aurora.i

Читать далее

Массовая асинхронная обработка запросов с последующей синхронной CPU-bound логикой

Уровень сложностиСредний
Время на прочтение3 мин
Количество просмотров1.8K

Столкнулись с обработкой огромного числа запросов и сложной логикой? В новой статье показано, как эффективно обрабатывать до 1 000 000 запросов к API, использовать асинхронный подход для быстрого получения данных и параллельно выполнять тяжелые вычисления в отдельных процессах благодаря ProcessPoolExecutor. Узнайте, как совмещать массовый асинхронный ввод-вывод с CPU-bound обработкой, эффективно масштабировать решения и оптимизировать производительность!

Читать далее

Пишем свой PyTorch на NumPy. Часть 1

Уровень сложностиПростой
Время на прочтение16 мин
Количество просмотров10K

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей.

В этой статье мы реализуем собственную библиотеку машинного обучения на NumPy!

Читать далее

Вклад авторов