Всем привет! Меня зовут Татьяна Онофрюк, я аналитик в команде персонализации HiFi-стриминга Звук, и сегодня я расскажу про работу нашей команды с рекомендательными системами и кластеризацией по исполнителям и жанрам стриминга.
Мы думаем, многие знают ключевую проблему реккурентных нейросетей - постепенное забывание "изученного" в процессе обучения. Так как внутри нет никакого механизма "внимания", как в тех же трансформерах – передача данных с одного шага на другой приводит к тому, что мы уже не помним начала цепочки.
Глухой телефон или неумело прочитанная книга – хорошая метафора.
Но есть другая крупная проблема в ML – катастрофическое забывание.
Всем привет! Меня зовут Михаил, и в своей предыдущей статье я кратко осветил цепочку прохождения логов в ОС Astra Linux SE. Продолжаем!
Любой человек, который регулярно сталкивается с темой логирования, рано или поздно задаётся вопросом: «А что ещё можно сделать с логами, помимо простого добавления записей в некоторый файл?». Поэтому сейчас поговорим о таком мощном инструменте обработки логов, как syslog-ng.
Обновил нейросеть для генерации текста сделав её более удобным в использовании. Программа в целом предназначена для тестирования обучения модели, но модель нейросети можно сохранять.
Зачем нужен метод выборки в нейросети и как устроена его внутренняя математика и алгоритм работы — об этом в статье.
Всем привет! Меня зовут Роза и я MLOps-инженер в Купере. Под катом расскажу, как построить CI/CD-пайплайн для ML-приложений с нуля, поэтапно и без боли. Ну почти :)
Раньше очень часто работа DS-инженера заканчивалась на подготовке кода модели в Jupyter-ноутбуке, а дальше его подхватывали команды разработки и доводили до продакшена. У такого подхода есть минусы. Например, если произойдёт инцидент, непонятно кто ответственен за сервис — команда разработки или авторы ML-модели?
К счастью, культура разработки меняется: теперь ML-инженер — это специалист, который разрабатывает свой ML-сервис на всем пути от общения с бизнесом до продакшена. Этот подход хорошо описывает принцип «you build it, you run it»: кто построил модель, тот её и запускает. Как раз в этом здорово помогает CI/CD.
Если вы пишите на Python, то наверняка давно хотите все свои сервисы переписать на asyncio. Вот и я хотел, но не из‑за того, что стильно‑модно‑молодёжно, а потому что уже болело.
Об одном таком кейсе я и расскажу, а заодно поделюсь интересным подходом и готовой реализацией.
Базы данных являются важной составляющей любого современного приложения. БД хранят и обрабатывают огромное количество данных. При этом с приложением может работать одновременно большое количество пользователей и важно обеспечить надежное и производительное взаимодействие между базой данных и кодом приложения.
Для того, чтобы обеспечить такое взаимодействие с БД нам необходима собственно библиотека для работы с базами, а также библиотека для асинхронной работы на Python.
В Python есть несколько библиотек для работы с СУБД. В этой статье мы рассмотрим работу с SQLAlchemy, которая является одной из самых популярных и широко используемых библиотек для работы с базами данных.
А для обеспечения асинхронной работы мы воспользуемся Asyncio. Это популярная библиотека для написания асинхронного кода на Python, которая предоставляет эффективный способ работы с базами данных.
Предлагаем разобраться, как строить объекты во вселенной «Майнкрафт» на примере создания поезда и его программирования на «Питоне». Туториал предназначен для детей от 9–10 лет.
Minecraft — игра, популярная среди детей и подростков. Они проводят время в виртуальной вселенной, общаются, а при определенных условиях получают возможность создавать постройки. И хотя изначально игра была написана на языке Java, а после переписана с применением C++, именно «Питон» отлично подходит для начинающих и опытных мододелов. Его синтаксис только кажется сложным: с программированием на Python успешно справляются даже младшие школьники и подростки от 9 до 13 лет и старше.
Если вы пишите на Python и знакомы с различными включениями, вы наверняка слышали о том, что создание коллекции с помощью включения обычно работает быстрее, чем создание той же коллекции с помощью обычного цикла for. Я пишу на Python несколько лет, и разумеется я тоже слышал о производительности включений. Все время для меня этот факт был своего рода аксиомой, истиной, которая не требует проверки. Однако это неправильный подход к изучению точных наук и технологий, поэтому я сел разбираться.
В этой главе будут рассмотрены все необходимые аспекты для понимания механизмов работы CFG Scale, а также плюсы и минусы подхода с математическими примерами. Собрал все самое важное в одном месте без воды.
В системах управления контентом (или CMS) часто приходится работать с огромными и постоянно меняющимися массивами данных. Так что оптимизация производительности уже не роскошь, а необходимость.
Привет! Я Олег, Python-разработчик в Kokoc Group, и сегодня расскажу, как ускорить работу с данными в CMS Wagtail и сделать разработку проще и приятнее с помощью GraphQL и Graphene. В статье разберу реальные примеры и покажу процесс настройки конкретной системы.
Привет, хабровчане!
Я Дима, Python-разработчик из 21YARD, сервиса поиска строительных подрядчиков.
В статье расскажу о паттерне Интерпретатор. Разберемся, когда его использовать, какие концепции лежат в его основе. После используем паттерн, чтобы написать программу для решения математических выражений.
Продолжая тему разработки симулятора инсулиновой помпы в формате телеграм бота, достиг некоторых успехов. В прошлой версии симулятора был очень ограниченный функционал, что не позволяло использовать его для обучения принципам помповой инсулинотерапии. Что сделано в новой версии:
1. Все ключевые настройки (УК, ФЧИ и БП) представлены в виде списков из 12 значений (интервал 2 часа), что позволило у виртуального пациента ввести вариативность значений в течении суток. Соответственно, корректировка производится отдельно для каждого интервала или одно значение для всех, что очень удобно для первичной настройки симулятора.
В этой статье мы рассмотрим простую задачу, которая используется одной компанией в качестве тестового задания для стажеров на позицию ML-engineer.
Привет! Меня зовут Никита Соболев, я core-разработчик языка программирования CPython, а так же автор серии видео про его устройство.
Сегодня я хочу рассказать, как на самом деле работают переменные в CPython.
Под катом куча кишков питона и видео на 46 минут с дополнительными кишками питона (ни один настоящий питон не пострадал при написании данной статьи).
Этот материал посвящён ускорению обучения моделей с использованием бессерверных заданий. В частности, речь пойдёт о том, как запускать обучение с применением Pytorch, GPU и платформы Vertex.
Сегодня поговорим о Pandas MultiIndex — мощной штуке, которая спасла меня, когда пришлось агрегировать кучу многомерных данных. В отчётах за несколько лет с миллионами строк, обычный groupby() просто не справлялся, а MultiIndex сделал всё красиво и быстро. Разберём, как использовать его для сложных операций, не тратя лишнего времени.
Black and White — одна из интересных головоломок игры Puzzle Hunt Мельбурнского Университета 2010 года. По сюжету игры вы преследуете загадочного участника ТВ‑шоу в надежде раскрыть его личность. Вам удается пробраться сначала на студию, а затем и в его гримерку. Там в его одежде вы находите клочок бумаги. Одну из его сторон занимает сообщение, другую — головоломка и набор инструкций к ней.
«Разложите каждую из диаграмм ниже на полоски размером 1×1, 1×2 или 1×3 таким образом, чтобы ни одна сетка не содержала полосок с одинаковым черно‑белым паттерном, включая повороты».
