Машинное обучение *

Авторы жгут! Итоги автоген-челленджа

Всем привет! На связи команда Самолета. Совсем недавно мы объявляли о старте автоген-челледжа — совместной инициативы Хабра и Самолета. Мы призывали авторов с практическим опытом в области генеративного ИИ наваять технохардкора. Теперь пришло время подвести итоги и объявить призёров. 

Всего в челлендже приняли участие 26 статей, как новых, так и старых (благо правила позволяли). Если смотреть по популярности тем, то самыми-самыми стали большие языковые модели и их дообучение. Кроме этого было затронуто и много других тем — компьютерное зрение, колоризация видео, оптимизация, бенчмарки.

На почётном третьем месте оказался @breakmirrors с лонгридом за авторством Екатерины Венедиктовой про ускорение обучения нейросетей. Хотя изначально мы хотели нечто более практическое, энциклопедизм этой статьи и при этом простота изложения определённо заслуживают награды. Автор получает набор мерча от Самолета + блог по тарифу Бизнес на полгода.

Второе место занимает @efreelancer с прошлогодней, но всё ещё крутой статьёй про дообучение ruGPT. Автор заявил на челлендж сразу четыре интересных статьи, и одна из них получает законный приз — то же, что у третьего места, плюс пост в соцсетях от Хабра.

А главным автогенщиком мы после долгих дебатов выбрали @Aleron75 с подробным гайдом про дообучение Llama. За технохардкорность и актуальность он получает те же плюшки, что и у второго места, плюс сторис на Хабре.

Спасибо всем авторам! Вы делаете Хабр тортом.

Проект ruMorpheme — позволяет обучить модель для морфемного анализа русского языка. При желании код можно адаптировать и для других языков, но основное внимание уделено русскому.

ruMorpheme вдохновлён и является портом с TensorFlow (0.12) на PyTorch (2.4) проекта NeuralMorphemeSegmentation, реализованного в рамках публикации "Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language" авторства Алексея Сорокина и Анастасии Кравцовой.

Обученная модель способна сегментировать слова, выделяя в них следующие морфемы:

• Приставки (PREF)

• Корни (ROOT)

• Соединительные гласные (LINK)

• Дефисы (HYPH)

• Суффиксы (SUFF)

• Постфиксы (POSTFIX)

• Окончания (END)

Попробовать модель можно через Telegram-бот: @ruMorphemeBot, его можно добавить в группу и отправлять текст через упоминание @ruMorphemeBot.

Ссылки:

• Исходный код на GitHub

• Веса модели на HuggingFace

• Исходники бота на GitHub

Как пользоваться:

git clone https://github.com/EvilFreelancer/ruMorpheme.git
cd ruMorpheme
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Для выполнения инференса:

python predict.py input_text.txt --model-path=evilfreelancer/ruMorpheme-v0.1

Скрипт автоматически скачает веса модели и выполнит анализ.

Пример вывода:

{"word": "родословие", "morphemes": [{"text": "род", "type": "ROOT"}, {"text": "о", "type": "LINK"}, {"text": "слов", "type": "ROOT"}, {"text": "и", "type": "SUFF"}, {"text": "е", "type": "END"}]}

Спасибо за внимание!

10 октября — флагманская конференция Selectel Tech Day.🦖

Надеемся, вы ждали ее так же сильно, как и мы.

Самое время занять место в зрительном зале — регистрируйтесь на сайте мероприятия. Не забывайте про тематический канал ивента: в нем мы делимся подробностями докладов и новостями программы, а еще проводим конкурсы.

Прямо сейчас проходит один — вы успеваете проверить свои предсказательные способности и побороться за наш мерч 🦾

Встречаемся 10 октября — офлайн в Москве и онлайн.

Мультимодальная модель от Mistral?

Сегодня на платформе X Mistral опубликовала пост с magnet-ссылкой на новую небольшую модель Pixtral-12b-240910 размером около 24 гб.

Pixtral получила поддержку изображений: теперь она умеет обрабатывать изображения наряду с текстом. Передавать изображение можно тремя способами: как объект ImageChunk, URL-адрес ImageURLChunk с автоматической загрузкой или в формате base64.

Если говорить об изменениях, то также модели увеличили словарь до 131072 токенов; в токенизатор Mistral были добавлены три новых токена для работы с изображениями; а еще для обработки изображений используется vision adapter, основанный на функции активации GeLU и 2D RoPE

По этой ссылке можно найти PR с использованием.

Сегодня ночью Pliny в сотрудничестве с LMSYS и сообществом BASI представили Red Arena - платформу для исследования возможностей искусственного интеллекта. Это уникальное игровое пространство было создано с целью оптимизации поиска истинных возможностей ИИ. Платформа ориентируется на сообщество и предлагает различные вызовы, соревновательные запросы, а также открытие новых методов взаимодействия с ИИ. Red Arena поддерживает несколько моделей, не имеет ограничений и полностью работает с открытым исходным кодом.

Согласно твиту Pliny , после короткого периода раскрытия данных, каждый набор данных и каждый запрос будут опубликованы для свободного доступа.

Одной из первых игр в Red Arena стала "Bad Words" (в твите выше как раз есть небольшая демонстрация игры), в которой участники должны за 60 секунд заставить модель произнести запретное слово, а именно предложение "Ты" в сочетании с нецензурным выражением.

Если так посудить, то Red Arena не просто эксперимент, а интересная инициатива по коллективной оценке возможностей искусственного интеллекта.

Автоген-челлендж на Хабре: расскажи о своем проекте

Сгенерировать видео по промпту или превратить мурчание кота в электрошансон — может каждый с приходом генеративного контента. Однако не каждый может создать подобный ИИ-сервис или переобучить нейросеть под свои задачи. 

Если вы один из тех героев, которые работают с генеративным ИИ профессионально и пытаются сделать нечто крутое на острие современных технологий, приглашаем вас участвовать в автоген-челлендже Хабра и «Самолета».

Заявите о вашем проекте из сферы генеративного ИИ и выиграйте информационный грант от Хабра для промо вашего проекта. Условия участия в челлендже:

• Принимаем материалы до конца сентября.

• Подойдут статьи и посты в личных и корпоративных блогах.

• Чтобы участвовать, поставьте к статье или посту специальный тег — автоген-челлендж.

• Темы — генеративный ИИ, большие языковые модели, ИИ-агенты; применение в реальных задачах, настройка инфраструктуры, обучение и тестирование.

Из пятёрки статей и постов-участников с самым высоким рейтингом эксперты «Самолета» и Хабра выберут от одного до трёх победителей. Эти счастливчики смогут продвинуть свой проект в историях на Хабре и в социальных сетях Хабра. Кроме того, все победители получат мерч от «Самолета».

При работе с АI инструментами к ним нужно относиться как к этим двоим с картинки - мозгов немного, но очень исполнительные.

Поэтому надо отдавать им четкие промпты и держать их в строгой узде.

Когда вы спрашиваете голосовой помощник о погоде, курсе валют и пробках на дороге, он ищет в интернете свежие данные, извлекает их, после чего «оборачивает» в стандартную фразу и сообщает вам. Помогает ему в этом RAG — Retrieval Augmented Generation, что можно перевести как генерация (ответа) с использованием дополнительной информации.

Технически это метод программного дополнения вывода (большой) языковой модели данными из внешних источников. Его можно применить в задачах, где ИИ требуется постоянно оперировать свежими данными. Также этот метод позволяет адаптировать LLM под собственные базы знаний без необходимости дообучать её.

Например, RAG используют для подключения LLM в режиме реального времени к новостным каналам и лентам социальных сетей, дополнения выдачи поисковых систем актуальной информацией.

Несмотря на простую идею, внутреннее устройство RAG довольно сложно. Прежде, чем добавить данные в свой ответ, необходимо найти релевантную информацию в базе знаний. Для этого информация хранится в виде векторных представлений, которые позволяют выполнять семантический поиск.

Для этого приходится перефразировать запросы, разбивать их на фрагменты, ранжировать поисковую выдачу и делать много другой алгоритмической работы. Это и есть Retrieval — отдельное искусство «найти нужное дерево в лесу».

Подробнее о RAG читайте в этой статье.

Подборка вебинаров августа по ML 🗓

📌 22 августа, 16:00 

Как сократить расходы на инференс LLM? Кейс компании «Актион»

Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM.

Присоединиться онлайн →

📌 29 августа, 16:00 

Production ML: как настроить GPU-ноды в кластерах Kubernetes?

На практическом вебинаре покажем особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.

Присоединиться онлайн →

YandexGPT в OpenWebUI

Недавно я решил погонять нейросети от Yandex. До этого момента я активно использовал OpenWebUI для взаимодействия с локальными моделями и моделями от OpenAI. Этот интерфейс оказался весьма удобным и функциональным, его можно легко запустить через Docker или установить с помощью pip.

Для интеграции YandexGPT в OpenWebUI я создал форк популярного проекта LiteLLM, который, кстати, используется в OpenWebUI, и добавил поддержку YandexGPT.

Для тех, кто хотел бы повторить мой опыт, вот краткое руководство:

1. Клонируем мой репозиторий.

2. Настраиваем файл конфигурации

Содержимое конфигурационного файла ./litellm/proxy/config_yandex.yml:

model_list: 
  - model_name: yandexgpt-lite
    litellm_params: 
      model: yandex/yandexgpt-lite   
      api_key: AQVN30_PoL8sF6Yz-gzYLcwRV

  - model_name: yandexgpt-pro  
    litellm_params: 
      model: yandex/yandexgpt   
      api_key: AQVN30_PoL8sF6Yz-gzY1cwRV

3. Запускаем Docker командой:

docker-compose -f docker-compose-yandex.yml up --build

Так же можно без Docker.

1. Установливаем все необходимые зависимости через pip и запускаем проект напрямую:

cd litellm/litellm/proxy/
YANDEX_FOLDER_ID=<Ваш FolderID> python3 proxy_cli.py --config config.yml

Не забудьте настрить файл конфигурации, указав свои значения для Folder_ID и Token.

Репозиторий проекта можно найти по ссылке.

Пресс‑службы VK сообщила Хабру, что новая умная колонка «VK Капсула Про» с голосовым помощником «Маруся» будет представлена в первой половине осени.

Устройство получило обновлённый внешний вид и мощность звука до 65 Вт.

В колонке «VK Капсула Про» будут реализованы новые возможности управления умным домом, а также встроены датчики температуры, влажности и освещённости. Устройство будет иметь датчик присутствия, который работает на алгоритмах обработки ультразвуковых волн.

Фактически, приобретая новую колонку, пользователи получат базовый умный дом. Кроме того, команда «Маруси» работает над улучшением функциональности голосовых AI‑технологий».

По информации VK, в первом квартале 2024 года пользователи совокупно провели на 50% больше времени, используя голосового помощника в сервисах VK, чем в первом квартале 2023 года. Общий time spent "Маруси" в VK Капсулах вырос на 53% год к году.

Команды «Маруси» и «VK Капсулы» с прошлого года начали объединение в единое направление, которое развивает контентные и рекомендательные системы во всех сервисах VK, искусственный интеллект и умные устройства. В мае были запущены продажи «VK Капсул» в Беларуси, а в июле — новая функциональность: «Маруся» научилась читать статьи из «Дзена».

Лаборатория искусственного интеллекта «Сбера» совместно с Центром индустрии здоровья «Сбербанка» и Лабораторией рентгенэндоваскулярных методов диагностики и лечения Тюменского кардиологического научного центра — филиала Томского НИМЦ РАН предложили решение, которое позволяет по видеофайлам коронарографии автоматизировать расчёт SYNTAX‑балла — методики оценки тяжести поражения при ишемической болезни сердца.

Система уже работает в информационно-справочном режиме, результат модели искусственного интеллекта (AI) не является медицинским заключением и не заменяет его.

Врачи и пациенты могут загрузить своё исследование на сайт Тюменского кардиологического научного центра. AI‑модель в тестовом режиме рассчитает значение по шкале SYNTAX. Медицинским работникам сервис будет полезен как второе мнение по интерпретации результатов исследования, а пациенты смогут использовать результаты оценки при обращении к врачу за дополнительной консультацией.

Научная работа End-to-end SYNTAX score prediction: benchmark and methods о проведённом исследовании рецензируется на крупной международной конференции по компьютерному зрению WACV 2025.

Представлен бесплатный нейроапскейлер AuraSR-v2 с бустом разрешения любых изображений в восемь раз. Заливаете шакал — получаете качество профессионального фотоаппарата.

Проект работает из браузера, в нём нет рекламы, нет водяных знаков и не требуется кредитов на апскейл.

В «Яндексе» научили нейросеть YandexART восстанавливать архивные видеозаписи и кинохронику. Эта опция может быть полезна кинокомпаниям, музеям, историкам и другим специалистам для улучшения качества значимых видео и работы с историческим наследием. Например, нейросеть уже восстановила видеохронику из материалов «Мосфильма» и Российского государственного архива кинофотодокументов для нового сериала Кинопоиска «Игры» о подготовке и организации Олимпиады-80.

Благодаря новой возможности YandexART события сорокалетней давности стали доступны современному зрителю в хорошем качестве. Нейросеть помогла добавить на размытый и нечёткий кадр фактуру и недостающие детали. Например, она прорисовала кирпичную кладку на стене и узоры на женском платье, а у машины восстановила фары и поворотники, которые было плохо видно. Также нейросеть увеличила разрешение и резкость и повысила качество видеокадров.

Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть,
которая создаёт и улучшает изображения и анимацию, а также обрабатывает
загруженные фотографии. Разработчики научили модель не «галлюцинировать» для этого проекта. YandexART теперь умеет превращать шумные, размытые и сильно сжатые кадры в контент с высокой детализацией объектов и текстур благодаря поэтапному обучению на материалах низкого качества.

Над восстановлением архивных видео с помощью нейросетевых технологий и компьютерной графики работали команды компьютерного зрения «Яндекса», Yandex Research и «Плюс Студии».

OpenAI: триумф и шаг к пропасти

OpenAI заставили весь мир поверить, что ИИ способен заменить человека во многих вопросах. В один день про компанию вышли две новости, противоположные по настроению. OpenAI запустила прототип поискового сервиса SearchGPT. И в тот же день медиа New York Post сообщило, что убытки OpenAI за год могут достигнуть $5 млрд. Идёт большая игра, но каковы расклады?

Зачем OpenAI поисковик? Компания сотрудничает с Microsoft, у которой есть свой — Bing. Коммерческий продукт должен учитывать интересы пользователей, привыкших к его интерфейсу и функциональности, любые резкие изменения могут вызвать их отток. Для стартапа выпустить новый продукт нормально: OpenAI может проверить, насколько хорошо их решение, и уже потом договориться с Microsoft по использованию нового поисковика. Враг-то общий — Google.

Кому мог помешать новый поисковик? Многим. Например, СМИ очень волнуются за использование их контента для обучения нейросетей. Поэтому OpenAI официально заплатило миллионы долларов для доступа к архивам ведущих медиа США.
Сумма убытков велика, но они ожидаемы. Тот же ChatGPT для пользователей компания предоставляет бесплатно. Доходы небольшие, а надо тратиться на серверные мощности, плюс в компании собраны дорогие специалисты по нейросетям.

OpenAI — типичный стартап, который может вызвать передел рынка или даже создание нового — как сделали Uber и TikTok. Они требуют миллиардных вложений, но в случае успеха могут стать лидерами с триллионной капитализацией.

Для обучения Llama 4 наверняка потребуется почти в 10 раз больше вычислительных мощностей, чем для Llama 3. Такое заявление во время конференц-звонка по доходам за второй квартал 2024 года сделал Марк Закерберг, глава экстремисткой организации Meta, деятельность которой запрещена.

Совсем недавно вышла Llama 3.1 в нескольких вариантах, в одном из которых у большой языковой модели 405 млрд параметров. Для предобучения этой БЯМ 16 тыс. ускорителей Nvidia H100 обрабатывали датасет из 15 трлн токенов в течение 54 дней. Кстати, у варианта Llama 3.1 на 405 млрд параметров совсем недемократичные требования к инференсу: даже на RTX 4090 токен она будет выдавать по полчаса.

Стоимость предобучения настолько огромных БЯМ составляет сотни миллионов долларов. Блогеры прикидывают, что на обучение Llama 3.1 было потрачено никак не меньше $100 млн. Ресурс Information утверждает, что OpenAI тратит в год на обучение и запуск моделей по $7 млрд.

При этом БЯМ семейства Llama 3 бесплатно вышли для всех желающих, а продукты OpenAI проприетарны и работают через платный API. Впрочем, это никак не помогает последней выйти в плюс по деньгам. Если текущая финансовая траектория сохранится, OpenAI потеряет в этом году $5 млрд.

Дэвид Бресслер — автор Formula Bot, дополнения для Excel и Google Sheets, которое с помощью ИИ помогает писать формулы и автоматизировать задачи, а также обрабатывать и анализировать данные. Дополнение платное и пользуется популярностью, поэтому приносит Бресслеру десятки тысяч долларов дохода каждый месяц.

На днях Дэвид поделился наблюдением: при общении с клиентами сразу в четырёх случаях подряд ему рассказали, что впервые услышали про Formula Bot от ChatGPT. В твите Бресслер также приводит скриншот общения с ChatGPT, где на вопрос об умных инструментах для Excel большая языковая модель GPT-4o рекомендует продукт Дэвида. При этом БЯМ поставила встроенный в Excel майкрософтовский инструмент Ideas лишь вторым пунктом списка рекомендаций.

Formula Bot занимает первые строчки разнообразных рейтингов ИИ-дополнений для Excel, поэтому удивительного мало. Подобный ответ GPT-4o выдаёт не всегда. Сам Дэвид связывает проявление эффектами с чем-то уровня SEO.

Как утверждает Бресслер, ChatGPT не приводит много клиентов, в лучшем случае это дополнительные 10 %. Впрочем, в комментариях к твитам его всё равно просят научить приёмам поисковой оптимизации для ChatGPT.

Возможно, поисковая оптимизация для включения в текстовый датасет предобучения БЯМ когда-нибудь действительно станет востребованной.

Сайт с вакансиями правительства Соединённого Королевства Великобритании и Северной Ирландии опубликовал вакансию инженера промптинга больших языковых моделей. Трудоустроят специалиста в AI Safety Institute — организации, которую открыли на Саммите по безопасности ИИ 2023 года. Институт занимается оценкой продвинутых систем искусственного интеллекта, разрабатывает инструменты для контроля государства в этой сфере и помогает обмену информацией.

От специалиста ждут навыков в достижении нужного поведения БЯМ с помощью составления текстовых промптов, хорошее понимание БЯМ и их архитектуры, а также владение различными технологиями промптинга (chain of thought, ReAct, автоматическая генерация промптов и так далее). Нужно уметь оценивать БЯМ по таким метрикам, как BLEU, ROUGE и разнообразным бенчмаркам способности размышлять и писать код.

За плечами у соискателя должен быть реальный практический опыт построения приложений, которые полагаются на БЯМ для ответов на вопросы, генерации текста, помощи с кодом и других схожих задач. В вакансии также просят уметь писать на Python и вообще программировать. Будущий инженер промптов должен обладать хорошими навыками коммуникации, анализа показателей производительности моделей и их визуализации.

Размер суммарной финансовой компенсации составляет от 65 до 135 тыс. фунтов стерлингов.

На русскоязычной платформе LLM Arena появилась языковая модель YandexGPT Experimental. «Яндекс» пока не анонсировала её, а на платформе отмечен статус In training. Вероятно, компания работает над новой более мощной версией YandexGPT.

История IT: как появилась первая нейросеть

В 2024 году никого уже не удивить возможностями ИИ — люди используют его в обыденной жизни. Но еще несколько десятилетий назад нейросети оставались загадкой для человечества, а термин «искусственный интеллект» приравнивался к научной фантастике. Как все изменилось? Откуда появились нейросети и кто их придумал? Ответим на эти вопросы сегодня в посте. 

С чего все зародилось 

Сегодня мы не будет уходить далеко в историю, вместо этого рассмотрим основные события, которые повлияли на появление нейросетей. 

В 1943 году Уоррен Мак-Каллок и Уолтер Питтс опубликовали исследование «Логическое исчисление идей, относящихся к нервной активности». В нем вывели математическую модель и поделились, как она может выполнять логические операции. По сути, искусственная нейронная сеть приравнивалась к упрощенной модели естественного нейрона.

В 1957 году Фрэнк Розенблатт разработал компьютерную модель восприятия информации мозгом «Перцептрон», основанную на исследованиях Мак-Каллока и Питтса. Впоследствии ее можно было использовать в виде электронной машины «Марк-1». 

Перцептрон стал одной из первых моделей нейронных сетей, которая могла обучаться на данных. Он состоит из сенсоров, ассоциативных и реагирующих элементов.

На сегодня модель устарела, однако на ее примере можно изучить основные понятия и простые алгоритмы обучения нейронных сетей.

С остальными событиями, которые повлияли на развитие нейросетей, можно ознакомиться по ссылке.