Машинное обучение *

«Яндекс Такси» совместно с Минтрансом разработает образовательную программу для губернаторов, транспортных чиновников, региональных министров и ответственных за цифровизацию транспорта федеральных госслужащих, чтобы объяснить им принципы ценообразования на транспорте и роль искусственного интеллекта.

«Обучение будут проводить топ-менеджеры компании и приглашенные эксперты, в том числе учёные. Они подробно опишут специфику и возможности применения технологий в общественном транспорте, такси, каршеринге и кикшеринге. Например, как устроены алгоритмы ценообразования и безопасности, как машинное обучение и искусственный интеллект помогают решать логистические и транспортные проблемы городов и повышать качество и доступность транспортных услуг», — пояснили СМИ в пресс-службе «Яндекса».

Компания рассчитывает с помощью общих мастер-классов, стратсессий и разборов практических задач выработать с чиновниками совместные планы по развитию транспортной системы в разных регионах.

27 ноября 2023 года Федеральная антимонопольная служба (ФАС) России признала сервис «Яндекс Такси» доминирующим на территории РФ. За 2023 год в ведомство поступило больше 300 жалоб, которые связаны со стоимостью поездок и с блокировками водителей и пассажиров в сервисе «Яндекс GO».

В марте в «Яндекс Такси» начали внедрять новый алгоритм, учитывающий отмены поездок со стороны пользователей. Он поможет сдерживать цены на такси, будет стимулировать пассажиров меньше отменять заказы без необходимости.

«Яндекс Музыка» рассказала Хабру о выпуске технологии «Нитро» для начинающих исполнителей, чтобы помочь им найти первых слушателей и попасть в рекомендации сервиса.

Тесты технологии показали, что за неделю «Нитро» позволяет артистам увеличить количество прослушиваний в десятки раз. Проект доступен на сервисе исполнителям с аудиторией до 5 тыс. слушателей в месяц.

«Нитро» помогает исполнителям, которые ещё не нашли своих слушателей. Новая технология позволяет составлять рекомендации в «Яндекс Музыке» не только по реакции пользователей на треки, но и по схожести композиций. «Нитро» использует нейросетевую технологию, которая анализирует звучание композиции и создаёт её аудиовектор — визуальное изображение звука. Затем алгоритмы подбирают для трека слушателей, которым нравится музыка с похожим аудиовектором. В итоге сервис рекомендует новые композицию этим пользователям.

«„Яндекс Музыка“ решает одну из самых острых индустриальных проблем артистов — так называемую проблему „холодного старта“, когда первые треки уже есть, а первых слушателей ещё нет. Каждую неделю мы получаем в среднем 55 тыс. новых релизов, и 80% из них поступают от артистов, у которых до 5 тыс. слушателей в месяц. „Нитро“ поможет им найти свою аудиторию и вдохновиться на создание новых хитов», — пояснила руководитель «Яндекс Музыки» Александра Сагалович.

«Яндекс Музыка» начала тестировать «Нитро» прошлой осенью. За это время технология помогла найти аудиторию более чем 600 начинающим артистам.

Исследование State of DevOps Russia 2024: 44% российских компаний уже используют искусственный интеллект для разработки и тестирования ПО.

Yandex Cloud совместно с «Экспресс 42» и другими партнёрами выпустили первую часть исследования State of DevOps Russia. В этом году в опросе участвовали более 4000 специалистов — от руководителей до тех, кто напрямую связан с разработкой, тестированием и эксплуатацией систем.

По данным исследования, в 2023 году 33% российских компаний увеличили IT‑бюджет. Больше всего бизнес инвестировал в найм IT‑специалистов и обновление программного обеспечения и лицензий. Для оптимизации работы ПО и DevOps‑процессов компании стали чаще применять технологии искусственного интеллекта — об этом рассказали 44% опрошенных.

DevOps‑специалисты используют алгоритмы машинного обучения для автоматизации тестирования кода, выявления аномалий в данных, управления конфигурациями систем и инцидентами. 47% респондентов отметили, что применение таких технологий положительно повлияло на эффективность работы.

Кроме этого, 41% опрошенных отметили повышение прозрачности работы с данными при работе в облаке. 50% респондентов отметили, что облака помогают повышать соответствие требования регулятора в области информационной безопасности.

Исследование State of DevOps Russia 2024 провели «Экспресс 42» при стратегической поддержке Deckhouse совместно с облачной платформой Yandex Cloud и Head Hunter, AvitoTech, Т‑Банк, JUG Ru Group и OTUS.

СМИ выяснили, что ИИ-инструмент Catch Me Up для автоматического формирования информации об участниках Уимблдонского турнира допускает фактические ошибки.

Разработчик Catch Me Up — IBM (давний партнёр и информационный спонсор теннисных турниров Большого шлема).

Ранее организаторами Уимблдона было решено использовать Catch Me Up для публикации справок об игроках до и после проведения матчей (с учётом их результатов). В первый же день соревнований инструмент стал путать положение игроков в рейтинге, а также причислял к перспективным игрокам уже состоявшихся спортсменов. В статистике от Catch Me Up отображалось неверное количество сыгранных матчей и прочие нестыковки.

Кроме того, по заверению организаторов, нейросеть Catch Me Up обучали на материалах с использованием британского варианта английского языка. Однако в первый же день инструмент выдал несколько сообщений, где использовались слова с написанием, характерным для американского варианта английского.

В 2023 году IBM и Всеанглийский клуб лаун-тенниса (AELTC), организатор теннисного турнира «Большого шлема», объявили о применении сервиса генеративного ИИ для комментирования матчей Уимблдонского турнира.

ElevenLabs представила Voice Isolator — ИИ-инструмент, который хирургически вырезает весь ненужный фон и звуковые помехи, оставляя только кристально чистый голос, будто записанный в студии.

Проект справляется даже с громким потомком воздуха, направленным на исполнителя.

ML-инженер в подкасте «Работник месяца»

Кто учит нейросети отличать котов от собак и как стать этим самым человеком — об этом и не только Никита Алтухов, ML-инженер Garage Eight, рассказал в новом выпуске подкаста. 

Вместе с ведущим они обсудили, какими бывают нейросети, где сегодня учиться для работы с ними и как вообще проходит день специалиста по машинному обучению. Переходи и слушай <3 

Инженеры Массачусетского технологического института (MIT) создали прототип бионического протеза голеностопного сустава, который делает походку пациента более естественной, а также позволяет подниматься по лестнице и даже танцевать.

Группы мышц делятся на две группы: агонисты, которые отвечают за конкретные действия, и антагонисты, которые совершают обратное движение. Учёные из MIT предположили, что отсутствие агонистов не помешает восстановить нервный сигнал и реакцию протеза, если считывать данные только с антагонистов.

Во время операции на мышцах антагонистов создают интерфейс AMI для считывания сигналов. Затем эти сигналы считывает протез голени, который с помощью контроллера декодирует и направляет сигналы на моторы голеностопа. Из-за слаженной работы нейроинтерфейса и протеза походка пациента с протезом выглядит более естественной.

Во процессе опытных экспериментов инженеры MIT выяснили, что интерфейс AMI показал свою эффективность, а также способность снижать посттравматические фантомные боли в ампутированных конечностях. По мнению сотрудников MIT, коммерческий вариант протеза станет доступен через несколько лет.

💬 Привет всем, давно меня не было в уличных гонках! Кстати у меня есть телеграм канал, а вчера вышла статья на Хабр про графы в рексисе. Сегодня я хочу поделиться с вами подборкой книг, которые читал или читаю сам в течении последних 3 месяцец. Приятного чтения!

➡️ Recommender System Handbook Third Edition - Francesco Ricci, Lior Rokach, Bracha Shapira.
Эта книга – настоящая библия для всех, кто хочет понять, как работают рекомендательные системы. Авторы раскрывают все аспекты, от базовых алгоритмов до продвинутых техник, делая ее незаменимой как для новичков, так и для опытных профессионалов.

➡️ Machine Learning System Design Interview - Ali Aminian, Alex Xu.
Если вы готовитесь к интервью на позицию RecSys ML-инженера, то эта книга – ваш верный спутник. В ней собраны ключевые концепции и вопросы, которые помогут вам набрать базовое понимание по дизайну рекомендаций или поиска.

➡️ Machine Learning System Design With end-to-end examples - Valerii Babushkin, Arseny Kravchenko.
Практическое руководство, полное примеров от начала до конца, поможет вам научиться строить системы машинного обучения, особенно спасибо авторам за дизайн документы, которые я так люблю.

➡️ The Minimum Description Length Principle - Peter D Grunwald.
Эта книга глубоко погружает в теорию минимальной длины, который играет важную роль в статистическом моделировании и машинном обучении. Если вы любите копаться в основах и понять почему вообще машинное обучение работает — welcome.

Развертывание локальной версии нейросети LLaMA с использованием Docker

Привет! В этом руководстве я покажу, как в несколько команд развернуть локальную версию нейросети LLaMA на вашем компьютере или сервере (работает на Windows, macOS и любых дистрибутивах Linux).

Шаг 1: Установка Docker

Для начала, установите Docker. Новичкам рекомендуется установить Docker Desktop.

Шаг 2: Запуск Docker контейнера

Откройте консоль и выполните следующую команду:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Эта команда развернет локальный образ llama, который будет работать исключительно на вашем процессоре. Также существует вариант использования Nvidia GPU, с инструкциями можно ознакомиться здесь.

Шаг 3: Запуск языковой модели

Для запуска самой модели выполните команду:

docker exec -it ollama ollama run llama3:8b

Эта команда загрузит и запустит языковую модель llama3:8b (4.7GB). Также доступна более крупная версия llama3, 70b (40GB). Вы можете запускать и другие модели, список которых доступен здесь.

Чтобы запустить другую модель, используйте команду:

docker exec -it ollama ollama run model_name:tag

Интеграция в проекты

Использование языковой модели в таком формате может показаться неудобным. Более интересно интегрировать ее в свои проекты, например, в Telegram-бота с использованием Python.

Если вам интересно, как это сделать, подписывайтесь на меня. В следующем посте я покажу, как использовать локальную нейросеть (llama3) в Python проектах, включая создание Telegram-бота.

«Яндекс» сообщил Хабру, что компания провела в Алматы фестиваль технологий Yandex Qazaqstan Day, где представила сервис «Нейро» для Казахстана спустя два с половиной месяца после релиза в России.

Проект «Нейро» объединяет возможности поиска и больших генеративных моделей. Пользователь может задать в сервис любой вопрос на казахском или русском языке. «Нейро» изучает информацию из всего казахоязычного и глобального интернета и собирает её в один ёмкий ответ со ссылками на источники. Сервис уже доступен на yandex.kz.

В «Яндексе» пояснил, что «Нейро» понимает естественный язык общения. Чтобы спросить его о чём‑то, не нужно подбирать формулировки: можно писать запросы так, как они приходят в голову. Кроме того, он умеет отвечать на вопросы, для которых обычно нужно изучить несколько источников. Например: «Какие есть популярные туристические направления на юге Казахстана?».

Также к текстовому запросу можно добавить картинки. Например, сфотографировать яблоки и спросить, что это за сорт. «Нейро» может ответить на казахском или на русском, в зависимости от того, на каком языке был задан вопрос.

В ходе конференции GigaConf 2024 вице-президент по кибербезопасности «Сбера» Сергей Лебедь рассказал, что искусственный интеллект (ИИ) в кибербезопасности не заменит человека, а придаст импульс появлению новых профессий, включая оператора кибераватара, тренера моделей, конструктора агентов, специалиста по знаниям.

По данным представителя компании, ежедневно в «Сбере» обрабатывается порядка 500 млрд событий в сфере кибербезопасности — в 10 раз больше, чем четыре года назад. За это же время в 2,5 раза выросло ежемесячное количество транзакций, а число изменений в цифровых продуктах увеличилось в 10 раз.

В «Сбере», сейчас видят три варианта построения процессов кибербезопасности с использованием технологий ИИ:

• традиционные процессы, сконструированные людьми, — ИИ-агенты будут исполнять их и сообщать об отклонениях в их выполнении;

• ИИ самостоятельно конструирует новые процессы, человек берёт на себя роль конструктора «мозга» ИИ;

• наиболее футуристический вариант: человек декларативно ставит задачу и оценивает результативность, ИИ‑система сама от и до определяет, как будет решена задача.

«При этом ключевым умением ИИ должно быть самообучение и переход от процесса обработки данных к применению знаний. Это значит, что ИИ должен уметь получать опыт, обобщать его, познавать и понимать. То есть, по сути, быть мыслящей сущностью, самостоятельно принимающей верные решения и совершающей верные действия в каждом конкретном случае», — пояснил вице-президент по кибербезопасности «Сбера».

Итоги мини-конкурса с Тирексами, комментариями и большой языковой моделью

Три недели назад мы опубликовали статью о sentiment-анализе комментариев в блоге Selectel. И пообещали, что хабраюзеры смогут получить наших плюшевых Тирексов за свои комментарии. Вот только оценивали их не мы, а большая языковая модель с Hugging Face. Кстати, ссылка на модель тоже была в статье.

Итак, что же мы имеем?

Прежде всего, аплодируем находчивости @Galim999. Да, к креативности и осмысленности комментариев есть вопросы, но чисто технически условие конкурса выполнено. LLM посчитала первый комментарий самым негативным, а второй — самым позитивным. С — смекалочка. И мы бы отдали сразу двух Тирексов, но…

Мы не смогли пройти мимо комментария @fenrir1121. 73 лайка говорят сами за себя. Тут однозначно должен быть Тирекс за креатив 😊 Кстати, LLM оценила оставленный комментарий как негативный.

Победители, ваши Тирексы ждут вас! Напишите в личные сообщения @El_Gato_Grande, чтобы уточнить, как вы можете получить свои призы.

Исследователи Штутгартского университета в Берлине выпустили обновление нейросети Toucan для преобразования текста в речь. Теперь модель машинного обучения поддерживает более 7 тыс. языков и диалектов. Код проекта открыт и опубликован на GitHub, а в разработке использовали Python и PyTorch.

Вместе с этим авторы проекта поделились датасетом на 598 ГБ и развернули демо на платформе Hugging Face (есть русский язык).

Где вы будете в следующий четверг? Мы — на GigaConf!

27 июня в креативном пространстве «Дизайн-завод» в Москве соберутся инженеры и разработчики из ведущих технологических компаний: Ozon Банк, Сбер, Huawei, Positive Technologies, МТС Digital, Альфа-банк и Cloud.ru в том числе😉.

На конференции наши эксперты расскажут про:

• платформу для достижения технологического суверенитета, спикер — Михаил Сайнуков;

• секреты разработки и развертывания cloud native-приложений и микросервисов на базе serverless-технологии, спикер — Михаил Бондаревский;

• опыт создания платформы данных с нуля, спикер — Ася Грибанова;

• обучение и инференс больших языковых моделей — как эффективно использовать дорогостоящие GPU-ресурсы, опыт успешного и неудачного применения LLM. Спикер — Дмитрий Юдин;

• внедрение DevSecOps, которое не увеличит время релизов — как добились сканирования кодовой базы в 20 тысяч строк за 30 секунд, с какими проблемами столкнулись и как их решили. Спикеры — Алексей Подольский и Сергей Губарев.

А программу GigaConf откроют старший вице-президент Сбера Андрей Белевцев, лидер сообщества MindSpore Hu Xiaoman, управляющий директор SberDevices Сергей Марков, а также специальный гость — министр цифрового развития Максут Шадаев.

📅 Когда: 27 июня в 10:00 мск — офлайн и 11:00 — онлайн

👉Зарегистрироваться

Будем рады встрече на GigaConf!

Интересное в блоге:

• Что такое free tier и какие облачные ресурсы вы можете бесплатно использовать прямо сейчас

• Запускаем кластер OpenSearch для централизованного хранения лог

MTS AI выводит на рынок ассистента для разработчиков — ИИ-сервис Kodify, созданный на базе собственной большой языковой модели (Large Language Model, LLM) Cotype.

Сообщается, что ИИ-система может сгенерировать исходный код с нуля по текстовому описанию на естественном языке или предложить наиболее релевантное продолжение кода на основании того, что содержится до и после выбранного фрагмента.

Модель не требует дообучения и доступна клиентам сразу после установки. Kodify поддерживает наиболее популярные среды разработки и генерирует код на Python и Java. По запросу клиента разработчики MTS AI могут добавить поддержку Go и других популярных языков программирования. Также Kodify может перевести код с одного языка на другой — например, для оптимизации устаревшего софта или интеграции с другим проектом.

В планах разработчиков добавить в Kodify помочь в анализе и оптимизации кода, например сервис сможет проверить код на наличие ошибок и уязвимостей, проведёт автоматические тесты, предложит варианты рефакторинга, а также автоматически составит документацию по выделенному фрагменту.

Kodify можно запустить в формате on-premise на инфраструктуре заказчика — вся обработка и генерация кода будет происходить только в контуре компании. «Это также позволит дополнительно обучить нейросеть на собственных примерах и полностью управлять источниками информации», — пояснил в MTS AI.

Энтузиаст спроектировал и построил систему Pixelbot 3000. Это принтер Lego, который умеет автоматизировать процесс сборки сложной мозаики размером 32x32 квадратика из разноцветных кубиков (доступно 15 цветов) популярного конструктора с помощью ИИ (DALL-E 3 от OpenAI).

В Китае запустили большой эксперимент по использованию большого парка электротакситакси с автопилотом. В Ухани выпущено на дороги общественного пользования 500 машин без водителей. Эксперты по ИИ и власти города уже решили далее масштабировать эксперимент до 1000 машин после первоначальных тестов. В таких такси на месте водителя никто не сидит.

В лаборатории Jouhou System Kougaku Токийского университета создали прототип робота-гуманоида Musashi, который умеет водить автомобиль. В головной части робота размещены две подвижные камеры: по одной на каждый глаз. С их помощью робот получает данные о том, что происходит вокруг. Камеры могут поворачиваться и наклоняться, например, чтобы Musashi посмотрел в зеркало заднего вида.

С помощью ручных захватов с пальцами робот может управлять рулевым колесом машины, а также включать зажигание и поворотники. На газ и тормоз он нажимает двумя ножными конечностями. Главное преимущество такого решения заключается в том, что роботу не требуются камеры, лидары и прочие датчики и технологии для запуска режима беспилотного вождения в любом типе транспорта.

Пока что этот проект находится на первоначальной стадии разработки. В ходе первых испытаний стало ясно, что роботу нужно научится быстрее двигать руками, особенно в поворотах, чтобы управлять обычной машиной на уровне человека.

Пользователи социальных сетей отмечают, что инженеры Stability AI слишком сильно зацензурили модель машинного обучения Stable Diffusion 3. Компания боролась с генерацией NSFW-контента, и теперь подобные запросы выдают пугающий результат. Люди на таких изображениях обезображены и слабо похожи на людей.

Я думаю, многие уже слышали о том, что в общий доступ выложили Stable Diffusion 3.

Скачать ее можно, например, на Hugging Face. Мое внимание привлект тот факт, что SD3 во-первых достаточно скромная по требованиям к железу - версия Medium влезает в мою старую GTX 1080 с 8 GB памяти, а во-вторых, она наконец-то может рисовать сносный пиксель-арт, который никак не получался у прошлых версий.

Я не мог пройти мимо такой возможности, по-быстрому набросал телеграм-бота, который пинает мою локальную SD3 Medium и постит получившеся в группу Pixel Diffusion в телеграме. Генерация на моей древней видеокарте занимает минут 15, соответственно, постит он примерно каждые 15 минут. Я не думаю, что буду в таком режиме крутить его неделями, но пока пусть поработает и поисследует пространство состояний. Кто любит пиксель-арт - добро пожаловать!

Код, который это все делает - предельно простой. Достаточно установить библиотеку diffusers из pip, а дальше дело техники.

from diffusers import StableDiffusion3Pipeline
from PIL import Image

# отключаем тяжеловесный текстовый энкодер и токенайзер, которые не влезут в 8 GB видеопамяти
pipeline = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", text_encoder_3=None, tokenizer_3=None,  torch_dtype=torch.float16).to('cuda')

# prompt собирается из двух кусков, взятых рандомно из больших списков, сгенеренных ChatGPT

image = pipeline(prompt, width=1024, height=1024).images[0]
image.save(f_name)