Машинное обучение *

18 апреля проводим митап MLечный путь 2024 ?

Обсуждаем инфраструктуру для ML, сложности построения production ML-систем, LLM, оптимизацию моделей, безопасность и сокращение расходов на инференс. Выступают эксперты из Selectel, СберМаркета,, Dstack, Axenix, MIL Team, Raft.

Темы докладов

• Актуальный опыт внедрения feature store в командах СберМаркет. Feast уже можно внедрять или ждём версию 1.0?

• Непреодолимая легкость повышения утилизации GPU: Allocation и Profiling обычного человека.

• Как задеплоить свой ML-проект в разных облаках, если ты Data scientist и у тебя лапки в DevOps.

• Тренды GenAI их влияние на подходы к консалтингу B2B-компаний.

• Быстрый и экономичный инференс LLM в прикладных задачах.

• Инфраструктурные векторы атак на LLM: что говорит OWASP и чего в нем нет.

Смотрите подробную программу и регистрируйтесь →

«Яндекс» тизерит свой новый сервис на основе нейросетей. Всё указывает на то, что в компании его представят уже 16 апреля.

Пользователи нашли на сайте ya.ru пасхалку: если нажать на логотип в левом верхнем углу, то страница схлопнется, и появится слово «Нейро».

В официальном телеграм‑канале «Яндекса» поясняется, что это будет некий «новый способ искать ответы».

Ранее директор бизнес-группы поиска и рекламных технологий «Яндекса» Дмитрий Масюк заявил в интервью СМИ о новинке от компании. «В ближайшее время мы представим новый продукт на стыке поиска и генеративных нейросетей, который даст пользователям совершенно новый опыт работы с информацией в интернете — это самое радикальное обновление в этой части «Яндекса» за последние 20 лет», — пообещал Масюк.

Яндекс подключает Алису про, обещает, что за 300 р. в мес и 100 р. за саму Алису, получаешь Алису с языковой моделью чат GPT3, а не GPT1, как в бесплатной версии. По факту, после оформления подписки Алиса продолжает работать на той же языковой модели GPT , не GPT3. Об этом можно узнать прямо из переписки с ней, прямо в чате. Сотрудники поддержки отморозились и обещают вернуться с пояснениями. Видимо они забыли проинструктировать своё изобретение, как накалывать пользователей. Благо, подписка за этот прикол первый месяц бесплатно и можно отказаться. Жалко потерянного времени.

«Яндекс» представил голосовой ассистент «Алису» нового поколения. Она работает на базе большой языковой модели YandexGPT, которая умеет объяснять сложные понятия, помогает решать креативные задачи и поддерживает диалог.

Новая «Алиса» уже доступна всем пользователям на всех платформах и в новом интерфейсе a.ya.ru — оцените сами, как она изменилась.

SALMONN — это новая мультимодальная модель машинного обучения с открытым исходным кодом, предназначенная для обработки аудиоданных любого типа: речи, музыки и различных звуков.

В основе SALMONN лежит интеграция большой языковой модели (LLM) с двумя энкодерами: Whisper для восприятия речи и BEATs для остальных звуков. Между собой аудиоэнкодеры и LLM объединяются через модуль преобразования данных Q-Former.

Благодаря такому сочетанию SALMONN может выполнять широкий спектр задач интеллектуальной обработки аудио, начиная с распознавания речи и заканчивая генерацией историй на основе услышанных звуков. Достаточно дать ей на вход аудиофрагмент и текстовое описание задачи.

В качестве LLM у SALMONN используется модель Vicuna, созданная на основе модели LLaMA с 13 миллиардами параметров и обученная на лучших диалогах с ChatGPT. Также авторы SALMONN выпустили версию своей модели на основе Vicuna с 7 миллиардами параметров. Первая требует для запуска видеокарту с 80 Гб памяти, а вторая — «всего» с 40 гигабайтами.

За счёт квантования модель можно ужать до 24 Гб, тогда получится запустить её даже на игровой видеокарте, а не только на профессиональном ускорителе.

Генеральный директор британской компании ARM Рене Хаас заявил про необходимость решения проблемы с высоким энергопотреблением систем искусственного интеллекта.

Такие модели ИИ, как ChatGPT, «просто ненасытны» в том, что касается электроэнергии, цитирует СМИ Хааса. По его словам, чем больше информации собирают такие модели, тем умнее они становятся. Но «чем больше информации они собирают, чтобы стать умнее, тем больше энергии на это затрачивается».

Хаас пояснил, что, пока эта проблема не решена, ожидать прорывов в сфере не следует. «Будет сложно ускорить наступление каких-то прорывных событий, если энергетические требования к большим дата-центрам, в которых люди занимались бы исследованиями, продолжают расти и расти», — уточнил глава ARM.

По словам Хааса, без достижения более эффективного использования электроэнергии «к концу десятилетия дата-центры для ИИ могут потреблять от 20% до 25% всех потребностей США в электроэнергии. Если быть честным, то это вряд ли можно назвать устойчивым (развитием) ИИ».

В начале года Международное энергетическое агентство отмечало, что один запрос к ChatGPT потребляет 2,9 кВт•ч электроэнергии. Это примерно столько же, сколько потребляет трёхминутная работа 60-ваттовой лампы накаливания. И это в десять раз больше, чем требуется для выполнения запроса в Google. По данным экспертов агентства, спрос на электричество со стороны ИИ-индустрии за три года, с 2023 года по 2026 год, вырастет как минимум в десять раз.

Apple представила модель машинного обучения Ferret-UI для распознавания элементов пользовательского интерфейса. В исследовании компания отметила, что практически все доступные мультимодальные языковые модели плохо работают с интерфейсами. Нейросети не отличают кнопки от полей ввода и других элементов.

Компания собрала большой датасет для обучения Ferret-UI, что значительно улучшило распознавание. Отмечается, что нейросеть превосходит не только открытые MLLM, но и GPT-4. Модель можно использовать для реализации новых функций доступности. К примеру, нейросеть сможет управлять мобильным устройством, опираясь на запросы пользователя.

Инженеры компании опубликовали исследование на портале Arxiv.

Разработчик показал сервис TaxGPT, который призван помочь гражданам Канады разобраться с налогами. Приложение построено на базе языковой модели, которая ищет ответы на сайте правительства Канады и представляет их в удобном для понимания виде. Нейросеть снабжает ответы ссылками на нормативные акты.

Автор рассказал о своём проекте на сабреддите SideProject. На нём пользователи делятся своими пет-проектами.

OpenAI расшифровала более миллиона часов видео с YouTube для обучения GPT-4, воспользовавшись лазейкой в законе об авторском праве. Компания использовала свою модель транскрипции аудио Whisper. Президент OpenAI Грег Брокман лично участвовал в сборе видео.

Представитель OpenAI Линдси Хелд сообщила, что компания использует «многочисленные источники, включая общедоступные данные и партнёрские отношения», а также изучает возможность создания собственных синтетических данных. 

Представитель Google Мэтт Брайант отметил, что «как файлы robots.txt, так и Условия обслуживания запрещают несанкционированное сканирование или загрузку контента YouTube». По его словам, Google принимает «технические и юридические меры» для предотвращения такого использования. При этом сама компания обучала свои модели «на некотором контенте YouTube в соответствии с соглашениями с авторами».

В статье The New York Times говорится, что OpenAI исчерпала запасы полезных данных в 2021 году. К тому времени она обучила модели на данных, которые включали компьютерный код из Github, базы данных шахматных ходов и материалы школьных заданий из Quizlet. Эксперты считают, что запас доступного для обучения контента иссякнет к 2028 году. После этого оно будет производиться на синтетических данных, созданных другим ИИ. Эксперты допускают, что некоторые компании также могут преднамеренно пойти на нарушение авторских прав. 

Исследователи компании Tencent представили AniPortrait — нейросеть для генерации фотореалистичных анимированных портретов. Для создания анимации модели надо передать эталонный портретный снимок и аудио. Нейросеть подстроит движение губ, головы и эмоции под звук. Для более точной анимации можно передать видео с записанными движениями.

Код AniPortrait, документация и примеры опубликованы в открытом репозитории.

Уважаемые читатели!

На этом сайте размещена десятая ежегодная “карта” и обзор состояния экосистемы данных, аналитики, машинного обучения и искусственного интеллекта (MAD) на 2024 год в масштабируемом формате pdf.

Всего представлено более 2 000 компаний.

Экосистема MAD (ML, AI & Data) превратилась из нишевой и технической в массовую. Похоже, что смена парадигмы ускоряется, и ее последствия выходят далеко за рамки технических или даже деловых вопросов и влияют на общество, геополитику и, возможно, на человеческую жизнь.

Этот мощнейший тренд, который длится уже несколько десятилетий и станет причиной возникновения множества продуктов и технологий. Как и в предыдущие годы, этот обзор является попыткой осмыслить то, где сейчас находится общество в разрезе продуктов, компаний и отраслевых тенденций.

Предыдущие версии: 2012, 2014, 2016, 2017, 2018, 2019(часть I и часть II), 2020, 2021 и 2023(часть I, часть II, часть III, часть IV).

Важность внедрения нейросетей невозможно переоценить. Все тенденции, о которых шёл разговор на протяжении многих лет, сходятся: данные переведены в цифру, их можно хранить, обрабатывать и анализировать с помощью современных инструментов, а главное, их можно подавать на все более производительные модели машинного обучения и искусственного интеллекта. Эти модели способны выявлять закономерности, делать прогнозы и даже генерировать текст, код, изображения, звуки и видео.

Нейросетевые технологии становятся неотъемлемой частью научного прогресса и будущего.

По Интернету распространяют песни с сайта Suno. Этот сервис генерирует песни по текстовому промпту. Suno берёт на себя всё: генерирование слов, зачитывающих их голосов и музыки. В марте у Suno вышла третья версия.

Новая версия неплохо справляется с разными жанрами: электроника с женским вокалом, исполняющий фолк мужской хор или симфонический рок. Как демонстрирует композиция в стиле блатного рэпа про загрузку Linux, сервис генерирует и русский язык.

Впрочем, увлекательного мало. Треки звучат похоже на человеческие и ничем не запоминаются. Куда интереснее заставить Suno спеть что-то похабное.

К примеру, так появилась песенка I glued my balls to my butthole («Я приклеил свои яйца к анусу»), которую жизнерадостный мужской голос исполняет под музыку в стиле рок-н-ролла 50-х годов прошлого века. У песни даже вышло продолжение I Glued My Balls to My Butthole Again («Я опять приклеил мои яйца к анусу»), в которой лирический герой сокрушается о своей глупости.

Другой пример — песня про игру с сосками Rubbin' and a Tuggin' My Nips, где вокалист рассказывает, что даже врач просит прекратить стимуляцию своего тела.

На самом деле удивительного мало. Как рассказывает энтузиаст винтажных компьютеров Дэвид Мюррей, когда в 80-х годах прошлого века появились первые системы генерации речи, дети развлекались тем, что заставляли их зачитывать ругательные слова.

Наконец, такие песни с непристойностями реально существовали в первой половине прошлого века. Подобное проходило под жанром «грязный блюз».

Эксперты по ИИ Matt Turck, Aman Kabeer и FirstMark представили все нейросети мира на одной картинке. Они собрали 2011 ИИ-стартапа и сервиса, разделённых на сферы применения.

В отдельных разделах есть ИИ-ассистенты для кодинга, продаж, копирайтинга, генераторы картинок, аудио, анимаций и многое другое.

Полный ландшафт ИИ-мира доступен в PDF.

​​Встречайте: облачные серверы с GPU кастомной конфигурации ⚡️

Теперь вы можете собрать произвольную конфигурацию, идеально подходящую под ваши задачи. Для этого доступны такие карты, как: А2, А30, A100, A2000, A5000, Tesla T4 и GTX1080. 

Используйте облачные серверы с GPU для решения задач, требующих серьезных вычислительных мощностей — они ускорят процессы машинного обучения, аналитики и работы с графикой.

Соберите сервер с GPU в конфигураторе →

Всем привет!

Небольшая ремарка по использованию Copylot, ChatGPT и аналогов.
На мой взгляд самая большая проблема с ними возникает не тогда, когда они генерируют ерунду - это сразу видно. Ну например, отсутствующие классы или методы. Такой код или отбрасывается, или благодаря подсказкам IDE дописывается.

Плохо, когда генерируемый код похож на правильный. Или даже очень похож. Тогда ты принимаешь рекомендацию, мысленно помечаешь задачу как выполненную и пытаешься идти дальше. А приложение падает в неожиданном месте. Пример из моей практики - сгенерированный shell скрипт. Выглядит как настоящий, отличается одним отсутствующим пробелом. Такие же проблемы возможны с RegExp. Да и с обычным кодом, например, если в цепочке вызовов выбран один неправильный метод.

Да, часто ошибки находятся благодаря тестам. И конечно же сгенерированный код надо проверять. Но, например, есть тривиальный код, который с одной стороны не хочется писать самому, т.к. он тривиальный, а с другой стороны он часто покрывается не модульными, а интеграционными тестами. А condition coverage у интеграционных тестов по понятным причинам хуже, чем у модульных.

Можно ли решить эту проблему - не уверен. Суть работы LLM в том, что они дают не точный ответ, а выведенный из данных модели под конкретный контекст. Поэтому добавление второй модели, которая будет проверять ответы первой, кажется не поможет. Добавлять валидаторы ответа - потребуется очень много валидаторов...

Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ) запустил конкурс дипломных работ с использованием искусственного интеллекта. Стать участниками проекта могут студенты всех программ бакалавриата и магистратуры НИУ ВШЭ, которые защищают выпускную квалификационную работу в 2024 году.

Студентам нужно рассказать, как ИИ помог им в подготовке выпускной квалификационной работы за 2024 год. Экспертная комиссия оценит результаты по нескольким критериям: сложность решаемых задач, этичность и целесообразность использования ИИ. Победители получат стипендии и право на участие в образовательных интенсивах по искусственному интеллекту от ВШЭ.

Положение о конкурсе ИИ-решений выпускных работ студентов Национального исследовательского университета «Высшая школа экономики».

Призы (присуждаются авторам работ при условии продолжения обучения в НИУ ВШЭ в 2024/25 году):

• стипендия на 10 месяцев для авторов трёх работ-победителей;

• курсы НИУ ВШЭ по использованию ИИ-инструментов для авторов работ-победителей и работ-лауреатов;

• дипломы и сувениры победителям и лауреатам.

Календарь конкурса:

• 2 апреля cтарт приёма заявок;

• 15 июня завершение приёма заявок;

• 15 сентября подведение итогов.

Исследователи из Лёвенского католического университета в Бельгии раскрыли современный способ улучшить вкус пива при помощи искусственного интеллекта.

В рамках многолетнего исследования учёные проанализировали химический состав 250 сортов бельгийского пива, а также провели дегустацию среди 16 участников эксперимента, которые детально охарактеризовали каждый вид по 50 параметрам, таким как хмельной вкус, сладость и кислотность.

Процесс анализа материалов по этому проекту занял три года. Помимо этого, исследователи собрали 180 тыс. комментариев о разных видах пива с его характеристиками на площадке для отзывов RateBeer.

В итоге на основе различных датасетов и дополнительных материалах исследователи создали модели машинного обучения для предсказания того, каким будет вкус напитка и принятие у потребителей, исходя из его состава. Результаты исследования учёные использовали для улучшения существующих на рынке сортов, после чего дали попробовать их потребителям. «Исправленное» с помощью ИИ пиво получило более высокие рейтинги, причём как алкогольное, так и безалкогольное. В настоящее время учёные из университета в Бельгии планируют развивать свой проект в сотрудничестве с пивоварами.

«Модели искусственного интеллекта предсказывают химические изменения, которые могли бы оптимизировать пиво, но это по-прежнему зависит от пивоваров, начиная с рецепта и методов пивоварения», — пояснили исследователи.

«Яндекс» в 2024 году запустит языковую модель YandexGPT, которая умеет писать и перерабатывать тексты на казахском языке, запоминать ход беседы и отвечать на уточняющие вопросы пользователя. YandexGPT станет первой публичной генеративной нейросетью, специально обученной понимать казахский язык и говорить на нём.

Нейросеть будет доступна пользователям через виртуального ассистента в приложении «Яндекс», а также в «Поиске» и «Яндекс Браузере» в Казахстане.

Также на облачной платформе Yandex Cloud планируется запуск коммерческой версии YandexGPT на казахском для бизнеса. Она позволит казахстанским компаниям и разработчикам развивать продукты и сервисы на основе генеративных нейросетей.

За основу взяли базовую модель YandexGPT. Для её дообучения на первом этапе подготовили сотни тысяч запросов и ответов на казахском языке, охватывающих различные темы и контексты бесед. Это обеспечивает модели необходимую основу для понимания языка и культурного кода.

В обучении нейросети участвуют AI‑тренеры «Яндекс Казахстан». Они оценивают ответы нейросети — точность, полноту, фактическую правильность, грамматику и стиль — и пишут эталонные запросы и ответы на казахском языке. Затем на них обучают нейросеть и таким образом повышают точность её ответов.

Модель Claude 3 Opus опередила GPT-4 в глобальном рейтинге LMSYS. Нейросеть от OpenAI отстала всего на два пункта (1251 против 1253). Пятёрка лидеров с показателями Arena Elo выглядит следующим образом:

• Claude 3 Opus — 1253;

• GPT-4-1106-preview — 1251;

• GPT-4-0125-preview — 1248;

• Bard (Gemini Pro) — 1203;

• Claude 3 Sonnet — 1198.

«Яндекс» анонсировал третье поколение YandexGPT, а YandexGPT 3 Pro стала первой большой языковой моделью семейства и уже доступна в сервисе Yandex Cloud.

YandexGPT 3 Pro лучше работает со сложными задачами и более точно следует запросам. Это позволяет компаниям использовать языковую модель в своей работе и продуктах. При необходимости нейросеть можно дообучить на собственных данных. Доступна интеграция в продукты через API. Уже сейчас можно попробовать языковую модель в демо-режиме. Зарегистрированные пользователи могут отправлять до 100 бесплатных запросов в час. В ближайшее время нейросеть станет доступна в сервисах «Яндекса».

Для тестирования YandexGPT 3 Pro разработчики использовали тест YaMMLU_ru — локализованную на русский язык версию международного теста MMLU. Кроме того, возможности нейросети проверяли по методике Side by Side (SBS), чтобы оценить, как она справляется с общением, созданием контента и генерацией идей. YandexGPT 3 отвечала лучше, чем YandexGPT 2 в 67% случаев.

Компания рассказала, что стоимость использования нейросети снизилась почти в два раза. Дообучение будет доступно в сервисе ML-разработки Yandex DataSphere.