Пользователи выяснили, что нейросеть «Яндекса» «Нейро» выдаёт более точные ответы, если попросить в промпте «уточнить во внутренней сети Яндекса».
16 апреля «Яндекс» представил «Нейро» — нейросеть для поиска информации в Сети. В компании рассказали, что научили модель машинного обучения использовать внешние источники данных, чтобы не упираться в пределы обучения.
Дайджест материалов Магнус
Самой короткой рабочей неделе в году — самый короткий материал! Делимся подборкой статей за последние три месяца.
Что может быть важнее данных? То, как они хранятся, используются и воспроизводятся. Эти и другие возможности есть в инструменте ClearML: рассказываем о работе с ним.
Высококачественные данные — это «топливо» для моделей глубокого обучения. Рассказали в этом материале, с помощью чего можно улучшить качество данных.
Предсказывать цены могут не только крупные ритейлеры, но и розничные офлайн-магазины. Как? Рассказали здесь.
Как тимлиду ML-команды выстроить качественные продуктивные отношения с коллегами? Узнали у senior-разработчика, советы собрали тут.
Как учиться, чтобы время и усилия были слиты не зря? Подготовили 10 советов для тех, кто хочет получить от курсов всё.
Получили интересное мнение из первых рук: Роман Резников, senior-разработчик и DL-engineer, рассказал про промт-инжиниринг в работе и личной жизни.
Visual Capitalist проанализировал, сколько патентов в сфере ИИ было зарегистрировано в разных странах мира с 2010 по 2022 год.
За основу исследования были взяты данные аналитической организации Center for Security and Emerging Technology (CSET) из ИИ-доклада Стэнфордского университета.
Мировым лидером по числу ИИ-патентов является Китай. Он обогнал США по этому показателю в 2013 году и без остановки лидирует с тех пор. А в 2022 году в азиатской стране впервые было зафиксировано больше патентов, чем во всём остальном мире в сумме. Это говорит о высокой интенсивности ИИ-исследований в Китае, но не обязательно означает, что он опережает остальных по качеству ИИ-разработок.
В США большинство патентов принадлежат техногигантам, таким как IBM, Microsoft и Google. В Китае они в основном сосредоточены в руках государственных организаций, вузов и технологических компаний, например Tencent.
Китайские патенты в основном связаны с машинным зрением, американские же в более равной степени охватывают более широкий спектр направлений исследований различных систем на базе ИИ.
СМИ сообщили, что у Apple есть секретная передовая лаборатория Vision Lab с командами по работе с ИИ в Цюрихе (Швейцария). Специалисты из этого подразделения отвечает за самые революционные разработки в сфере ИИ и чат-ботов. С 2018 года Apple наняла в эту лабораторию как минимум 36 специалистов из Google.
Vision Lab была основана после того, как Apple купила два швейцарских стартапа: FaceShift (VR) и Fashwell (распознавание изображений).
Сотрудники лаборатории Vision Lab участвовали в исследовании больших языковых моделей, которые лежат в основе чат-ботов, таких как ChatGPT.
В ОАЭ начались первые в мире гонки ИИ–болидов.
27 апреля 2024 года в ОАЭ начались первые в мире гонки ИИ–болидов Автономной гоночной лиги (Abu Dhabi Autonomous Racing League – A2RL). Призовой фонд этого соревнования составляет $2,25 млн.
Учить своего ИИ-«пилота» взялись восемь команд:
Code19 Racing: одна из первых независимых автономных гоночных организаций в США.
Университет Конструкторов: одноимённый частный университет, Германия и Швейцария.
Fly Eagle: Пекинский технологический институт Китая и Университет Халифа, ОАЭ.
HUMDA Lab: университет Иштвана Сечени, Венгрия.
KINETIZ: смесь команды Kintsugi из ОАЭ и Наньянского университета.
PoliMOVE: Миланский политехнический университет, Италия.
UNIMORE: команда Университета Модены и Реджо-Эмилии, Италия.
TUM: Мюнхенский технический университет, Германия.
Каждая команда должна будет использовать свои навыки программирования, алгоритмы искусственного интеллекта и опыт в машинном обучении.
ИИ-болидам придётся соревноваться на гоночной трассе Яс-Марина в Абу-Даби, ОАЭ, на которой дебютировал Гран-при Абу-Даби в сезоне 2009 года Формулы-1. Для беспилотных спорткаров была специально подготовлена 5-километровая трассе с 16 поворотами. Болидам самостоятельно необходимо проехать 16 кругов.
Нейросетевой модели «Сбера» GigaChat исполнился один год. За это время аудитория сервиса выросла с нескольких тысяч сотрудников «Сбера» до пяти млн уникальных пользователей. Совокупное количество запросов к сервису превысило 90 млн.
GigaChat доступен бесплатно через веб-версию, Telegram и «ВКонтакте», на умных устройствах Sber и в приложении «Салют» на Android.
С начала февраля 2024 года, активных пользователей чат-бота GigaChat на платформе «ВКонтакте» увеличилось в 10 раз и достигло 1,7 млн человек, а 1,4 млн человек создали «ВКонтакте» 2 млн открыток за месяц.
24 апреля 2023 года «Сбер» объявил о выпуске своего аналога ChatGPT — GigaChat. По заявлению компании, она первой из российских техногигантов выпустила собственную версию мультимодальной нейросети. GigaChat умеет отвечать на вопросы пользователей, поддерживать диалог, писать программный код, создавать тексты и картинки на основе описаний в рамках единого контекста,поддерживает мультимодальное взаимодействие и грамотно общается на русском языке.
Разработчики «Сбера» опубликовали подробный материал на Хабре о нейросети GigaChat и совокупности моделей, лежащих в основе GigaChat, которую они назвали NeONKA.
Реддитор под ником Alchemist1123 превратил Minecraft в мультфильм. Он запустил нейросеть Stable Diffusion прямо поверх vanilla Minecraft. ИИ-система на лету начала менять внешний вид игры.
«Сбер» совместно с нейросетью Kandinsky спасает утерянные картины великих художников, включая Илью Репина.
Проект Kandinsky в рамках выставки «Возрождённая коллекция» сумел воссоздать 9 полотен из Сталинградской картинной галереи, которые пропали в годы Великой Отечественной войны.
В Kandinsky залили чёрно-белые снимки и архивные описания полотен — так ИИ смог восстановить работы Репина, Сурикова, Иванова и других авторов почти в первозданном виде.
Увидеть их все можно на выставке «Возрождённая коллекция» в Волгограде — как офлайн, так и онлайн.
Гендиректор Nvidia Дженсен Хуанг (Jensen Huang) лично доставил свой новый флагманский ускоритель DGX H200 в офис компании OpenAI в Сан-Франциско, подчеркнув тесную связь между двумя гигантами в отрасли искусственного интеллекта.
Хуанга встретили соучредитель OpenAI Грег Брокман и гендиректор компании Сэм Альтман.
DGX H200 – это новейший ускоритель ИИ-вычислений Nvidia, оснащенный 141 ГБ памяти HBM3e. Производитель позиционирует это решение как самый мощный ИИ-ускоритель Nvidia, знаменующий шаг вперёд в области технологий ИИ с производительностью в 1 экзафлопс.
27 апреля 2024 гола в ОАЭ пройдут первые в мире соревнования беспилотных болидов. Призовой фонд этого соревнования составляет $2,25 млн.
Зарегистрированные для участия в соревновании команды уже получили машины Dallara Super Formula SF23 — настоящие болиды категории Super Formula. Инженеры должны оснастить болиды оборудованием для автоматического вождения: GPS, радаром, лидаром, семью камерами и компьютером для обработки поступающей информации. Разным ИИ‑моделям предстоит ориентироваться на реальной гоночной трассе и завершить гонку раньше остальных. Учить своего «пилота» будут восемь команд:
Code19 Racing: одна из первых независимых автономных гоночных организаций в США.
Университет Конструкторов: одноимённый частный университет, Германия и Швейцария.
Fly Eagle: Пекинский технологический институт Китая и Университет Халифа, ОАЭ.
HUMDA Lab: университет Иштвана Сечени, Венгрия.
KINETIZ: смесь команды Kintsugi из ОАЭ и Наньянского университета.
PoliMOVE: Миланский политехнический университет, Италия.
UNIMORE: команда Университета Модены и Реджо-Эмилии, Италия.
TUM: Мюнхенский технический университет, Германия.
Каждая команда должна будет использовать свои навыки программирования, алгоритмы искусственного интеллекта и опыт в машинном обучении.
Команда Google Cloud представила несколько курсов по генеративному искусственному интеллекту для слушателей разного уровня знаний.
Обучающих программ три:
вводная часть, посвящённая основам технологии ИИ (бесплатная);
средняя часть, ориентированная на разработчиков приложений, дата-сайентистов, девопсов, инженеров по безопасности и других специалистов. Здесь рассказывается о фирменной платформе Gemini и её применении в различных IT-задачах;
продвинутая часть курса подойдёт для ИИ/ML-инженеров, которым тоже расскажут, как и зачем им интегрировать Gemini в свои рабочие процессы.
Помимо этого, у компании есть партнёрская инициатива Google Cloud Affiliate Employers, через которую она поможет соискателям с правильными навыками в поиске работы.
В 18:00 начинаем митап MLечный путь 2024 ?
Присоединяйтесь к трансляции, задавайте вопросы и общайтесь в чате с коллегами.
Смотрите трансляцию прямо в этом посте или переходите на YouTube.
Партнерство Selectel и Neoflex
Прокачиваем ML-разработку вместе
Теперь клиенты Selectel могут оптимизировать управление DS/ML-моделями с помощью MLOps-платформы Neoflex Dognauts. Она обеспечивает автоматизацию полного цикла разработки и эксплуатации моделей машинного обучения.
Какие задачи решает Neoflex Dognauts?
⚙️ Подготовка данных и фичей
⚙️ Разработка моделей
⚙️ Коллективная разработка
⚙️ Применение моделей любой сложности
⚙️ Мониторинг данных и метрик моделей
Вы можете развернуть платформу как на выделенных, так и облачных серверах Selectel.
В первом случае вам доступны индивидуальная конфигурация нод под оркестрацией платформы Neoflex NEOMSA на базе Kubernetes, изоляция в аттестованной по требованиям ФСТЭК стойке и широкий пропускной канал для связи с локальной инфраструктурой.
Вариант с облаком делает доступным оперативное масштабирование вычислительных ресурсов с оплатой их фактического потребления за счет использования продукта Managed Kubernetes от Selectel.
Оба сценария включают развертывание вычислительных кластеров с высокопроизводительными GPU для эффективного управления платформой.
Переходите на страницу решения, чтобы узнать все подробнее и оставить заявку.
16 апреля 2024 года «Яндекс» представил свой новый сервис на основе нейросетей «Нейро». Это новый способ искать ответы на вопросы. Пользователь может задать «Нейро» любой вопрос, а тот сам подберёт подходящие материалы в «Поиске», проанализирует их и соберёт найденную информацию в одном ответе, подкрепив его ссылками на источники. «Нейро» объединил опыт «Яндекса» в создании поисковых технологий и больших языковых моделей. «Нейро» доступен в приложении «Яндекс» и «Яндекс Браузере».
«Нейро» берёт факты не из памяти модели, а из источников в интернете. Это значит, что в его ответах содержится свежая и актуальная информация, даже если она появилась всего несколько часов назад. Каждый факт в ответе подкреплён ссылкой на источник. Благодаря таким ссылкам пользователи смогут углубиться в интересующую тему, а площадки — получить дополнительный трафик. Если владелец сайта не хочет, чтобы веб-страницу использовали в качестве источника ответов для нового сервиса, он может установить директиву в robots.txt.
Ранее директор бизнес-группы поиска и рекламных технологий «Яндекса» Дмитрий Масюк заявил в интервью СМИ о новинке от компании. «В ближайшее время мы представим новый продукт на стыке поиска и генеративных нейросетей, который даст пользователям совершенно новый опыт работы с информацией в интернете — это самое радикальное обновление в этой части "Яндекса"за последние 20 лет», — пообещал Масюк.
18 апреля проводим митап MLечный путь 2024 ?
Обсуждаем инфраструктуру для ML, сложности построения production ML-систем, LLM, оптимизацию моделей, безопасность и сокращение расходов на инференс. Выступают эксперты из Selectel, СберМаркета,, Dstack, Axenix, MIL Team, Raft.
Темы докладов
Актуальный опыт внедрения feature store в командах СберМаркет. Feast уже можно внедрять или ждём версию 1.0?
Непреодолимая легкость повышения утилизации GPU: Allocation и Profiling обычного человека.
Как задеплоить свой ML-проект в разных облаках, если ты Data scientist и у тебя лапки в DevOps.
Тренды GenAI их влияние на подходы к консалтингу B2B-компаний.
Быстрый и экономичный инференс LLM в прикладных задачах.
Инфраструктурные векторы атак на LLM: что говорит OWASP и чего в нем нет.
Смотрите подробную программу и регистрируйтесь →
«Яндекс» тизерит свой новый сервис на основе нейросетей. Всё указывает на то, что в компании его представят уже 16 апреля.
Пользователи нашли на сайте ya.ru пасхалку: если нажать на логотип в левом верхнем углу, то страница схлопнется, и появится слово «Нейро».
В официальном телеграм‑канале «Яндекса» поясняется, что это будет некий «новый способ искать ответы».
Ранее директор бизнес-группы поиска и рекламных технологий «Яндекса» Дмитрий Масюк заявил в интервью СМИ о новинке от компании. «В ближайшее время мы представим новый продукт на стыке поиска и генеративных нейросетей, который даст пользователям совершенно новый опыт работы с информацией в интернете — это самое радикальное обновление в этой части «Яндекса» за последние 20 лет», — пообещал Масюк.
Яндекс подключает Алису про, обещает, что за 300 р. в мес и 100 р. за саму Алису, получаешь Алису с языковой моделью чат GPT3, а не GPT1, как в бесплатной версии. По факту, после оформления подписки Алиса продолжает работать на той же языковой модели GPT , не GPT3. Об этом можно узнать прямо из переписки с ней, прямо в чате. Сотрудники поддержки отморозились и обещают вернуться с пояснениями. Видимо они забыли проинструктировать своё изобретение, как накалывать пользователей. Благо, подписка за этот прикол первый месяц бесплатно и можно отказаться. Жалко потерянного времени.
«Яндекс» представил голосовой ассистент «Алису» нового поколения. Она работает на базе большой языковой модели YandexGPT, которая умеет объяснять сложные понятия, помогает решать креативные задачи и поддерживает диалог.
Новая «Алиса» уже доступна всем пользователям на всех платформах и в новом интерфейсе a.ya.ru — оцените сами, как она изменилась.
SALMONN — это новая мультимодальная модель машинного обучения с открытым исходным кодом, предназначенная для обработки аудиоданных любого типа: речи, музыки и различных звуков.
В основе SALMONN лежит интеграция большой языковой модели (LLM) с двумя энкодерами: Whisper для восприятия речи и BEATs для остальных звуков. Между собой аудиоэнкодеры и LLM объединяются через модуль преобразования данных Q-Former.
Благодаря такому сочетанию SALMONN может выполнять широкий спектр задач интеллектуальной обработки аудио, начиная с распознавания речи и заканчивая генерацией историй на основе услышанных звуков. Достаточно дать ей на вход аудиофрагмент и текстовое описание задачи.
В качестве LLM у SALMONN используется модель Vicuna, созданная на основе модели LLaMA с 13 миллиардами параметров и обученная на лучших диалогах с ChatGPT. Также авторы SALMONN выпустили версию своей модели на основе Vicuna с 7 миллиардами параметров. Первая требует для запуска видеокарту с 80 Гб памяти, а вторая — «всего» с 40 гигабайтами.
За счёт квантования модель можно ужать до 24 Гб, тогда получится запустить её даже на игровой видеокарте, а не только на профессиональном ускорителе.
Генеральный директор британской компании ARM Рене Хаас заявил про необходимость решения проблемы с высоким энергопотреблением систем искусственного интеллекта.
Такие модели ИИ, как ChatGPT, «просто ненасытны» в том, что касается электроэнергии, цитирует СМИ Хааса. По его словам, чем больше информации собирают такие модели, тем умнее они становятся. Но «чем больше информации они собирают, чтобы стать умнее, тем больше энергии на это затрачивается».
Хаас пояснил, что, пока эта проблема не решена, ожидать прорывов в сфере не следует. «Будет сложно ускорить наступление каких-то прорывных событий, если энергетические требования к большим дата-центрам, в которых люди занимались бы исследованиями, продолжают расти и расти», — уточнил глава ARM.
По словам Хааса, без достижения более эффективного использования электроэнергии «к концу десятилетия дата-центры для ИИ могут потреблять от 20% до 25% всех потребностей США в электроэнергии. Если быть честным, то это вряд ли можно назвать устойчивым (развитием) ИИ».
В начале года Международное энергетическое агентство отмечало, что один запрос к ChatGPT потребляет 2,9 кВт•ч электроэнергии. Это примерно столько же, сколько потребляет трёхминутная работа 60-ваттовой лампы накаливания. И это в десять раз больше, чем требуется для выполнения запроса в Google. По данным экспертов агентства, спрос на электричество со стороны ИИ-индустрии за три года, с 2023 года по 2026 год, вырастет как минимум в десять раз.
