Журналисты The Wall Street Journal рассказали, что Apple начала заниматься разработкой ИИ-функций после того, как Крейг Федериги попробовал GitHub Copilot. Сообщается, что старший вице-президент по разработке программного обеспечения компании экспериментировал с функцией автоматического завершения кода во время рождественских праздников в конце 2022 года. Он впечатлился ей и сразу начал мотивировать разработчиков Apple начать придумывать что-то своё. После этого события взгляды компании на генеративные модели машинного обучения поменялись в лучшую сторону, но Apple всё ещё занимает отстающую позицию среди международных технологических компаний.
Microsoft обновила бесплатный курс для начинающих пользователей и промпт‑инженеров Generative AI for Beginners (Version 2) — A Course до версии 2. В открытом репозитории 18 занятий по различным ИИ‑моделям, их особенностям и интеграции во все системы, включая обучение, как построить свою мини-модель и получить новые знания.
На полях Петербургского международного экономического форума (ПМЭФ-2024) 5 июня показали робопса от Центра робототехники «Сбера» (SberRoboticsСenter) с функцией «навигатора».
Робот ориентируется на местности и готов проводить посетителей к тому или иному объекту. Управлять роботом можно с помощью голосовых команд или через текстовый чат на планшете. Всё программное обеспечение, включая навигационный модуль — разработка Центра робототехники «Сбера».
Аппаратная часть робота сделана в Китае. Фактически, «мозги» робота расположены не в голове, а в контейнере с ПК на спине, отвечающем за работу машинного зрения и координацию движений. Обучение робота базируется на генеративном ИИ собственной разработки «Сбера».
Также на спине робопса установлено специальное оборудование, в том числе камера Insta 360, позволяющая снимать видео на 360 градусов.
По словам представителей лаборатории робототехники «Сбера», робопёс помогает на производстве и в офисе, может выполнять функции курьера и оказывать помощь при поисково-спасательных операциях. На данный момент робопёс выступает в качестве научно-исследовательской платформы, с помощью которой исследователи Центра робототехники «Сбера» тестируют свои наработки в сфере искусственного интеллекта и машинного зрения.
Финансовый маркетплейс «Сравни» анонсировал бесплатный курс о дизайне современных систем машинного обучения. Программа включает в себя 24 урока, на которых студенты получат практические советы от действующих профессионалов индустрии.
Курс начнётся 4 июля и продлится два месяца. Занятия будут проходить онлайн по четвергам с 19:00 до 20:30 по московскому времени.
Основная цель курса — помочь IT‑специалистам расширить знания о проектировании, обучении, внедрении и поддержке ML‑систем, закрепить практические навыки. В рамках программы эксперты поделятся опытом решения конкретных задач. В финале курса слушатели составят дизайн‑документ по собственному проекту или по одной из предложенных тем.
Cтудентам потребуются теоретические знания в ML, навыки программирования и как минимум учебный опыт реализации проектов в этой сфере.
Попасть на курс можно после заполнения анкеты на сайте «Сравни» до 13 июня включительно. Затем нужно будет пройти тест на знание теории и задач машинного обучения 15 и 16 июня. Результаты будут известны 24 июня.
Suno анонсировала новую версию нейросети для генерации музыки. Теперь модель машинного обучения может работать с готовыми звуковыми дорожками. К примеру, можно загрузить мелодию, сыгранную на фортепиано, и попросить переделать в звук в гитару или аккордеон. Кроме того, показали, как пользователь настучал бит, а нейросеть создала для него аккомпанемент и вокал.
Mistral представила нейросеть Codestral-22B, которая знает 80+ языков программирования. Codestral превосходит по производительности Llama-3, CodeLlama и даже GPT-4o, а также весит в три раза меньше.
Модель Codestral-22B умеет писать и рефакторить код, подсказывает наилучшие решения задач и даже паттерны проектирования. Её можно интегрировать в свои проекты с помощью API или просто использовать в VS Code. Нейросеть знает даже Fortran и COBOL.
Проект ChatTTS опубликовал модель и связанный с ней инструментарий машинного обучения для синтеза эмоциональной речи. Решение оптимизировано для использования в диалоговых системах, таких как интерактивные помощники, и нацелено на воспроизведение свойств естественного эмоционального общения. Поддерживается взаимодействие с несколькими говорящими людьми и построение интерактивного диалога. Корректно отслеживаются и воспроизводятся при синтезе просодические элементы, такие как смех, паузы и междометия.
При тренировке модели использовано около 40 тыс. часов речевых записей. По заявлению разработчиков, по своим возможностям формирования интонаций модель превосходит все ранее доступные открытые модели синтеза речи.
Для управления эмоциями при синтезе пока поддерживается только подстановка токенов, например, "[laugh]" для смеха. Для генерации полуминутной записи требуется GPU с 4 ГБ памяти. На GPU NVIDIA GeForce RTX 4090D скорость генерации составляет приблизительно 7 семантических токенов в секунду. Поддерживается синтез женским и мужским голосом на английском и китайском языках (для русского языка можно рекомендовать фреймворк TTS и модель XTTS-v2, которые кроме синтеза поддерживают клонирование голоса по короткой записи речи, в том числе для синтеза на другом языке).
Модель ChatTTS опубликована под лицензией CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0) и имеет защиту от совершения мошеннических и криминальных действий.
Автор YouTube-канала Tamulur показал «обратный тест Тьюринга». Он представляет собой сцену, созданную в Unity, с несколькими ИИ-агентами, которые играют роль исторических личностей. Каждый агент управляется одной языковой моделью. Человек также играет за историческую личность.
По сюжету за проезд в поезде могут не платить только нейросети, поэтому агенты пытаются выяснить, кто из них человек. Агенты по кругу задают вопросы, задача человека — не выдать себя, отвечая на вопросы и задавая свои.
Дизайнерам на заметку. Разработчик подружил GPT-4o c Figma. Оцените мощь — модель генерирует детальные и оптимизированные интерфейсы с кучей слоёв и элементов, используя обычное ТЗ. Такого уровня нейронки добились впервые.
С этим плагином Figma будет дизайнить сама по себе — нужно лишь закинуть документ с описанием продукта и нужную библиотеку элементов.
Глава стартапа xAI Илон Маск сообщил инвесторам о планах создания суперкомпьютера для новой версии чат-бота Grok, пишет Information. Бизнесмен заявил, что проект будет завершён к осени 2025 года.
Суперкомпьютер, называемый Маском «гигафабрикой вычислений», будет использовать десятки тысяч графических процессоров Nvidia H100. Для обучения Grok 2.0 применяют около 20 тыс. графических процессоров, а для новой итерации чат-бота потребуется в пять раз больше. Маск заверил инвесторов, что планируемый кластер графических процессоров будет минимум в четыре раза крупнее того объёма, который используют конкуренты xAI.
Сейчас Grok находится в версии 1.5, которая вышла в апреле. Разработчик указывает, что инструмент способен обрабатывать не только текст, но и визуальную информацию, включая фотографии, скриншоты, диаграммы и многое другое. В мае социальная сеть X начала выпускать сводки новостей, созданных при помощи ИИ на базе Grok, для премиальных пользователей.
ИИ-помощник от Google предложил пользователю в ответ на запрос «сколько камней мне нужно есть?» такой ответ: «по меньшей мере один маленький камень ежедневно».
Ранее пользователь из США не смог приготовить пиццу так, чтобы сыр нормально на ней держался. Gemini, встроенная в поиск Google, предложила ему замешать в сыр клей для фиксации.
ИИ-помощник от Google предложил пользователю поесть нетоксичного клея.
Пользователь из США не смог приготовить пиццу так, чтобы сыр нормально на ней держался. Gemini, встроенная в поиск Google, предложила ему замешать в сыр клей для фиксации.
Разгадка у казуса оказалась простая: нейросеть нашла ответ по этому запросу из поста какого-то тролля с Reddit 11-летней давности. Примечательно, что такие ИИ-ответы теперь идут в верху выдачи сервиса Google.
В анализе видеопотока с помощью ИИ выделяют два подхода. Первый из них называется обработкой разреженного (sparse) видео. Он решает задачу предсказания одного результата по анализу видеофрагмента (массива кадров).
Второй подход решает задачу предсказания одного результата на кадр. Такую покадровую обработку называют анализом плотного (dense) видео. Модели ML для работы с плотным видео востребованы там, где требуется уловить кратковременные события и проанализировать быстрые изменения сцен.
❗️Существующие модели глубокого анализа видео (например, 3D CNNs) достигли впечатляющих результатов при обработке разреженного видео. Однако их адаптация к задачам плотного видео сопряжена с рядом проблем.
В частности, эти модели менее эффективны при работе с избыточными кадрами, с трудом улавливают временные корреляции на больших интервалах и неоправданно дороги в развёртывании.
Чтобы решить эти проблемы, коллектив исследователей из Белфаста (Ирландия) разработал TDViT — модель трансформера для обработки плотного видео с блоками временнóго расширения.
Эксперименты с наборами данных ImageNet VID и YouTube VIS показали, что TDViT эффективно извлекает пространственно-временны́е представления и ослабляет негативный эффект временнóй избыточности. Также иерархическая структура блоков позволяет моделировать динамику на больших временных интервалах.
Сервис «Сбера» GigaCodeстал лучшим ИИ-сервисом по точности предсказывания кода разработки среди зарубежных аналогов. Тестирование проводилось на большом количестве файлов с кодом, сообщила пресс-служба «Сбера».
«Эксперты „Сбера“ провели обширное тестирование различных ИИ‑ассистентов разработчика на более чем 17 тыс. файлов с кодом, в ходе которого сервисам предлагалось продолжить фрагмент исходного кода, и производился замер того, насколько точно предсказывается его следующая строка. Результаты показали, что по интегральной доле верно предсказанного кода на языке Java сервис GigaCode показал результат на 2% лучше, чем GitHub Copilot, и на 3% и 6,5% лучше, чем Codeium и TabNine», — рассказал старший вице‑президент, руководитель блока «Технологическое развитие» «Сбера» Андрей Белевцев.
В процессе тестирования исследователями замерялась доля кода, предсказанного ИИ-ассистентами, при этом учитывались не только случаи полного совпадения строки, а также и случаи, в которых была удачно предсказана часть, принимались во внимание также частота и стабильность выдачи подсказок.
Сервис GigaCode помогает в режиме реального времени по фрагменту кода сгенерировать наиболее вероятные его продолжения непосредственно в среде разработки. Решение поддерживает более 15 языков программирования (Java, Python, JavaScript, TypeScript, C/C++ и другие), а также совместимо со множеством редакторов и интегрированных сред (IDEA, PyCharm, VSCode, Jupyter и другие).
Привет! Меня зовут Ильдар Ломов. Расскажу, чем занимаются ML-инженеры в Островке. Знаю об этом всё, я сам руководитель команды Data Science.
Сейчас портфель ML-проектов Островка —12 штук в нескольких направлениях: от продуктового ML (ранжирование, рекомендации), до больших языковых моделей.
Состав команды стандартный: ML-инженер, бизнес-аналитик, проджект, продакт. Опционально тимлиды и разработчики.
Работа ML-инженера в Островке — посередине между стартапом с его моделью в jupyter-ноутбуке и корпорацией, где работа с сотнями моделей упорядочена, стандартизирована, вшита в интерфейсы. Можно поработать над серьезным проектом гибко с разнообразием инструментов.
Идеал — проактивный человек, который протащит проект от исследования до прода и покрытия метриками. Важно понимать все этапы проекта, иметь усиленный скилл хотя бы на одном из них, с остальным поможет команда.
Нужно уметь покрывать метриками, следить за проектом на проде, чтобы тот не потерял смысл из-за нестыковок в ТЗ. И работал так, как задумано.
Частые итерации, проверки гипотез и новых технологий дают нашему ML-инженеру больший кругозор в сравнении с крупными компаниями. Специалист растет с технической и бизнесовой сторон.
Работа оценивается с точки зрения влияния на бизнес, инженер видит, как проекты прямо и понятно воздействуют на бизнес-метрики.
Это то, что мы всегда хотим видеть в кандидатах, но на рынке такого не много. Чем виднее на собеседованиях, что человек понимает бизнес-сторону, тем больше он нам подходит.
ML против токсичности, чат‑бот «пИИрожок» — и ещё более 10 кейсов внедрения технологий машинного обучения на конференции ML2Business.
29 мая в 14:00 приглашаем на ML2Business — первую конференцию от Yandex Cloud, посвящённую кейсам применения GenAI, NLP, CV и других технологий ML.
Мы поговорим о сложностях внедрения моделей машинного обучения и способах интеграции ML в процессы компаний, а также об оценке реальной пользы для бизнеса. Будет интересно и полезно как ИТ‑руководителям, так и ML‑экспертам — присоединяйтесь к нам в пространстве LOFT#2 в Москве или подключайтесь онлайн.
В программе
как YandexGPT меняет привычные процессы работы колл‑центра;
зачем внедрять нейросети для категоризации запросов в техподдержку;
как улучшить качество сервиса для знакомств благодаря модерации контента с помощью ML‑технологий;
что умеют современные виртуальные рекрутёры с функцией RPA;
как чат‑боты помогают покупателям подбирать товары на основании их предпочтений;
как улучшить поиск информации по внутренней «википедии» с помощью ассистента на базе YandexGPT API и Yandex DataSphere;
и ещё несколько практических примеров от компаний из разных отраслей.
Участники также могут поучаствовать в нетворкинге и тестировании ML‑сервисов в реальных бизнес‑сценариях на интерактивных площадках.
Участие бесплатное, количество мест ограничено. Регистрация открыта на сайте конференции.
Google сообщила разработчикам, что начинает взимать плату за использование Gemini API. С 30 мая 2024 года платным становится доступ к Gemini 1.5 Pro, с 14 мая плата будет взиматься за использование Gemini 1.0 Pro.
Вместе с этим компания ещё раз напомнила про более доступный тариф Gemini 1.5 Pro. В рассылке для разработчиков подчёркивается, что платным становится только доступ к языковой модели через API, в Google AI Studio с нейросетями можно будет работать бесплатно.
«Инфосистемы Джет» создала сервис на основе языковой модели YandexGPT для автоматизации работы своего сервисного центра. За один месяц компания внедрила алгоритм на базе нейросети, который может определять тематику обращений в техническую поддержку и автоматически готовить ответы на запросы, помогая диспетчерам и инженерам работать оперативнее.
Специалисты по машинному обучению «Инфосистемы Джет» в рамках пилотного проекта разработали приложение, которое, используя внешнее хранилище документов, обращается к специально созданным базам знаний (например, к базе знаний операторов сервисного центра), реализует сценарии обработки запросов и генерирует релевантный ответ. База знаний «Инфосистемы Джет» содержит информацию обо всех кейсах, с которыми специалистам компании приходилось сталкиваться за последние 30 лет.
В рамках пилотного проекта инженерам удалось автоматизировать обработку 30% из 13000 запросов. При этом 75% этих ответов были полностью автоматическими и были одобрены специалистами без доработки. Таким образом, сервис снижает нагрузку на специалистов на 22%. Компания продолжит улучшать модель и планирует внедрить технологию в качестве постоянного вспомогательного инструмента для инженеров технической поддержки, чтобы существенно ускорить обработку запросов и качество ответов.
«Особенность проекта „Инфосистемы Джет“ в том, что компании удалось в сжатые сроки научить YandexGPT работать со сложной ИТ‑тематикой», — сообщил CPO YandexGPT API Алексей Долотов.
