Компьютерный анализ и синтез естественных языков
Система DocETL предлагает инструмент для создания и выполнения пайплайнов обработки данных, заточенных для анализа текстовых документов с помощью больших языковых моделей. Агентный подход помогает задействовать принципы low-code для описания операций. Код DocETL открыт, готовится научная статья о системе.
Робин Спир, создательница проекта Wordfreq по анализу использования языка людьми в интернете, объявила о его закрытии. По её словам, нейросети слишком сильно загрязнили данные, из-за чего анализ стал невозможен.
Wordfreq — это программа, которая отслеживала, как люди используют более 40 различных языков, анализируя статьи в «Википедии», субтитры к фильмам и передачам, новости, книги и посты в соцсетях, таких как Twitter и Reddit. Система предназначена для оценки меняющихся языковых привычек, сленга и популярной культуры. На странице проекта на GitHub Робин Спир написала, что проект «больше не будет обновляться».
Барбара Оакли - соавтор одного из самых популярных курсов за всю историю платформы Coursera: Learning How to Learn (3,85 млн зарегистрировавшихся учеников, 84,5 тыс отзывов). Недавно она в соавторстве с другим популярным на платформе преподавателем - Джулсом Уайтом (Jules White) - выпустила новый курс на схожую тему: Accelerate Your Learning with ChatGPT (https://www.coursera.org/learn/learning-chatgpt).
Курс достаточно короткий - всего два "модуля", 18 видео суммарной длительностью 2ч 40мин. В курсе практически нет других учебных материалов кроме видео.
В начале авторы дают вводную информацию по основам LLM и промпт-инжиниринга. Далее основная часть посвящена конкретным приемам использования ИИ в процессе обучения - всего их описано около десятка.
Под катом я поместил саммари курса, автоматически сгенерированное на основе субтитров с помощью Gemini 1.5 Pro (а точнее говоря, с помощью NotebookLM).
Этой весной сообщество Open Data Science и компания MTS AI делают новый запуск курса по обработке естественного языка. Вот страница нашего курса. Для того, чтобы его пройти, нужно зарегистрироваться.
Яндекс обучил нейросеть на базе YandexGPT самостоятельно проверять сгенерированные тексты на наличие галлюцинаций. Благодаря новому подходу удалось в шесть раз сократить количество неточностей в созданных нейросетью кратких описаниях мест и достопримечательностей в Картах. Кроме того, переход на обновлённую модель позволил использовать меньше вычислительных мощностей и удешевить её работу.
На сайте конференции Practical ML Conf мы опубликовали первый список докладов. Среди тем этого года — сложности разработки мультимодальных нейросетей, технологии синтеза выразительной речи, обучение больших языковых моделей работе с кодом.
В конференции примут участие ведущие ML‑инженеры Яндекса, «Т‑Банка», Сбера, Х5, HH.ru и других компаний. Докладчики выступят в шести секциях, отражающих актуальные тренды в машинном обучении: компьютерное зрение, обработка естественного языка, генерация речи, рекомендательные системы, внедрение и инференс нейросетей, а также сбор и анализ данных.
В начале августа организация OpenAI представила улучшенные функции структурирования ответов своих больших языковых моделей. Обещалось, что теперь модели будут точнее следовать формату JSON в ответах. Проект Aider сравнил качество кода в различных форматах ответов и пришёл к выводу, что любые БЯМ пишут код лучше, если отвечать нужно в plain text.
Пользователь Reddit обнаружил системные промпты Apple Intelligence в бета-версии операционной системы macOS 15.1. В промптах даны текстовые инструкции, как большая языковая модель должна выполнять различные умные функции.
OpenAI представила GPT-4o mini, небольшую ИИ-модель, которая призвана сделать технологии компании более доступными и менее энергоёмкими. Использование GPT-4o mini обойдётся в 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов; это на 60% дешевле, чем цена GPT-3.5 Turbo.
Новая модель уже доступна пользователям ChatGPT Free, Plus и Team. Корпоративные пользователи получат доступ начиная со следующей недели.
Mistral AI представила Mistral NeMo, 12-миллиардную модель, разработанную в сотрудничестве с NVIDIA. Mistral NeMo предлагает большой контекст до 128 тысяч токенов.
Модель выпущена по лицензии Apache 2.0, что разрешает её коммерческое использование.
Авторы также подготовили таблицу сравнения модели с другими моделями аналогичного уровня - Llama 3 8B и Gemma 2 9B (очевидно, что с большими моделями сравнивать не очень в пользу себе)
Сегодня мы обновили сервис Нейро, о котором ранее уже рассказывали на Хабре. Благодаря обновлённой модели семейства YandexGPT 3 он стал точнее понимать запросы пользователей и отвечать более содержательно. Кроме того, задать вопрос теперь можно не только текстом и картинкой, но и голосом. А ещё сервис адаптировали для программ экранного доступа, которые необходимы для людей с нарушениями зрения.
Мы добавили в нашу виртуальную клавиатуру для мобильных устройств новые функции на основе нейросетей Яндекса. Пользователи Клавиатуры теперь могут использовать их в любом сервисе, где есть текстовый ввод. YandexGPT поможет исправить ошибки в тексте, разнообразить его синонимами и добавить подходящие эмодзи, а YandexART создаст уникальный фон по текстовому описанию.
Новые возможности уже доступны в последней версии Яндекс Клавиатуры для Android и iOS.
Мы впервые применили большую языковая модель YandexGPT для подготовили эталонных примеров текстов, на которых затем обучили нейросеть в Яндекс Переводчике. Это позволило сервису точнее понимать контекст, распознавать фразеологизмы и ориентироваться в профессиональной лексике.
Переводчик стал качественнее справляться с длинными и сложными текстами. Благодаря дообучению он лучше определяет взаимосвязи внутри предложений и между ними. Кроме того, выросло качество перевода статей узконаправленной тематики. Например, сервис теперь поймёт по контексту, что речь идёт о языке программирования или фондовом индексе, и оставит их названия без перевода.
Сегодня мы открыли доступ к YandexGPT Lite третьего поколения. Облегченная версия нашей большой языковой модели доступна через API в Yandex Cloud. Новая модель полезна в сценариях, где важна скорость ответа: например, её можно использовать в чат-ботах, для проверки орфографии или анализа данных. Это оптимальная по цене и качеству генеративная модель Яндекса для решения рутинных задач.
Чуть более подробно о результатах сравнения с другими моделями, а также об изменениях в процессе обучения и архитектуре — в этой новости.
Нейросети Midjourney и DALL-E испытывают трудности с генерацией картинки чистого белого фона. К такому выводу пришёл независимый исследователь по обработке данных Коди Нэш и редакция Bleeping Computer.
