С момента выхода оригинальной статьи про трансформер прошло уже больше 7 лет, и эта архитектура перевернула весь DL: начав с NLP архитектура теперь применяется везде, включая генерацию картинок. Но та ли это архитектура или уже нет? В этой статье я хотел сделать краткий обзор основных изменений, которые используются в текущих версиях моделей Mistral, Llama и им подобным.

14го декабря в одном из самых авторитетных общенаучных журналов Nature была опубликована статья с, кажется, сенсационным заголовком: «ИИ-модели Google DeepMind превосходят математиков в решении нерешённых проблем». А в блогпосте дочки гугла и вовсе не постеснялся указать, что это — первые находки Больших Языковых Моделей (LLM) в открытых математических проблемах. Неужели правда? Или кликбейт — и это в Nature? А может мы и вправду достигли техносингулярности, где машины двигают прогресс? Что ж, давайте во всём разбираться!

Всем привет! Меня зовут Артём Важенцев, я аспирант в Сколтехе и младший научный сотрудник AIRI. Наша группа занимается исследованием и разработкой новых методов оценивания неопределенности для языковых моделей. Этим летом мы опубликовали две статьи на ACL 2023. 

Про одну из них я уже рассказывал в одном из предыдущих текстов — там мы описали новый гибридный метод оценивания неопределенности для задачи выборочной классификации текстов. Другая же статья про то, как мы адаптировали современные методы оценивания неопределенности на основе скрытого представления модели для задачи генерации текста, а так же показали их высокое качество и скорость работы для задачи обнаружения примеров вне обучающего распределения. Ниже я хотел бы подробнее рассказать об используемых методах и результатах, которые мы получили.

Платформа для помощи в общении на английском языке на базе искусственного интеллекта Grammarly объявила о сокращении 230 сотрудников в рамках реструктуризации. В компании объяснили, что увольнения станут частью инициативы по увеличению внимания «к созданию рабочих мест с поддержкой ИИ».

8 декабря в Москве и в онлайн-формате состоится Conversations – ежегодная конференция по разговорному, а теперь и генеративному AI для разработчиков и бизнеса.

Вызовы и достижения разработки LLM, диалоговые платформы и новые фреймворки, инфраструктура для запуска LLM, нейросетевая обработка и модели распознавания речи, обучение трансформеров, RAG-подходы и многое другое в лайнапе Conversations в этом году. 

Вас ждет экспертиза от команд GigaChat и YaGPT, ВКонтакте, Selectel, MTS AI, Лаборатория Касперского, Тинькофф, Zerocracy, Yandex Cloud, Boto, 3itech и других. Для подогрева интереса делимся некоторыми подробностями докладов, а еще промокодом на скидку!

OpenAI опубликовала исходный код системы распознавания речи Whisper. Открыты код эталонной реализации на базе фреймворка PyTorch и набор уже обученных моделей для использования под лицензией MIT.

Агентство Bloomberg представило чат-бота BloombergGPT. Это большая языковая модель с 50 млрд параметров, созданная для финансового рынка. Модель обучена работе с широким спектром данных и поддерживает выполнение разнообразных задач обработки естественного языка в финансовой отрасли.

Исследователи Массачусетского технологического института применили модели искусственного интеллекта для изучения того, как и почему наш мозг понимает язык. Выяснилось, что человеческий мозг может работать примерно так же, как и функция автокоррекции на смартфоне.

Основанная выходцами из Украины IT-компания Grammarly, которая разработала онлайн-сервис улучшения бизнес-текстов на английском языке, привлекла еще $200 млн. Таким образом. ее общая оценка достигла $13 млрд.

AI-лаборатория DeepMind опубликовала три исследовательские работы, посвященные возможностям больших языковых моделей. Компания пришла к выводу, что дальнейшее масштабирование этих систем должно привести к множеству улучшений.

Исследователи из Обернского университета пришли к выводу, что многие ИИ, предназначенные для обработки естественного языка (Natural Language Processing, NLP), не замечают, когда слова в предложении перемешиваются, а его значение меняется. Это показывает, что ИИ на самом деле не понимают язык, и создает проблемы в обучении систем NLP.

OpenAI заявила, что обучила свою языковую модель GPT-3 следовать инструкциям, благодаря чему она выдает меньше нежелательного текста.

В OpenAI представили нейросеть на основе GPT-3, которая способна генерировать краткие изложения книг. Разработчики отмечают, что подобные модели нужны для контролируемого масштабирования систем искусственного интеллекта. Работа данной нейросети покажет, насколько она справляется с работой, которую. обычно выполняют люди.

• по выделению именованных сущностей и фактов – FactRuEval;
• по анализу тональности – SentiRuEval;
• по исправлению опечаток – SpellRuEval.