Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

OpenAI представила алгоритм для текстов GPT-3, который обучили на 175 млрд параметров

Алгоритмы *Машинное обучение *Искусственный интеллект
image

Исследователи из OpenAI показали алгоритм GPT-3, предназначенный для написания текстов на основе всего нескольких примеров. Его архитектура Transformer аналогична GPT-2, но модель обучали на 175 миллиардов параметров или 570 гигабайтах текста.
Читать дальше →
Всего голосов 26: ↑22 и ↓4 +18
Просмотры 23K
Комментарии 19

DeepMind представила состязательную систему преобразования текста в речь EATS

Машинное обучение *Звук Natural Language Processing *
imageФото: deepmind.com

Британская компания DeepMind показала новую систему преобразования текста в речь (TTS) под названием EATS. Она принимает входные данные в виде текста и переводит их в синтетическую речь, похожую на человеческую.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 1.7K
Комментарии 2

Ученые разработали метод обучения ИИ с меньшим числом параметров, который превзошел GPT-3

Алгоритмы *Машинное обучение *Искусственный интеллект
image

Команда ученых из Мюнхенского университета Людвига-Максимилиана разработала Pattern-Exploiting Training (PET), методику глубокого обучения для моделей обработки естественного языка (NLP). Используя PET, команда обучила модель Transformer NLP с 223 млн параметров, которая превзошла GPT-3 более чем на 3% в тесте SuperGLUE.

Разработчики утверждают, что модели требуется до 99,9% меньше параметров. Итерационный вариант iPET способен обучить несколько поколений моделей и может использоваться без каких-либо обучающих данных.
Читать дальше →
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 4.2K
Комментарии 3

Бот GPT-3 в течение недели выдавал себя за человека на AskReddit

Алгоритмы *Машинное обучение *Искусственный интеллект Социальные сети и сообщества
image

Один из пользователей предположил, что на Reddit появился блог, который фактически ведет GPT-3. Дальнейшие действия исследователя подтвердили, что его догадка была верной.
Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Просмотры 13K
Комментарии 43

Google обучила языковую модель ИИ на триллионе параметров

Машинное обучение *Искусственный интеллект Natural Language Processing *
image

Исследователи Google разработали метод, который, по их утверждению, позволил обучить языковую модель, содержащую более триллиона параметров. Они заявили, что новая модель с 1,6 трлн параметров, по-видимому, является крупнейшей в своем классе на сегодняшний день.
Читать дальше →
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 3.7K
Комментарии 5

Исследователи изучают, как GPT-3 разбирает входящую почту

Алгоритмы *Машинное обучение *Исследования и прогнозы в IT Искусственный интеллект

Команда исследователей из Университетского колледжа Маастрихта опубликовала работу, посвященную использованию GPT-3 в качестве почтового менеджера. В работе исследуется, можно ли эффективно использовать GPT-3 и проигрывает ли модель человеку.

Читать далее
Всего голосов 8: ↑6 и ↓2 +4
Просмотры 2.6K
Комментарии 1

Трек DeepPavlov в онлайн-школе Community of Open Source Newcomers (COMMoN)

Блог компании Samsung Open source *

Лето подходит к концу, а возможность поработать над реально крутыми задачами только открывается! До 13 августа у вас есть шанс податься на онлайн-школу Community of Open Source Newcomers (COMMoN), организованной компанией Samsung Electronics, на трек от DeepPavlov.ai.

Онлайн-школа Community of Open Source Newcomers (COMMoN) – образовательная программа для начинающих разработчиков программ с открытым исходным кодом (оpen source). Читайте о ней тут.

Мы приглашаем начинающих data engineers, Python software engineers и NLP data scientists присоединиться к работе над самым амбициозным проектом - разработкой Multiskill AI ассистентов. А именно, освоить инструменты и приемы разработки ИИ ассистентов, а также управление сложными современными распределенными системами на основе микросервисной архитектуры и контейнеризации.

Ниже мы подробнее расскажем о программе трека и о DeepPavlov.ai.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 795
Комментарии 7

Языковая модель SberDevices признана лучшей по пониманию текстов на русском языке

Блог компании Сбер Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *

Энкодерная языковая модель ruRoberta-large (355 млн параметров, finetune), разработанная SberDevices, признана лучшей по оценке главного русскоязычного бенчмарка Russian SuperGLUE, уступив место только человеку. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными языковыми моделями. 

Также на сегодняшний день в топ-10 входят ещё 5 моделей SberDevices: ruT5-large-finetune, ruBert-large finetune, ruT5-base-finetune, ruBert-base finetune, RuGPT3XL few-shot.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 1.4K
Комментарии 2

Поп-звезды под линзой искусственного интеллекта

Анализ и проектирование систем *Data Mining *Big Data *Научно-популярное Искусственный интеллект

Intro


Образ поп звезд привлекает миллионные аудитории, он состоит из внешнего вида, музыки, поступков и конечно же текстов их песен.
О чем поют популярные исполнители? Во все времена темы одинаковые: любовь, одиночество, секс, развлечения, вечные ценности.


Однако наверняка вы и сами чувствовали, что от каждого исполнителя остается свой осадок в душе, свой привкус. И вроде бы слова одинаковые, а оттенки разные. И у каждого — свой.


Та картина, которую артист рисует своими словами — уникальна и отображает их внутренний мир, их психологические портреты.


В статье мы пробуем через призму AI заглянуть за завесу слов и различить за ними душу таких популярных звезд как Drake, Rihanna, Coldplay, Twenty One Pilots, Dua Lipa, The Chainsmokers и Katy Perry.
Нашли кого-то из любимых артистов и Вам хочется узнать их скрытые эмоции и переживания?




Читайте дальше о том, как современная технология обработки естественного языка от IBM Watson Personality Insights помогает «читать между строк» эмоции, потребности, ценности и психологические особенности.

Читать дальше →
Всего голосов 9: ↑7 и ↓2 +5
Просмотры 4.4K
Комментарии 12

Building client routing / semantic search at Profi.ru

Машинное обучение *Natural Language Processing *

Building client routing / semantic search and clustering arbitrary external corpuses at Profi.ru


TLDR


This is a very short executive summary (or a teaser) about what we managed to do in approximately 2 months in the Profi.ru DS department (I was there for a bit longer, but onboarding myself and my team was a separate thing to be done at first).

Читать дальше →
Всего голосов 29: ↑21 и ↓8 +13
Просмотры 3.2K
Комментарии 10

Болтай, извлекай: архитектура сложных чат-ботов

Программирование *Анализ и проектирование систем *Искусственный интеллект
Пользователи, пообщавшись с умными голосовыми ассистентами, ждут от чат-ботов интеллектуальности. Если вы разрабатываете бота для бизнеса, ожидания еще выше: заказчик хочет, чтобы юзер прошел по нужному, заранее прописанному сценарию, а юзер — чтобы робот толково и желательно человеческим языком ответил на поставленные вопросы, помог решить проблемы, а иногда просто поддержал светскую беседу.


Мы делаем англоязычные чат-боты, которые общаются с пользователями по разным каналам — Facebook Messenger, SMS, Amazon Alexa и веб. Наши боты заменяют службы поддержки, страховых агентов, и уметь просто поболтать. Каждая из этих задач требует своего подхода в разработке.

В этой статье мы расскажем, из каких модулей состоит наш сервис, как сделан каждый из них, какой подход мы выбрали и почему. Поделимся нашим опытом анализа разных инструментов: когда генеративные нейронные сети — не лучший выбор, почему вместо Doc2vec мы пользуемся Word2vec, в чем прелесть и ужас ChatScript и так далее.

Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Просмотры 9.3K
Комментарии 6

EXAM — State-of-the-art метод классификации текста

Алгоритмы *Машинное обучение *
Перевод
text classification

Классификация текста — одна из наиболее распространенных задач в NLP и обучении с учителем, когда датасет содержит текстовые документы, а метки используются для тренировки текстового классификатора.
Читать дальше →
Всего голосов 6: ↑5 и ↓1 +4
Просмотры 3.9K
Комментарии 2

NLP. Основы. Техники. Саморазвитие. Часть 1

Блог компании ABBYY Машинное обучение *Natural Language Processing *

Привет! Меня зовут Иван Смуров, и я возглавляю группу исследований в области NLP в компании ABBYY. О том, чем занимается наша группа, можно почитать здесь. Недавно я читал лекцию про Natural Language Processing (NLP) в Школе глубокого обучения – это кружок при Физтех-школе прикладной математики и информатики МФТИ для старшеклассников, интересующихся программированием и математикой. Возможно, тезисы моей лекции кому-то пригодятся, поэтому поделюсь ими с Хабром.

Поскольку за один раз все объять не получится, разделим статью на две части. Сегодня я расскажу о том, как нейросети (или глубокое обучение) используются в NLP. Во второй части статьи мы сконцентрируемся на одной из самых распространенных задач NLP — задаче извлечения именованных сущностей (Named-entity recognition, NER) и разберем подробно архитектуры ее решений.


Читать дальше →
Всего голосов 53: ↑51 и ↓2 +49
Просмотры 46K
Комментарии 11

Автоматизация ответов на часто задаваемые вопросы в навыке для «Алисы» с помощью библиотеки DeepPavlov

Блог компании Московский физико-технический институт (МФТИ) Машинное обучение *Искусственный интеллект Natural Language Processing *
Лаборатория нейронных систем и глубокого обучения МФТИ вот уже больше года делает DeepPavlov — открытую библиотеку для создания диалоговых систем. Она содержит набор претренированных компонент для анализа языка, с помощью которых можно эффективно решать задачи бизнеса.

Например, организовать ответы на часто задаваемые вопросы клиентов. Сделать это через колл-центр, виджет на сайте или соцсети, наняв сотрудников — дело нехитрое. Актуальная задача — оптимизировать процесс, чтобы он осуществлялся автоматически, с минимальными погрешностями, и еще и в удобном пользовательском интерфейсе. Например, в голосовом помощнике «Алиса» от «Яндекса».

В этой статье мы хотим рассказать, как эффективно решить задачу ответов на FAQ с помощью обработки естественного языка и как интегрировать решение в «Алису».


Читать дальше →
Всего голосов 20: ↑17 и ↓3 +14
Просмотры 9.9K
Комментарии 9

Основы Natural Language Processing для текста

Блог компании Voximplant Python *Программирование *Машинное обучение *
Перевод
Обработка естественного языка сейчас не используются разве что в совсем консервативных отраслях. В большинстве технологических решений распознавание и обработка «человеческих» языков давно внедрена: именно поэтому обычный IVR с жестко заданными опциями ответов постепенно уходит в прошлое, чатботы начинают все адекватнее общаться без участия живого оператора, фильтры в почте работают на ура и т.д. Как же происходит распознавание записанной речи, то есть текста? А вернее будет спросить, что лежит в основе соврменных техник распознавания и обработки? На это хорошо отвечает наш сегодняшний адаптированный перевод – под катом вас ждет лонгрид, который закроет пробелы по основам NLP. Приятного чтения!


Всего голосов 33: ↑31 и ↓2 +29
Просмотры 100K
Комментарии 6

Распознавание дат, написанных естественным языком, средствами Python3

Python *
Из песочницы
Мы в компании создаем сервис, который извлекает юридические факты из переписки клиента и заказчика. Сервис вырос из одной простой идеи — мои постоянные клиенты из решили упросить работу менеджерам и создать “генератор договоров”. Первую задачу — подтягивать в договор реквизиты клиента и заказчика мы решили легко.

Появилась вторая идея — искать в переписке даты и вставлять их в техническое задание, документы, автоматически.

Однако, люди редко пишут в чатах и мессенджерах даты так, чтобы их легко мог распознать алгоритм.
Читать дальше →
Всего голосов 14: ↑10 и ↓4 +6
Просмотры 5.1K
Комментарии 10

Каким будет «Диалог» лингвистов и специалистов по анализу данных

Блог компании ABBYY Машинное обучение *Конференции Искусственный интеллект Natural Language Processing *
С 29 мая по 1 июня в Российском государственном гуманитарном университете (РГГУ) пройдет 25-ая международная научная конференция по компьютерной лингвистике и интеллектуальным технологиям «Диалог». О том, что такое «Диалог» и почему ABBYY его основной организатор, мы уже говорили на Хабре. В этом посте мы расскажем об основных темах конференции, ключевых спикерах, их докладах и о четырех соревнованиях по созданию систем автоматического анализа текстов в рамках Dialogue Evaluation.
Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 2.2K
Комментарии 0

Используем данные на практике

Блог компании Конференции Олега Бунина (Онтико) Алгоритмы *Обработка изображений *Машинное обучение *Конференции
Между идеальным алгоритмом машинного обучения в вакууме и его применением на реальных данных часто лежит пропасть. Вроде бы берешь статью: алгоритм есть, сходимость для данных такого-то типа есть — бери и применяй. Но почему-то оказывается, что твоих данных недостаточно для обучения, да и отличаются они от модельных из статьи, потому что настоящие, не синтетические.

Обычное дело в обосновании алгоритма ввести допущения о чистоте данных и их распределении, которых в реальной жизни не найдёшь. Например, автор статьи экспериментирует на фотографиях взрослых знаменитостей, и все у него замечательно распознается и классифицируется, а в нашем реальном примере попадаются еще и дети, и мультяшные персонажи, и на них всё внезапно ломается. Но есть люди, которые умеют с этим справляться, да так, что пропасть между теорией и практикой перестает казаться неприступной, и, стоит показать как, сразу находятся и другие желающие ее преодолеть.


Читать дальше →
Всего голосов 25: ↑23 и ↓2 +21
Просмотры 2.6K
Комментарии 9

Как решить старую задачу с помощью ML на Python и .Net

Python *.NET *Машинное обучение *Natural Language Processing *
Tutorial


Бывает, что некоторые задачи преследуют тебя много лет. Для меня такой задачей стала склейка предложений текстов, в которых жестко забит переход на новую строку, а часто еще и перенос слов. На практике, это извлеченный из PDF или с помощью OCR текст. Часто можно было встретить такие тексты на сайтах он-лайн библиотек, в архивах старых документов, которые редактировались еще DOS-редакторами. И такое форматирование очень мешает затем правильной разбивке на предложения (а с переносами — и на токены) для последующей NLP-обработки. Да и банально показать такой документ в поисковой выдаче — будет некрасиво.


Решал я эту задачу несколько раз — на Delphi, C#. Тогда это был жесткий алгоритм, где руками прописывал, например, какая может быть ширина текста, чтобы этот текст считался отформатированным "по-старому". Не всегда это срабатывало идеально, но в общем, хватало.

Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 6.3K
Комментарии 16

Создаем прототип для Sentiment Analysis с помощью Python и TextBlob

Python *Машинное обучение *
Из песочницы
image

Что важно для команды разработчиков, которая только начинает строить систему, базирующуюся на машинном обучении? Архитектура, компоненты, возможности тестирования с помощью интеграционных и юнит тестов, сделать прототип и получить первые результаты. И далее к оценке трудоемкости, планированию разработки и реализации.

В этой статье речь пойдет как раз о прототипе. Который был создан через некоторое время после разговора с Product Manager: а почему бы нам не «пощупать» Machine Learning? В частности, NLP и Sentiment Analysis?
Читать дальше →
Всего голосов 12: ↑10 и ↓2 +8
Просмотры 10K
Комментарии 7