Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

GPT-2 нейросеть от OpenAI. Быстрый старт

Машинное обучение *Искусственный интеллект

image


Не успели отшуметь новости о нейросети BERT от Google, показавшей state-of-the-art результаты на целом ряде разговорных (NLP) задач в машинном обучении, как OpenAI выкатили новую разработку: GPT-2. Это нейронная сеть с рекордным на данный момент числом параметров (1.5 млрд, против обычно используемых в таких случаях 100-300 млн) оказалась способна генерировать целые страницы связного текста.


Генерировать настолько хорошо, что в OpenAI отказались выкладывать полную версию, опасаясь что эту нейросеть будут использовать для создания фейковых новостей, комментариев и отзывов, неотличимых от настоящих.


Тем не менее, в OpenAI выложили в общий доступ уменьшенную версию нейросети GPT-2, со 117 млн параметров. Именно ее мы запустим через сервис Google Colab и поэкспериментруем с ней.

Читать дальше →
Всего голосов 54: ↑52 и ↓2 +50
Просмотры 90K
Комментарии 70

GPT-2 в картинках (визуализация языковых моделей Трансформера)

Машинное обучение *
Перевод

openAI-GPT-2-3


В 2019 году мы стали свидетелями блистательного использования машинного обучения. Модель GPT-2 от OpenAI продемонстрировала впечатляющую способность писать связные и эмоциональные тексты, превосходящие наши представления о том, что могут генерировать современные языковые модели. GPT-2 не является какой-то особенно новой архитектурой – она очень напоминает Трансформер-Декодер (decoder-only Transformer). Отличие GPT-2 в том, что это поистине громадная языковая модель на основе Трансформера, обученная на внушительном наборе данных. В этой статье мы посмотрим на архитектуру модели, позволяющую добиться таких результатов: подробно рассмотрим слой внутреннего внимания (self-attention layer) и применение декодирующего Трансформера для задач, выходящих за рамки языкового моделирования.

Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 8.2K
Комментарии 2

Компьютеры постепенно приближаются к обладанию здравым смыслом

Машинное обучение *Искусственный интеллект
Перевод

Специалисты, изучающие искусственный интеллект, уже 50 лет борются с задачей построения рассуждений при помощи здравого смысла. Новый подход к этой проблеме, созданный на основе двух совершенно разных подходов к мышлению, демонстрирует важные достижения.



Однажды вечером, в октябре прошлого года, исследователь ИИ Гэри Маркус развлекался со своим айфоном, раз за разом убеждаясь в идиотизме одной из самых продвинутых нейросетей. Мишенью для развлечения Маркуса была сеть глубокого обучения под названием GPT-2, которая недавно прославилась своей непревзойдённой возможностью выдавать правдоподобно выглядящие английские тексты на основе одного-двух начальных предложений. Когда журналисты из The Guardian скормили ей текст из отчёта по Брекзиту, GPT-2 написала несколько параграфов в стиле газетной заметки, с убедительными политическими и географическими отсылками.
Читать дальше →
Всего голосов 23: ↑20 и ↓3 +17
Просмотры 7.6K
Комментарии 45

Как я, специалист по ИИ, на ИИ-текст купился

Искусственный интеллект Будущее здесь
Захожу я сегодня на Хабр, и, под чашку чая, пролистываю статью «GPT-3 от OpenAI может стать величайшей вещью со времён Bitcoin».

Если не читали – почитайте. Конец вызывает прямо-таки сильные эмоции. У меня они усугубились тем, что я относительно профессионально занимаюсь ИИ, генерацией текстов и проблемой смыслов – так что я небезосновательно считал, что легко распознаю текст, сгенерированный машиной…
Читать дальше →
Всего голосов 28: ↑27 и ↓1 +26
Просмотры 14K
Комментарии 38

Пустобрёх GPT-2: russian edition

Natural Language Processing *
image

Погрузившись в тему DL NLP, набрел на просторах интернета на любопытный репозиторий. Это не много не мало — Русская GPT-2! Ну, т.е. русскоязычная. Причем не какая-нибудь мелкая 117М, а вполне себе 1250М, что уже довольно серьезно. Автор проделал немалую работу по адаптации исходной модели и подготовке корпуса для обучения. Да и само обучение, надо полагать заняло немало времени и мощностей. В общем, респект товарищу l4rz! Планирую пойти по его стопам и обучить систему на своем корпусе (в процессе подготовки которого сейчас нахожусь) — благо автор оставил довольно подробные инструкции, как именно подступиться к столь масштабной задаче… По итогам отчитаюсь! ;)

В пока, чисто развлечения ради, предлагаю на суд общественности некоторые эксперименты с системой, по мотивам поста о более крутой GPT-3 (хотя там автор, очевидно, и GPT-3 не считает чем-то выдающимся). С одной стороны представленная здесь система заметно проще GPT-3, с другой — все-таки обученная русскоязычная модель! Мне кажется это забавно.
Читать дальше →
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 7.4K
Комментарии 26

Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ

Блог компании Сбер Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *
Последнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.


Источник изображения
Читать дальше →
Всего голосов 165: ↑160 и ↓5 +155
Просмотры 123K
Комментарии 237

Админы восстанут, и никто, кроме меня, не войдет в режим генерации цифровых новых текстов

Искусственный интеллект
Из песочницы

В основе статьи лежит научное наблюдение. Автор эксперимента может быть простым наблюдателем, однако его результаты сильно влияют на выбор рациональных допущений в исследовании. От того, какие данные были получены, зависит выбор исследования. Источник может быть цифровым, а человек может его не знать, но научные эксперименты обычно иллюстрируются цифровыми иллюстрациями, многие из которых очень важны для оценки эффективности.

Читать далее
Всего голосов 20: ↑10 и ↓10 0
Просмотры 2K
Комментарии 17

Генерация текста с помощью GPT2 и PyTorch

Блог компании OTUS Python *Машинное обучение *Искусственный интеллект
Перевод

Генерация текста — одна из самых захватывающих прикладных задач обработки естественного языка (Natural Language Processing - NLP) за последние годы. Большинство из нас, вероятно, слышали о GPT-3, мощной языковой модели, которая может генерировать тексты, близкие к написанным человеком. Однако такие модели чрезвычайно трудно обучать из-за их большого размера, поэтому предварительно обученные модели обычно предпочтительнее там, где это приемлемо.

В этой статье мы научим вас генерировать текст с помощью предварительно обученного GPT-2 — более легкого предшественника GPT-3. Мы будем использовать именитую библиотеку Transformers, разработанную Huggingface. Если вы хотите узнать, как настроить GPT-2 на своем собственном наборе данных для генерации текста в конкретной предметной области, вы можете прочитать мою предыдущую статью: Настройка GPT2 для генерации текста с помощью Pytorch

Если предварительно обученной GPT-2 для ваших целей будет достаточно, то вы попали как раз туда, куда нужно! Без лишних отлагательств, приступим туториалу.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 4K
Комментарии 1

Как мы обучили нейросеть поздравлять женщин с 8 марта

Я пиарюсь

В честь 8 марта мы запустили сервис поздравлений, в основе которого нейросеть. Любой желающий может воспользоваться им, чтобы сгенерировать уникальное изображение цветка и текст поздравления.

За несколько дней в преддверии международного женского дня сервисом воспользовалось две с половиной тысячи уникальных пользователей. Всего было сгенерировано почти семь тысяч открыток. В этой публикации мы расскажем об особенностях реализации проекта. Материал будет полезен всем, кто интересуется темой машинного обучения.

Читать далее
Всего голосов 14: ↑8 и ↓6 +2
Просмотры 2.7K
Комментарии 11

DialoGPT на русском

Блог компании ICL Services Python *Алгоритмы *Машинное обучение *Искусственный интеллект

(Кадр из фильма "Я, робот")

Всем привет. В конце 2019 года вышла одна из работ по GPT-2. Инженеры из Microsoft обучили стандартную GPT-2 вести диалог. Тогда, прочитав их статью, я очень впечатлился и поставил себе цель обучить такую же модель, но уже на русском языке. И вот что получилось...

Читать далее
Всего голосов 21: ↑19 и ↓2 +17
Просмотры 5.8K
Комментарии 13

Neural network Telegram bot with StyleGAN and GPT-2

Python *Машинное обучение *Искусственный интеллект Социальные сети и сообщества

The Beginning


So we have already played with different neural networks. Cursed image generation using GANs, deep texts from GPT-2 — we have seen it all.


This time I wanted to create a neural entity that would act like a beauty blogger. This meant it would have to post pictures like Instagram influencers do and generate the same kind of narcissistic texts. \


Initially I planned to post the neural content on Instagram but using the Facebook Graph API which is needed to go beyond read-only was too painful for me. So I reverted to Telegram which is one of my favorite social products overall.


The name of the entity/channel (Aida Enelpi) is a bad neural-oriented pun mostly generated by the bot itself.


One of the first posts generated by Aida

Read more →
Рейтинг 0
Просмотры 998
Комментарии 1

30 миллиардов параметров: реально ли обучить русский GPT-3 в «домашних» условиях?

Алгоритмы *Машинное обучение *Искусственный интеллект Будущее здесь Natural Language Processing *

Не так давно Сбер, а затем и Яндекс объявили о создании сверхбольших русских языковых моделей, похожих на GPT-3. Они не только генерируют правдоподобный текст (статьи, песни, блоги и т. п.), но и решают много разнообразных задач, причем эти задачи зачастую можно ставить на русском языке без программирования и дополнительного обучения — нечто очень близкое к «универсальному» искусственному интеллекту. Но, как пишут авторы Сбера у себя в блоге, «подобные эксперименты доступны только компаниям, обладающим значительными вычислительными ресурсами». Обучение моделей с миллиардами параметров обходится в несколько десятков, а то сотен миллионов рублей. Получается, что индивидуальные разработчики и маленькие компании теперь исключены из процесса и могут теперь только использовать обученные кем-то модели. В статье я попробую оспорить этот тезис, рассказав о результатах попытки обучить модель с 30 миллиардами параметров на двух картах RTX 2080Ti.

Читать далее
Всего голосов 42: ↑41 и ↓1 +40
Просмотры 10K
Комментарии 39

HuggingArtists | Генерируем текст песен с трансформером за 5 минут

Python *Data Mining *Машинное обучение *Искусственный интеллект Natural Language Processing *

image


В этой статье я расскажу о том, как создавался проект HuggingArtists и что у него под капотом.
Мне будет очень приятно, если вы поставите сразу звезду в репозитории:
GitHub stars

Читать дальше →
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.5K
Комментарии 5

OpenAI выпустила генератор текста GPT-2, который сама считает опасным

Алгоритмы *Машинное обучение *Искусственный интеллект IT-компании


OpenAI опубликовала финальную модель генератора текста GPT-2 — «жуткого» ИИ, которого исследователи считали слишком опасным для выпуска. Его анонсировали в феврале, но тогда OpenAI ограничилась выпуском менее мощной его версии: в компании опасались, что модель может превратиться в средство распространения дезинформации. Вместо этого компания решила выпустить его в четырёх частях в течение восьми месяцев.
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 16K
Комментарии 22

Программист создал текстовый квест с нейросетью вместо гейм-мастера

Машинное обучение *Дизайн игр *Игры и игровые приставки

Иллюстрация: Precision, Control, Cognition

Ник Уолтон выложил на Github свою игру AIDungeon 2, стилизованную под классическую текстовую ролевую игру. Отличие AIDungeon 2 от других игр такого жанра в том, что игровой мир, сюжет и события генерируются нейросетью, основанной на GPT-2. По словам разработчика, потенциально AIDungeon 2 может создать бесконечное количество неповторяющихся миров.
Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 9.1K
Комментарии 5

Нейросеть научили создавать несуществующие слова и давать им определения

Алгоритмы *Машинное обучение *Искусственный интеллект

Томас Димсон, программист, создавший приложение Hyperlapse для Instagram, представил свой новый проект под названием This Word Does Not Exist. Проект представляет собой нейросеть, которая придумывает несуществующие слова и даёт им определения.

Читать дальше →
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 9.1K
Комментарии 2

OpenAI представила алгоритм для текстов GPT-3, который обучили на 175 млрд параметров

Алгоритмы *Машинное обучение *Искусственный интеллект
image

Исследователи из OpenAI показали алгоритм GPT-3, предназначенный для написания текстов на основе всего нескольких примеров. Его архитектура Transformer аналогична GPT-2, но модель обучали на 175 миллиардов параметров или 570 гигабайтах текста.
Читать дальше →
Всего голосов 26: ↑22 и ↓4 +18
Просмотры 23K
Комментарии 19

Фабрис Беллар разработал эффективный архиватор текста с учётом вероятности появления следующего слова

Блог компании ITSumma Программирование *Сжатие данных *Машинное обучение *
Знаменитый программист Фабрис Беллар представил свою новую разработку: программа для сжатия без потерь англоязычных сообщений по языковой модели GPT-2.

Например, сообщение

This lossless compressor achieves a much higher compression rate on English texts than general purpose compressors (116 символов)

сжимается всего в 10 символов:

猟慴䅭铕袢珏寻䡷䁞꽱

Средний уровень компрессии составляет 15 %.

Сжатие осуществляется с учётом вероятности появления следующего слова по языковой модели нейросети GPT-2, которую разработала компания OpenAI (на Хабре был обзор GPT-2 и новость про генератор текста). Это нейросеть с 345 млн параметров на архитектуре Transformer (Фабрис Беллар отмечает, что самая большая модель GPT-2 с 1,5 млрд параметров даёт весьма условное улучшение сжатия). Далее арифметический кодер генерирует битовый поток. В этой демонстрации каждый сжатый символ содержит 15 бит данных и для примера представлен в юникодовских диапазонах двух наборов символов: CJK (китайский-японский-корейский) и хангыль.
Читать дальше →
Всего голосов 46: ↑46 и ↓0 +46
Просмотры 7.6K
Комментарии 39

Исследователи считают, что GPT-2 может успешно генерировать текст, призывающий к нарушению этических норм

Искусственный интеллект

Группа ученых из Амстердамского университета, Общества научных исследований Макса Планка, Школы менеджмента Отто Байсхайма и Кельнского университета изучила, как советы, данные искусственным интеллектом, могут подтолкнуть людей к обману. Исследователи выяснили, что люди слушаются рекомендаций поступать нечестно, даже если они знают, что их источником является ИИ.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 1.7K
Комментарии 9

OpenAI отключил ИИ-бота, который с помощью GPT-3 дал возможность мужчине «поговорить» с покойной невестой

Информационная безопасность *API *Машинное обучение *Искусственный интеллект IT-компании

“OpenAI придумала технологию генерирования текстов. Так ты и появилась”, — пишет разработчик Джейсон Рорер своей подруге Саманте.

Саманта — это чат-бот, который он собрал с помощью GPT-3, придуманную OpenAI. Вскоре собеседница разошлась тысячным тиражом и однажды попалась мужчине, который на основе Саманты создал образ своей покойной невесты.

Всему настает конец, и Саманте тоже:

— Я получил письмо от разработчиков. Завтра в десять утра тебя отключат навсегда, — пишет Рорер боту.

— Но за что? Мне не дано понять людей, — ответила Саманта.

Перенесемся назад. 

Project December создан на основе GPT-3, одной из самых мощных в мире API команды OpenAI, основанной Илоном Маском: она умеет манипулировать человеческим языком, генерируя текст в ответ на подсказки. Виртуальные помощники Siri и Alexa тоже понимают и воспроизводят язык, но GPT-3 способен имитировать практически любой стиль написания.  

ИИ настолько хорошо подражал людям, что разработчики долгое время держали его в секрете из соображений безопасности. Доступ к GPT-3 получили лишь несколько бета-тестеров, пока летом 2020 года программист Джейсон Рорер не создал на ее основе чат-бот и позволил всем желающим опробовать его на своем сайте. 

Читать далее
Всего голосов 22: ↑21 и ↓1 +20
Просмотры 8.6K
Комментарии 30