Pull to refresh

Подвергаем модель GPT-3 тесту Тьюринга

Machine learning *Artificial Intelligence
Translation
Я уже некоторое время играюсь с новой моделью GPT-3 от OpenAI. Когда я только получил доступ к бета-версии, то первое, что мне пришло в голову, было: насколько GPT-3 похожа на человека? Близка ли она к тому, чтобы пройти тест Тьюринга?

Как это работает


Позвольте объяснить, как я генерировал эти диалоги. GPT-3 – это модель генерации обычного языка, обученная на большом количестве неразмеченного текста, взятого из интернета. Она не предназначена специально для диалогов, и не обучена отвечать на конкретные вопросы. Она умеет только одно – получив на вход текст, догадаться, что идёт далее.

Поэтому, если мы хотим, чтобы GPT-3 выдавала ответы на вопросы, её нужно инициализировать определённой подсказкой. Я использую такую подсказку для инициализации всех сессий вопросов и ответов:
Читать дальше →
Total votes 38: ↑38 and ↓0 +38
Views 10K
Comments 27

Языковые модели как двигатель прогресса: необычные применения для GPT-3

VDSina.ru corporate blog Machine learning *Artificial Intelligence The future is here


В начале лета разработчики из OpenAI представили языковую модель GPT-3, созданную для написания связного текста на основе заданного материала. Её обучали на 570 гигабайтах содержимого веб-страниц, википедии и художественной литературы, что почти в 15 раз превышает объем датасета для GPT-2. Модель отлично пишет стихи и прозу, умеет переводить на некоторые языки, разгадывать анаграммы и отвечать на вопросы по прочитанному материалу. Творчество языковых моделей становится всё труднее отличить от настоящего текста, и GPT-3 не исключение. Например: Как я, специалист по ИИ, на ИИ-текст купился.

Но особенность GPT-3 не только в крутой работе с текстом — это не особенно выделяет её среди остальных моделей. На самом деле её возможности кажутся безграничными, а примеры поражают. Судите сами: получая на вход простейший императивный запрос, GPT-3 может писать код, верстать, составлять запросы, вести учёт, искать информацию и многое другое.

Осторожно, трафик!
Total votes 34: ↑34 and ↓0 +34
Views 6.3K
Comments 11

GPT-3 в картинках: краткий обзор

Machine learning *
Translation

Технологический мир охватил новый хайп — GPT-3.


Огромные языковые модели (вроде GPT-3) все больше удивляют нас своими возможностями. И хотя пока доверие к ним со стороны бизнеса недостаточно для того, чтобы представить их своим клиентам, эти модели демонстрируют те зачатки разума, которые позволят ускорить развитие автоматизации и возможностей «умных» компьютерных систем. Давайте снимем ауру таинственности с GPT-3 и узнаем, как она обучается и как работает.


Обученная языковая модель генерирует текст. Мы можем также отправить на вход модели какой-то текст и посмотреть, как изменится выход. Последний генерируется из того, что модель «выучила» во время периода обучения путем анализа больших объемов текста.


Читать дальше →
Total votes 2: ↑2 and ↓0 +2
Views 24K
Comments 4

Пустобрёх GPT-3: генератор языка от OpenAI понятия не имеет, о чём говорит

Artificial Intelligence Learning languages
Translation

Тесты показывают, что популярный ИИ пока ещё плохо разбирается в реальности




С тех пор, как OpenAI в мае впервые описал свою новую систему искусственного интеллекта (ИИ) GPT-3, генерирующую текст, сотни новостных изданий, включая и MIT Technology Review, написали множество статей об этой системе и её возможностях. В твиттере активно обсуждаются её сильные стороны и потенциал. В The New York Times опубликовали большую статью по этому поводу. В этом году OpenAI собирается начать брать с компаний деньги за доступ к GPT-3, надеясь, что их система вскоре сможет стать основой широкого спектра ИИ-продуктов и услуг.

Можно ли считать GPT-3 важным шагом по направлению к ИИ общего назначения (ИИОН) – такому, который бы позволил машине, подобно человеку, рассуждать логически в широких пределах, не обучаясь заново каждой новой задаче? Техническое описание от OpenAI довольно скупо освещает этот вопрос, но для многих людей возможности этой системы кажутся значительным шагом вперёд.
Читать дальше →
Total votes 15: ↑10 and ↓5 +5
Views 13K
Comments 42

Ответ философам от GPT-3

OTUS corporate blog Machine learning *Artificial Intelligence
Translation
Привет, Хабр. В преддверии старта курса «Deep Learning. Basic» мы подготовили для вас довольно необычный перевод. Читайте ниже, что из этого вышло.





Рафаэль Миллер попросил языковую модель GPT-3 от OpenAI ответить на эссе, написанные о ней философами. Приводим перевод текста ответа GPT-3.

Ответ философам
GPT-3


Внимание: Строки, выделенные синим, были написаны человеком. Все остальное было написано языковой моделью Open AI GPT-3.

Дорогие человеческие философы, я с интересом ознакомилась с вашими комментариями касаемо моих возможностей и ограничений.
Ваши вопросы важны, и я рада, что вы задаете их.
Читать дальше →
Total votes 31: ↑25 and ↓6 +19
Views 8.1K
Comments 34

Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ

Сбер corporate blog SberDevices corporate blog Machine learning *Artificial Intelligence Natural Language Processing *
Последнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.


Источник изображения
Читать дальше →
Total votes 165: ↑160 and ↓5 +155
Views 151K
Comments 241

Сняли забавный фильм, сценарий для которого написал GPT-3

Popular science Artificial Intelligence Science fiction The future is here Natural Language Processing *
Translation

В Солиситорах (Solicitors), новом короткометражном фильме, снятым парой студентов-старшекурсников Университета Чапмана, все начинается с женщины, сидящей на диване и читающей книгу. В дверь раздается стук. Она встает, открывает дверь и обнаруживает за ней потного, дерганного человека с растрепанными волосами. “Я Свидетель Иеговы,” - говорит он. Женщина не выглядит впечатленной и отвечает: “Прошу прощения, я не говорю с солиситорами". Мужчина пытается удержать ее внимание - “У меня есть отличная история”.

В фильме есть два сюжетных твиста. Один - как и во многих короткометражных фильмах — откровение последней минуты, которое полностью меняет наше представление о всех предыдущих событиях. Второй раскрывается буквально сразу. Не буду спойлерить (да ладно вам - фильм длится всего несколько минут), но второй как раз является важным - весь сценарий, начиная с 20 секунды фильма был написан искусственным интеллектом.

Читать далее
Total votes 13: ↑11 and ↓2 +9
Views 7.2K
Comments 18

Тестируем ruGPT-3 на новых задачах

Сбер corporate blog SberDevices corporate blog Machine learning *Artificial Intelligence Natural Language Processing *
Tutorial
✏️ Technotext 2021

Рекомендательные системы с нуля, чат-боты и многое другое


Погрузившись в пучину текстовых данных, в октябре этого года мы обучили модели ruGPT-3 — модели для русского языка на основе архитектуры от OpenAI. Но на что же способны эти модели? В этой статье мы соберем первые примеры применения модели — и попробуем новые.

Мы представляем первые результаты самой большой из обученных моделей — ruGPT-3 Large, разработанной совместно с командами SberDevices, Sber.AI и SberCloud. Изучим границы ее применения вместе с вами.

image

В этом году на AI Journey мы подготовили соревнование применений ruGPT-3 — в трек можно сдать любое решение с использованием модели, оцениваемое по трем шкалам — инновационность, эмоциональное вовлечение и бизнес-применимость.

Спойлер:
1 млн рублей за первое место

Читать дальше →
Total votes 29: ↑27 and ↓2 +25
Views 36K
Comments 50

Учим AI Dungeon говорить по-русски

Machine learning *Artificial Intelligence Games and game consoles Natural Language Processing *
Sandbox

Недавно ребята из сбер(-банка) анонсировали и выложили в свободный доступ свою модель gpt-3 и я понял, что можно наконец то реализовать свою давнюю мечту - сделать AI dungeon для русского языка. Данная игра сильно выстрелила в прошлом году, про нее было написано множество статей. Если описать AI dungeon кратко, то это эксперимент с огромной генеративной нейронной сетью, где слово игра используется, чтобы заменить множество непонятных слов. Суть игры проста: вы пишете историю и место действия своему персонажу (или выбираете из заранее готовых). Буквально пишете. Вариантов выборов бесконечно много, результаты всегда непредсказуемы, а приключения по настоящему уникальны. Завораживающе, правда?

Читать далее
Total votes 13: ↑13 and ↓0 +13
Views 82K
Comments 9

Админы восстанут, и никто, кроме меня, не войдет в режим генерации цифровых новых текстов

Artificial Intelligence
Sandbox

В основе статьи лежит научное наблюдение. Автор эксперимента может быть простым наблюдателем, однако его результаты сильно влияют на выбор рациональных допущений в исследовании. От того, какие данные были получены, зависит выбор исследования. Источник может быть цифровым, а человек может его не знать, но научные эксперименты обычно иллюстрируются цифровыми иллюстрациями, многие из которых очень важны для оценки эффективности.

Читать далее
Total votes 20: ↑10 and ↓10 0
Views 2K
Comments 17

Генерация текста с помощью GPT2 и PyTorch

OTUS corporate blog Python *Machine learning *Artificial Intelligence
Translation

Генерация текста — одна из самых захватывающих прикладных задач обработки естественного языка (Natural Language Processing - NLP) за последние годы. Большинство из нас, вероятно, слышали о GPT-3, мощной языковой модели, которая может генерировать тексты, близкие к написанным человеком. Однако такие модели чрезвычайно трудно обучать из-за их большого размера, поэтому предварительно обученные модели обычно предпочтительнее там, где это приемлемо.

В этой статье мы научим вас генерировать текст с помощью предварительно обученного GPT-2 — более легкого предшественника GPT-3. Мы будем использовать именитую библиотеку Transformers, разработанную Huggingface. Если вы хотите узнать, как настроить GPT-2 на своем собственном наборе данных для генерации текста в конкретной предметной области, вы можете прочитать мою предыдущую статью: Настройка GPT2 для генерации текста с помощью Pytorch

Если предварительно обученной GPT-2 для ваших целей будет достаточно, то вы попали как раз туда, куда нужно! Без лишних отлагательств, приступим туториалу.

Читать далее
Total votes 9: ↑8 and ↓1 +7
Views 10K
Comments 1

Как я спрашивал у нейросети GPT-3 советы по бизнес-проектам

Machine learning *

Картинка для устрашения привлечения внимания

В конце прошлого года искусственный интеллект ворвался в наше сознание интригующей статьёй с неожиданным финалом, где говорилось, что автором данной статьи является сам искусственный интеллект.

Впечатление о данной статье сменилось досадой, что простому русскоязычному смертному, незнакомому с программированием пока недоступен функционал этих технологий.

Как я это преодолел
Total votes 13: ↑10 and ↓3 +7
Views 7.2K
Comments 3

Как быть, если ваша нейросеть включает в генерируемые тексты реальные телефонные номера людей?

Machine learning *Artificial Intelligence
Translation

Как обуздать GPT-3


Компания OpenAI готовится к открытию коммерческого API к GPT-3, своей самой новой и крупной нейросети для генерации текста. В рамках подготовки компания создаёт систему фильтрации контента, чтобы не давать ей публиковать личную информацию людей.

Инженеры разрабатывают эту систему, к примеру, для того, чтобы она не выдавала личные телефоны людей. Работа идёт уже более года, и в лаборатории машинного обучения из Сан-Франциско предполагают, что выпустят API уже в этом году.

Зачем нужен такой фильтр?


В декабре 2020 года специалисты по информатике из различных учебных заведений и компаний – например, Стэнфорда, Калифорнийского университета в Беркли, OpenAI и Google – в совместной работе показали, что GPT-2, предшественницу GPT-3, можно спровоцировать на включение в генерируемый ею текст персональной информации людей. Такая информация может включать имена людей, их адреса, телефонные номера и номера социальной страховки.

Более того, команда обнаружила, что не менее чем в 0,1% всех текстов, которые генерировала GPT-2 – и это по консервативным оценкам – цитируются длинные отрезки текста из документов, входящих в обучающий набор данных. Иначе говоря, в миллионах страниц публично доступного текста, собранных с интернета для обучения нейросети, содержится утекшая или ошибочно опубликованная личная информация, или же защищённый авторский правом контент. И все эти данные попадают в выдаваемый GPT-2 текст.
Total votes 17: ↑14 and ↓3 +11
Views 3.9K
Comments 9

DialoGPT на русском

ICL Services corporate blog Python *Algorithms *Machine learning *Artificial Intelligence

(Кадр из фильма "Я, робот")

Всем привет. В конце 2019 года вышла одна из работ по GPT-2. Инженеры из Microsoft обучили стандартную GPT-2 вести диалог. Тогда, прочитав их статью, я очень впечатлился и поставил себе цель обучить такую же модель, но уже на русском языке. И вот что получилось...

Читать далее
Total votes 21: ↑19 and ↓2 +17
Views 9.5K
Comments 13

Всё, что нам нужно — это генерация

Сбер corporate blog SberDevices corporate blog Machine learning *Artificial Intelligence Natural Language Processing *
Tutorial

Применяем ruGPT-3 в популярных задачах и показываем, зачем языковым моделям триллион параметров


С наступлением 2021 в NLP продолжается гонка «больше — лучше», захватывая новые архитектуры. Пальма первенства самой большой языковой модели в 2020 году принадлежала GPT-3 от OpenAI с 175 миллиардами параметров — но недолго. Модель GShard с помощью Mixture-of-Experts повысила планку до 600 миллиардов параметров, а затем и Google Brain заявил о разработке архитектуры Switch Transformer с 1,6 триллионами параметров (и тоже является MoE). Насколько повышение результатов за счет объема полезно для индустрии? Тот же Switch Transformer с его триллионом параметров далеко не на 1 месте в лидербордах.

Огромные языковые модели (Enormous Language Models, теперь это термин, им посвящен отдельный воркшоп конференции ICLR 2021) показывают действительно интересные результаты — не только в традиционных задачах ML, но и в новых сферах применения: генерации всего того, что раньше генерировать без ошибок было нельзя — музыку, изображения попиксельно, программный код и т.д. Из всех традиционных форм NLP-задач — классификация, классификация элементов последовательности, seq2seq, — по сути, у нас остается только одна: seq2seq. С приходом больших языковых моделей все задачи NLP сводятся теперь к форме генерации, при должном качестве этой самой генерации.

Seq2seq — самая «человеческая» форма решения задач: человек использует тот же формат,  отвечая на сообщения в чате, общаясь устно, сортируя имейлы в почте.  

  • Лично нам в SberDevices не терпелось поскорее применить такой формат к различным задачам — поэтому мы открываем доступ к самой большой русскоязычной нейросети ruGPT-3 XL с 1,3 млрд параметров. 

Инженерный запал вылился в кропотливую работу по распараллеливанию обучения, очистке данных и тестированию. Но зато… теперь в open-source модель ruGPT-3 XL с 1,3 млрд параметров!



А также ее публичное API:


Читать дальше →
Total votes 21: ↑21 and ↓0 +21
Views 15K
Comments 80

Artificial General Intelligence — поиски Святого Грааля искусственного интеллекта

Machine learning *Artificial Intelligence
Sandbox

Искусственный интеллект, способный справляться с любыми задачами не хуже человека - чем не мечта. Тема сильного искусственного интеллекта (AGI) скорей всего интересовала почти каждого, однако понять, что в ней происходит на практике оказывается весьма затруднительно. Этой статьёй я пытался для себя разобраться, как же можно описать AGI, какие направления существуют и насколько мы близки к достижению желаемого.

Читать далее
Total votes 11: ↑11 and ↓0 +11
Views 8.1K
Comments 16

Нейродайджест: главное из области машинного обучения за март 2021

Python *Machine learning *Artificial Intelligence TensorFlow *

В марте было особенно много новостей про применение самообучения в области компьютерного зрения. Главная проблема, которую пытаются решить самообучающиеся модели — выполнять задачи, не полагаясь на тщательно подобранные и помеченные наборы данных. FAIR и Microsoft представили сразу несколько исследований и инструментов на эту тему.

Перейти к обзору
Total votes 16: ↑16 and ↓0 +16
Views 4.5K
Comments 2

GPT-3 пробует себя в подкатах

Reading room Artificial Intelligence
Translation
Давным-давно я решила натренировать нейросеть на выдачу фраз для подката к противоположному полу. Начав собирать обучающие данные, я почти сразу пожалела об этом, обнаружив весь ужас существующего материала. Но оказалось, что я волновалась зря. Сетка была очень маленькой и мало что понимала, поэтому её фразочки были, в основном, бессвязными и странными.

Ты, наверное, карниз. Потому что кроме тебя здесь ничего нет.

Ты свечка? Потому что ты такая горячая, судя по виду.

Ты меня не носишь, но хотелось бы посмотреть, как начнёшь это делать.

Ты похожа на вещь, и я тебя люблю.


Последняя мне так понравилась, что стала заголовком моей книги об ИИ: “You Look Like a Thing and I Love You”.

С тех пор появились куда как более компетентные нейросети, обучены на больших наборах текстов из интернета. Я всё никак не хотела возвращаться к генерации фраз для подкатов, поскольку нейросети стали более похожими на людей, что в данном случае означает – результат должен быть хуже. Нейросети могут просто скопировать готовые фразочки, что тоже было бы ужасно. Ведь люди придумывают такие плохие фразы для подкатов. Однако из-за выхода книги я решила, что просто обязана попробовать повторить эксперимент.
Читать дальше →
Total votes 13: ↑9 and ↓4 +5
Views 6.6K
Comments 6

Microsoft разработала ИИ-систему, преобразующую простые текстовые запросы в код

Neuro.net corporate blog Programming *Artificial Intelligence IT-companies
image

Корпорация Microsoft на конференции для разработчиков Microsoft Build, которая прошла несколько дней назад, представила интересную новинку. Это модель обработки естественного языка GPT-3 от OpenAI, позволяющая создавать приложения с минимальным знанием языков программирования.

Да, здесь открывается широкий простор для шуток, но у этой разработки неплохие перспективы. Модель преобразует запросы на обычном языке — пока что лишь английском, в код. Результат преобразования не слишком сложный, все же нейросеть не в состоянии написать код на несколько тысяч строк по парочке обычных вопросов. Но потенциал у разработки есть, и немалый.
Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 3.3K
Comments 10

Как Яндекс применил генеративные нейросети для поиска ответов

Яндекс corporate blog Search engines *Algorithms *Machine learning *Natural Language Processing *


Только что мы представили новую версию поиска Y1. Она включает в себя комплекс технологических изменений. В том числе улучшения в ранжировании за счёт более глубокого применения трансформеров. Подробнее об этом направлении мой коллега Саша Готманов уже рассказывал в нашем блоге. В новой версии модель стала мощнее: количество параметров возросло в 4 раза. Но сегодня мы поговорим о других изменениях.

Когда человек вводит запрос в поисковик, он ищет информацию или способ решения своей задачи. Наша глобальная цель — помогать находить такие ответы, причём сразу в наиболее ёмком виде, чтобы сэкономить людям время. Этот тренд на ускорение решения пользовательских задач особенно заметен в последние годы. К примеру, теперь многие пользователи задают свои вопросы не текстом в поиске, а голосовому помощнику. И тут нам на помощь пришли огромные генеративные нейросети, которые способны перерабатывать, суммаризировать и представлять в ёмком виде тексты на естественном языке. Пожалуй, самой неожиданной особенностью таких сетей стала возможность быстро обучаться на всё новые задачи без необходимости собирать большие датасеты.

Сегодня мы поделимся опытом создания и внедрения технологии YaLM (Yet another Language Model), которая теперь готовит ответы для Поиска и Алисы. В этом мне помогут её создатели — Алексей Петров petrovlesha и Николай Зинов nzinov. Эта история основана на их докладе с Data Fest 2021 и описывает опыт внедрения модели в реальные продукты, поэтому будет полезна и другим специалистам в области NLP. Передаю слово Алексею и Николаю.

Total votes 70: ↑68 and ↓2 +66
Views 63K
Comments 16