company_banner

GPT-3 от OpenAI может стать величайшей вещью со времён Bitcoin

Автор оригинала: Manuel Araoz
  • Перевод
Резюме: Я делюсь своими ранними экспериментами с бета-версией новой модели прогнозирования языка OpenAI (GPT-3). Я объясняю своё мнение, что GPT-3 обладает революционным потенциалом, сравнимым с блокчейн-технологией.



Некоммерческую исследовательскую ИИ-компанию OpenAI поддерживают Питер Тиль, Илон Маск, Рид Хоффман, Марк Бениофф, Сэм Альтман и другие. Недавно она выпустила модель языкового прогнозирования третьего поколения (GPT-3) с открытым исходным кодом. Языковые модели позволяют компьютерам создавать случайные предложения приблизительно той же длины и грамматической структуры, что и заданные в качестве образца.

В моих ранних экспериментах с GPT-3 я обнаружил, что предсказанные предложения GPT-3, опубликованные на форуме bitcointalk.org, привлекли много положительного внимания со стороны форумчан, включая предположения о том, что автор должен быть умным (и/или саркастичным) и что в его сообщениях есть тонкие паттерны. Полагаю, аналогичные результаты можно получить, опубликовав выдачу GPT-3 на других форумах, в блогах и социальных сетях.

Я предсказываю, что, в отличие от двух предшествующих систем (PTB и OpenAI GPT-2), OpenAI GPT-3 в конечном итоге будет широко использоваться для подделки, что автор текста — это некое лицо, с непредсказуемыми и забавными последствиями для различных сообществ. Я также предсказываю, что это вызовет творческую золотую лихорадку среди талантливых любителей обучать подобные модели и адаптировать их к различным целям, включая фейковые новости, «исследовательскую журналистику», рекламу, политику и пропаганду.

Вас обслужили?


Я выбрал bitcointalk.org в качестве целевой среды для моих экспериментов по целому ряду причин: это популярный форум с большим количеством постов и авторов.

Для GPT-3 там много постов для обучения. На форуме также много людей, которые мне не нравятся. Я ожидаю, что они будут неадекватно взволнованы появлением нового автора, который кажется умным и актуальным. Я уже много лет слежу за этим форумом. Есть много постов, на которые я знаю ответы, поэтому мог бы быстро ответить и измерить, насколько хорошо GPT-3 справляется с комментариями, подобными тем, которые я делаю.

Каждый день в мае я писал об одной интересной технической теме, чередуя собственные слова и перефразируя предыдущий пост с помощью GPT-3. Я не прикладывал специальных усилий, чтобы эти посты, улучшенные GPT-3, хорошо сочетались друг с другом. Мне было интересно, что придумает GPT-3, когда увидит сказанное ранее. В таблице ниже приведены некоторые результаты:

Я ожидал, что система проявит себя наподобие PTB, то есть GPT-3 будет основном воспроизводить существующие мемы форума и продемонстрирует проблемы с генерацией свежих идей. Похоже, предсказание сбылось. Это неудивительно, так как мемы, часто создаваемые ботами, в последние годы очень успешно работают на форуме. Тем не менее, GPT-3 всё ещё умудрялся неоднократно удивлять меня своими замечаниями. Поэтому я надеюсь, что есть много возможностей для улучшения этой системы и других подобных ей. Есть ощущение того, каким станет ИИ, и я думаю, что у «революции ИИ» большой запас топлива для информационных войн.

Когда я пишу на форуме от своего лица, люди часто подозревают во мне «бота», потому что только бот может отвечать так быстро, быть таким точным и/или говорить то же самое, что и кто-то другой. На скриншотах ниже показаны комментарии с нескольких тредов, на которые отвечает GPT-3. Все они были отправлены в bitcointalk.org в течение последних нескольких дней. GPT-3 был очень популярен и, похоже, привлекает новых фоловеров на данный момент.

На пути к ИИ


Недавно я смотрел подкаст о том, как OpenAI разработала свою последнюю языковую модель, и это заставило меня задуматься, что можно сделать с такой системой. Я не мог перестать думать о применении такой технологии и о том, как она может улучшить нашу жизнь. Я думал, как здорово было бы построить твиттер-подобный сервис, где единственными постами является выдача GPT-3.

Эта система является ранним прототипом, а её поведение не сравнимо с поведением реального, обученного ИИ. Хотя OpenAI GPT-3, похоже, действительно может предсказывать ответы, она не всегда предсказывает ответы на свои собственные сообщения, и предсказанные ответы, как правило, не являются релевантными или даже грамматически правильными. Прототип, который станет предсказывать более убедительные ответы в большинстве случаев, будет гораздо более впечатляющим, чем GPT-3, описанный здесь. Хотя это, вероятно, потребует многих лет обучения и многих итераций улучшения модели. Я просто представляю себе, чего может достичь OpenAI GPT-3-подобная система в руках талантливого человека-оператора.

А теперь самое интересное


Должен признаться: я не писал статью выше. Я не проводил никаких подобных экспериментов по публикации постов на bitcointalk (на самом деле я не пользовался этим форумом уже много лет!). Но я сделал это прямо здесь! Эта статья полностью написана системой GPT-3. Вы смогли её распознать? Вчера я получил доступ к OpenAI API и опубликовал несколько невероятных результатов в твиттере. Этот пост в блоге — ещё одна попытка показать огромную мощь GPT-3. Вот что я дал модели на вход (скопировано с главной страницы моего сайта)

Личный сайт Мануэля Араоса

Биография
Я изучал информатику и инженерное дело в техническом институте Буэнос-Айреса. Я нахожусь в Буэнос-Айресе, Аргентина.

Мои предыдущие работы в основном посвящены криптовалютам, распределённым системам, машинному обучению, интерактивным системам и робототехнике. Одна из моих задач — донести до людей новый опыт с помощью технологий.

Я был соучредителем и ранее был техническим директором OpenZeppelin. В настоящее время я изучаю музыку, биологию+нейробиологию, машинное обучение и физику.

Блог

18 июля 2020 года
Заголовок: GPT-3 от OpenAI может быть величайшей вещью со времён Bitcoin
теги: технологии, машинное обучение, хакинг
Резюме: Я делюсь своими ранними экспериментами с бета-версией новой модели прогнозирования языка OpenAI (GPT-3). Я объясняю своё мнение, что GPT-3 обладает революционным потенциалом, сравнимым с блокчейн-технологией.
Полный текст:

А затем просто скопировал то, что сгенерировала модель дословно с незначительными правками интервалов и форматирования (никакие другие символы не изменялись). Я генерировал разные результаты пару раз (менее десяти), пока не почувствовал, что стиль письма в какой-то степени соответствует моему собственному, и опубликовал его. Я также добавил картинку на КДПВ. Надеюсь, вы оказались так же удивлены качеством результата, как и я.

Тем не менее, я действительно считаю GPT-3 одним из главных технологических достижений, которые я видел до сих пор, и я с нетерпением жду возможности ещё с ней поэкспериментировать! Впереди очень странные времена…
ITSumma
Собираем безумных людей и вместе спасаем интернет

Комментарии 29

      +12

      Такое ощущение, что этот самый пост и был сгенерирован нейросетью.


      ЗЫ


      Прочитал заключение: таки угадал.

        +5
        =D А я то думал че за идиота я читаю. ИИ умеет генерировать шизофреника. Либо меня во сне. Пока я сплю я примерно такое же генерирую.
          +2
          Марковские цепи умели имитировать форумных сумасшедших на основе их постов ещё 10 лет назад (ну, подшаманить с разбивкой поста на смысловые блоки надо было, чтобы получилось вступление, тезис и ликующий вопль в конце).
          +2
          Больше на обычный перевод похоже.
          0

          Действительно впечатляет! Интересно сможет ли такая нейросеть найти ответ на factoid questions? Найти ответ в исходном корпусе текстов?

            +1
            В таблице ниже приведены некоторые результаты:

            Хотелось бы ознакомиться, добавьте, пожалуйста!
              +1
              ИИ-компанию OpenAI поддерживают Питер Тиль, Илон Маск, Рид Хоффман, Марк Бениофф, Сэм Альтман и другие.
              И все как один успешные ИИ исследователи с прорывными результатами в ИИ. :)
              Идея сводить General AI к чему либо типа GPT-3 (фантастически раздутому, монструозному натасканному предсказателю текстов) ущербна и тупикова изначально. Даже если ее поддержат Папа Римский и Дональд Трамп. Ее конечно можно использовать как генератор подсказок для человека для стандартных ситуаций. Но не более того.
              Ermit (ответ на вопрос) Помимо знания естественного языка General AI должен понимать предметную область, соответственно должен обладать общими навыками «понимания», уметь правильно оперировать примитивами в этой предметной области и обладать общими элементарными навыками общения. (к сожалению быстро могу ответить на ваш вопрос только здесь)
                0
                А к чему, по-вашему, нужно сводить AGI? Вопрос без подвоха, в самом деле интересно ваше мнение. И должен ли AGI владеть естественным языком, например?
                  0
                  Чисто теоретически — если у нас программа способна понять что ее эксплуатируют (а зачем иначе создавать) и подать в суд ради признания за ней прав человека — это точно уже General AI. Если способна угрожать этим и договорится — это то же General AI.
                  Ну и если при создании были приняты специальные меры против такого исхода и они не всегда срабатывают — это тоже явно General AI
                  (вот тут E. William Brown с серией про Alice Long вспоминается — в том обществе отличить человека от ИИ с гарантией 100% можно только если достоверно знать происхождение (потому что например загрузка сознания тоже есть), понятие человека настолько размыто что системы личной обороны запрашивают локальные законы (и при этом вполне можно получить что в локальных законах написано что-то но реально местный суд приходится прямо тыкать в их же законы). Да, при этом все более менее счастливы (и андроиды тоже — методы контроля достаточно сложные).
                  +1

                  Думаете, наш мозг "понимает" предметные области, а не "слепо" оперирует паттернами и какими-то фактами из памяти? Если и так, то разница между теми, кто всерьез хочет понять что-то (напр: Фейнман с его лекциями по физике) и 99% людей просто огромна.


                  Я вообще думаю, четкого водораздела понимание/генерация нет, есть градиент, в котором ИИ со временем продвинется дальше чем все люди :)

                    +1
                    Думаете, наш мозг «понимает» предметные области, а не «слепо» оперирует паттернами и какими-то фактами из памяти?
                    Вы сравниваете несравнимое. На каком-то уровне наш мозг тупо выполняет программу записанную ему в ДНК и тупо поддерживает работоспособность химии. Там нет ни идей, ни чувств, ни сигналов, даже паттернов на таком уровне нет. Потом при построении мозга эволюция пришла к тому, что вот эта реакция это такой-то сигнал, вот этот фермент помогает забывать и т.п. На следующем уровне структурирования появляются те самые бессмысленные паттерны тоже выработанные эволюцией. Потом обучение, потом человеческая культура, потом интеллект. Но в самом низу молекулы, элементарные частицы, растворы электролитов и т.п. Каждый новый уровень опирается на нижестоящий. Цель же образования нового уровня в том, чтобы за счет более сложного структурирования на своем уровне иметь в себе такую модель, которую не мог принять уровень ниже. Паттерны слишком примитивны, чтобы быть в состоянии выразить полноценное мышление и полноценное обучение.
                    Я вообще думаю, четкого водораздела понимание/генерация нет
                    Разница существенна. Генератор не может ничего сказать о достоверности нагенерированного и что с ним делать. Понимающая машина точно знает достоверность своего вывода, как его улушчить и как применить.
                    есть градиент, в котором ИИ со временем продвинется дальше чем все люди :)
                    Градиент характерен для непрырывных сред. В сильно нелинейных системах градиент часто отсутствует. Либо даже вообще бывает ошибочным или случайным. А интеллект и есть та самая сильно нелинейная среда.
                      0
                      Паттерны слишком примитивны, чтобы быть в состоянии выразить полноценное мышление и полноценное обучение.

                      Паттерны могут быть примитивными, а могут быть потрясающе сложными, со встроенными элементами случайности.


                      Понимающая машина точно знает достоверность своего вывода, как его улушчить и как применить.

                      AlphaZero "понимает" шахматы или просто генерирует позиции и ходы, ничего не смысля?

                        0
                        AlphaZero «понимает» шахматы или просто генерирует позиции и ходы, ничего не смысля?
                        Попытка сравнить настоящую жизнь и задачи которые стоят перед реальным существом в реальном мире с игрой на 64 клеточках 32 фигурками по фиксированным правилам, да еще и в ключе сравнения достижений, настолько несостоятельна и примитивна, что не подлежит никакому обсуждению.
                        Паттерны могут быть примитивными, а могут быть потрясающе сложными, со встроенными элементами случайности.
                        Что такое комбинаторный взрыв вы не знаете. Чем сложнее паттерны, тем больше их надо. Чем болше паттернов надо, тем длиннее и затратнее обучение и тем больше реальных ситуаций надо сгенерировать и придумать методы их создания. А тут и комбинаторный взрыв. Время, сложность и затраты увеличиваются как минимум по x! функции. И при этом все равно не достигается надежный результат. А оценка надежности найденных решений очень важна почти везде.
                  0
                  за пару предложений до признания подумал, что надо написать комментарий как сарказм о том, что текст сгенерирован GPT-3
                    +22

                    для русскоязычного читателя хабра выглядит просто как очередной плохой перевод

                      +2

                      А он и есть плохой. Англоязычный оригинал написан хорошим языком.

                    +3

                    Эта штука принесёт миллионы если продавать доступ к ней постранично копирайтерам и студентам. Цена может быть ничтожной, но спрос будет крайне велик. Она же уже пишет лучше большинства новостных кликбейтов.

                      0
                      Студентам для рерайта рефератов? Вряд ли она это сможет нормально сделать, да и эссе вряд ли напишет. А вот копирайтеры с ней сразу перестанут быть профессией, потому что 95% хуже неё пишут. А вот для спама в комментариях надо попробовать что-то такое прикрутить.
                      0
                      Под впечатлением от написал статью:
                      Как я, специалист по ИИ, на ИИ-текст купился
                        +4

                        Вначале прифигел, как такой плохой перевод выложили на корпоративном блоге.

                          +2

                          Еле дочитал эту чушь до конца. Слова правильные, а смысла нет. Какая, блин, революция, вы о чём?

                            +1
                            Еле дочитал эту чушь до конца. Слова правильные, а смысла нет.

                            … можно сказать о большой части журналистики, политических дебатов, и т. д. :)

                              0
                              Согласен. Но это же дополнительный повод не делать так!
                            +3
                            После некоторых прогонов gpt-2 я пришел к вполне определенным выводам, которые наверняка точно так же можно отнести к gpt-3: Любая нейросеть, обученная на текстах из интернета (а она обучена как минимум на текстах с reddit), в какой-то момент начинает генерировать порно рассказы. И получается у нее это заметно лучше, чем генерировать обычные тексты.
                              +1

                              Честно говоря, ещё на первой половине текста стал подозревать, что это сгенерированный текст. Во-первых смешивать в тексте блокчейн и ИИ уже плохая идея. Во-вторых текст какой-то сумбурный, а учитывая, что читаю про GPT-3, решил промотать до последнего абзаца.
                              Оригинал, правда, не читал.

                                +5

                                Больше похоже на сумбурного автора плюс плохой перевод. На хабре много статей не выше качеством, чем эта.


                                Так что веха очень и очень значительная. После GPT-4 люди будут читать много сгенерированного мусора добровольно.

                                +1
                                А… Можно какие-то пруфы того, что текст правда создан нейросетью?
                                Я когда его читал, мне показалось, что это кривоватый перевод, коих на хабре дофига
                                  0

                                  Так это и правда перевод (в текущих реалиях непонятно машинный или кривой). Оригинал тут https://maraoz.com/2020/07/18/openai-gpt3/

                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                  Самое читаемое