Нейросеть GPT-3 вела мотивационный блог на английском и всем понравилось. Чем это грозит копирайтерам и писателям



    Компания OpenAI, которую несколько лет назад основал Илон Маск, в июне выпустила новый алгоритм нейросети GPT-3. На сегодня это самая совершенная система, которая умеет работать с естественными языками.

    Ее возможности просто колоссальны. С помощью GPT-3 можно создавать любой тип текстовой информации, в том числе и сложные технические тексты. К примеру, когда нейросети дали задачу написать текст о себе, она создала статью с громким названием «GPT-3 от OpenAI может стать величайшим открытием после Bitcoin».

    Но может ли нейросеть не просто компилировать слова, подражая человеку, а на самом деле создавать тексты со смыслом? Стихи, повести или даже романы, которые будет интересно читать? Давайте разберемся.


    GPT-3: алгоритм нейросети, который на порядок опережает все существующие


    GPT-3 — это самая сложная языковая модель, когда-либо созданная человеком.

    Она работает с вероятностью появления определенной последовательности слов. GPT-3 от более ранних моделей отличают масштабы.

    При генерации текста она использует 175 миллиардов параметров, а обучали ее на более чем 1,5 триллионах слов. Причем, тексты для тренировок использовались самые разные: от постов на форумах до классической литературы.

    Система пытается предсказать текст, исходя из наиболее вероятных текстовых блоков. Пользователю нужно только задать какую-нибудь точку отсчета, от которой нейросеть будет отталкиваться.



    Чем лучше система понимает контекст запроса, тем точнее будет ответ.

    Складывается впечатление, что нейросеть реально может понимать естественные языки.

    Шариф Шамим (Sharif Shameem), сооснователь и СЕО проекта Debuild.co опубликовал в своем твиттер-аккаунте результаты тестирования разных возможностей нейросети. И они действительно впечатляют.



    В видео видно, что Шариф писал в строку ввода простой текст, как будто объяснял дизайнеру или разработчику, что ему нужно. А система интерпретировала его и выдала результат.

    Особенно позабавила «кнопка, похожая на арбуз».

    Но раз нейросеть так хорошо понимает естественный язык, то может ли она писать тексты так, как это сделал бы человек?

    Ответ: может.


    Копирайтер vs. Нейросеть: эксперименты в СМИ и блогах


    Тексты от нейросети практически не отличаются от человеческих. Лиам Порр, студент из Беркли, провел эксперимент и две недели публиковал статьи, сгенерированные GPT-3, в своем блоге на Adolos.

    Мотивационные статейки от нейросети прочитало 26 000 людей. И, как говорит Лиам, только один из них догадался, что тексты на самом деле писал не человек, а машина. Но даже этот коммент заминусовали другие читатели:



    Если вчитаться в сами статьи, складывается впечатление, что они реально написаны каким-нибудь мотивационным тренером или коучем. Подходящий стиль и фразы, адекватная структура текста. Иногда предложения или отдельные фразы кажутся не слишком естественными, но это не выдает машину. Ведь подобные незначительные ошибки допускает и человек.

    Это одна из причин, почему GPT-3 не выпускают в открытый доступ. Чтобы получить доступ к OpenAI API, нужно заполнить заявку с указанием, для чего именно вы планируете использовать нейросеть.

    Еще на этапе создания GPT-2, предыдущей версии алгоритма, разработчики поняли потенциальную опасность, ведь система может стать инструментом информационной войны. Подобная нейросеть способна генерировать фейковые новости с чудовищной скоростью. Если использовать ее возможности во вред, интернет будет просто погребен под неправдивым контентом.

    Именно поэтому в будущем ее планируют продавать бизнесу по подписке. Но не всем подряд, а только тем, кто докажет, что они планируют использовать ее «в мирных целях».

    Нейросеть, художественные книги и стихи


    Нейросеть вполне может соперничать с авторами новостей в СМИ или технических статей, но процесс создания романов или стихов намного сложнее. Даже базовые принципы написания художественных текстов отличается от технических. Научить нейросеть подбирать рифмы и следить за ритмикой можно без проблем, но с многосмысленностью у машин пока бяда.

    Есть русская нейросеть «Порфирьевич», основанная на алгоритме GTP-2. Она «знает» русский и натренирована не только на прозе, но и на стихах. Проверить работу можно в Телеграм-боте «Нейропоэт». Нужно только написать первую строку или несколько, а остальное сделает система. Мы проверили, получилось так себе.



    Первую строку Пушкина нейросеть превратила в невразумительный набор текста, в котором угадываются военные мотивы. И если отдельные образы можно считать удачными («Дуб просит хлеба у весны» или «Осенние цветы весны»), то другие же вызывают фейспалм.

    Можно провести аналогию с теорией о бесконечных обезьянах, которые нажимая случайные клавиши на пишущей машинке в течение неопределенно долгого отрезка времени рано или поздно напишут «Войну и мир».

    Нейросеть здесь выступает в качестве такой обезьяны, которая вместо отдельных букв компилирует слова и образы, но они в своем большинстве получаются случайными.


    На самом деле многие разработчики создавали генераторы стихов на основе GPT-2. Вот, к примеру, вариант генератора текста песен на английском, который использует облегченную базу из 13 000 стихов.

    Сгенерировал он тоже что-то не сильно вразумительное:



    Что касается художественных книг, то ситуация еще хуже. Этого стоило ожидать, ведь нейросеть не умеет строить сюжет и не знает, что такое завязка или кульминация. Но вот из некоторых экспериментов получается настолько отборная дичь, что остается только удивляться.

    Как вам что-то вроде порно-фанфика по Библии? Неизвестные разработчики выложили сочинение под названием «The Orange Erotic Bible». Его создала нейросеть на основе того же GPT-2, но вот обучали ее на эротических романах и рассказах, а затем в качестве отправной точки для генерации дали отрывки из Библии. Рассказ получился большим — свыше 60 000 слов. И результат мягко говоря удивляет.



    Вот небольшая часть из рассказа. И нет, мы не будем это переводить.

    Существует даже интернет-магазин книг, написанных ИИ. Выглядит он довольно жутко. Потому что обложки книг тоже созданы машиной.



    Правда, его создатели признались, что продали только 19 копий книг. Если их качество хотя бы примерно напоминает «Оранжевую Библию», то мы совершенно не удивлены. Писатели пока что могут спать спокойно.

    Или нет?

    Все предыдущие примеры касались только GPT-2, и они были так себе.

    Но уже существует нейросеть-поэт, основанная на алгоритме GPT-3. И она показывает довольно интересные результаты.

    Нейросеть может писать стихи в заданном стиле и на заданную тему. Аррам Сабети (Arram Sabeti), CEO проекта ZeroCater, уже провел эксперимент.Он формировал запросы нейросети с запросом на тему стиха и стиль. Все остальное делала машина.

    Вот один из запросов:

    Here’s a poem by Dr. Seuss about Elon Musk launching rockets with SpaceX, building electric cars at Tesla, selling flame throwers, dating Grimes, fighting the SEC, crushing short sellers, building brain chips to fight AI, and colonizing mars, and tweeting at all hours of day and night. Musk wants to make humans interplanetary to prevent extinction. The poem rhymes every other line with an ABAB structure. The rhyme structure is typical of Dr. Seuss nursery rhymes.


    Стих получился занятным. Правда. Несмотря на очевидные неточности в ритмике и косяки с рифмами, он имеет смысл. Он длинный, поэтому мы приведем здесь только часть.

    Elon Musk
    By Dr. Seuss

    Once there was a man
    who really was a Musk.
    He liked to build robots
    and rocket ships and such.

    He said, “I’m building a car
    that’s electric and cool.
    I’ll bet it outsells those
    Gasoline-burning clunkers soon!”

    They sell cool cars
    that are electric and clean.
    And then he wanted to go
    even farther, you see.

    The first Tesla, Roadster,
    Was just the start of a bigger dream.
    He said, “I’m building a plane
    that’s electric and green”.


    Прогресс по сравнению с предыдущей версией алгоритма просто удивителен. Это не набор бессвязных фраз, а вполне себе неплохое по структуре стихотворение. Да, до идеала еще далеко, рифмы слабоваты, да и ритмика хромает, но уже на этом этапе сильно удивляешься, что это придумала машина.

    Некоторые образы и словосочетания просто прекрасны. К примеру, «gasoline-burning clunkers» — «бензиновые драндулеты». Если не знать, что это написала машина, то можно подумать, что это творение какого-нибудь школьника, который решил написать стихотворение про своего кумира.

    И, черт возьми, это круто.

    Полную версию стиха и другие творения нейросети можете прочитать здесь.

    ***

    Экспериментов с GPT-3 в плане написания стихов или художественных историй пока довольно мало, так что приходится довольствоваться только этим. Но если нейросеть настолько продвинулась в создании осмысленных текстов, то вполне реально, что скоро она сможет писать и вполне читабельные художественные произведения.

    Возможно, это будет не GPT-3, а какой-нибудь GPT-4 или даже GPT-5, но динамика развития явно есть. Сейчас нейросеть может писать технические статьи, новости, небольшие истории или стихи.

    А с дальнейшим развитием алгоритмов качество генерируемых текстов будет только расти. Так что да, ИИ может писать как человек. Пока что на уровне школьника, но посмотрим, как будет через лет 10-20. А вы как думаете?

    Онлайн-школа EnglishDom.com — вдохновляем выучить английский через технологии и человеческую заботу




    Только для читателей Хабра первый урок с преподавателем по Skype бесплатно! А при покупке занятий получите до 3 уроков в подарок!

    Получи целый месяц премиум-подписки на приложение ED Words в подарок.
    Введи промокод neurowriter на этой странице или прямо в приложении ED Words. Промокод действителен до 29.09.2021.

    Наши продукты:

    Онлайн школа EnglishDom
    Лидер в онлайн образовании

    Комментарии 26

      0
      Кендзи Сиратори уже переплюнули
        +9

        А как подтвердить, что тексты не подвергались корректировке человеком?

          +4

          “ Это одна из причин, почему GPT-3 не выпускают в открытый доступ. ”
          После этого, стало уже как то не сильно интересно.

            +3

            Тем более, что уже были истории с Engineer.ai и Theranos.

              0
              я заявку на бету оставил.
              0
              Сначала шахматы, потом го и вот теперь литература.
              Про осмысленность: сколько средний человек прочитает, увидит, чтобы начать писать.
              Здесь на таком объеме железо завалило Homo sapiens/
                +4

                Работники низкооплачиваемых профессий — О нет, компьютеризация всех нас лишит рабочих мест!
                Тренеры личностного роста — Наша профессия слишком сложна для машины, мы точно в безопасности)))0
                AI — human.holdMy(beer);

                  0
                  Вспомнила я,
                  Что моя голова есть.
                  Под этим смолою железной
                  Зажгу я, если он виноват,
                  Волненье там щек твоих
                  И в груди кипящей крови
                  Сердцу изменившую красоту.
                  Я вспомню тот ночной холод,

                  Он был мудрым — он умер, несчастный!
                  Бедный Аленька! Он умер! Бедный Аленька!
                  Ах, это такой молодчик! Он умер!
                  О, боже! Будь он проклят! Он умер!


                  Н-да… Хотел посмеяться…
                  Но деепричастные обороты расставляет, на удивление, правильно.
                  Про смысл речи пока нет, но более-менее связанно.
                  В общем, есть над чем работать.

                  Второе начал как «мой дядя» — больше ожидал, что из Онегина повторит, т.к. наверняка на Евгении Онегине тоже учили. Но дядя превратился в Аленьку.
                    +8
                    Если вчитаться в сами статьи, складывается впечатление, что они реально написаны каким-нибудь мотивационным тренером или коучем.


                    Ну, то что сетку научили писать статьи где «ноль смысла, один словесный понос» — это говорит не о крутости сетки, это скорее говорит о том что коучи, тренеры, политики и прочие подобные бредогенераторы настолько примитивные существа, что за них запросто может писать сетка…
                      +3

                      Это скорее говорит о том, что именно пипл хавает из уст коучей...

                      0

                      Да уж, видно, что нейросеть смотрит в устье Пряжки.


                      Кто не понял эту петербургскую фишечку — на Пряжке знаменитая дурка.

                        +3
                        Нейросеть GPT-3 вела мотивационный блог на английском
                        ИМХО, это не столько показатель «крутости» нейросети, сколько того, что «мотивационные блоги» — это бессистемное нагромождение бессодержательных лозунгов, которые можно воспроизвести с помощью рандома, и никто особо не заметит разницы.
                          +3

                          Просто у коучей и прочих "тренеров" тексты шаблонные и неадекватные, как и многих копирайтеров. Но для инженеров создававших технологию это повод для гордости, она действительно крута :)

                            0
                            Она работает с вероятностью появления определенной последовательности слов.

                            Это неправильный подход. Текст это отражение действительности, как, скажем, фото и видео. Но пропущенное через индивидуальный фильтр. Чтобы машина могла создавать осмысленный текст она должна уметь работать с моделями реальности, в том числе и с искусственными или виртуальными.

                            Можно начать с простого. Допустим, генератора футбольного комментатора. Идет случайная игра, и электронный комментатор ее просто описывает, естественно, с искусственными восторгами («го-о-о-о-о-л!!!!!»). Т.е., это не вероятностная генерация слов, а отражение в текстовом (или даже голосовом виде) реального случайного процесса.

                            На Хабре много программистов, которым вполне по силам создать: а) простейшую случайную имитацию некоторой командной игры, типа футбола и б) дать ее отражение в тексте, а может быть даже в виде эмоционально окрашенной речи.

                            А дальше развивать подобную технологию в этом направлении.
                              0
                              Чтобы машина могла создавать осмысленный текст она должна уметь работать с моделями реальности, в том числе и с искусственными или виртуальными.

                              GPT-3 с ней и работает. Моделью реальности для этого алгоритма выступают вероятности появления последовательности слов. Последовательность слов сама по себе обозначает некое явление реальности и алгоритм знает с какой вероятность оно встречается. Так что тут все честно. Другое дело что модель может быть так себе и можно придумать что-то получше. Но это что-то надо обучать, думаю тут самые больше проблемы.

                                0
                                Вообще-то имелось в виду от, что модель оперирует словами, а не смыслами. Всё зашибись, пока требуется сделать текст, похожий на настоящий при беглом чтении. Но если вы захотите в этот текст вложить какой-то осмысленный посыл, и построить на его основе логически связанное повествование, то эта модель не подходит принципиально, в ней просто нет отвечающих за это механизмов.
                                  0
                                  Количество вполне может перейти в качество. С ростом сложности модели набор вероятностей в ней все ближе и ближе отражает реальный мир. При достижении определенного предела может оказаться, что он уже адекватно его отражает. И тогда текст уже будет не просто похожим, он будет неотличим. Оперирует ли система в этом случае «смыслами» или чем-то еще не важно, если вы не можете отличить, значит оно думает.

                                  Я даже больше скажу, совершенно не удивлюсь, если наш мозг аналогичный трюк использует для генерации предложений. Есть тема беседы и он выдает поток слов, которые вероятны для этой беседы. Наверное там еще пара хаков сверху, но основа нашей речи и письма вполне может быть такой.
                                    0
                                    А может и не перейти. Я допускаю, что можно, путем титанических усилий, сгенерировать какого-нибудь электронного собеседника на уровне «Эллочки – Людоедки», для беседы с такими же «Митрофанушками». Даже более того, я встречал еще ДОСовские программы (студенческие поделки) которые имитировали виртуального персонажа, с которым можно было вести некий элементарный диалог. Для того времени было очень круто.

                                    А мозг это, прежде всего, «приемник» и только потом «генератор». И накапливает он уже осмысленную информацию, а не вообще любую доступную. Поэтому и демонстрирует высокое качество при умеренных ресурсах.
                                      0
                                      А мозг это, прежде всего, «приемник» и только потом «генератор». И накапливает он уже осмысленную информацию, а не вообще любую доступную. Поэтому и демонстрирует высокое качество при умеренных ресурсах.

                                      Попробую представить как это «осмысливание» происходит. Сенсорная информация проходит через фильтр-классификатор в виде сети нейронов нашего мозга. Выход этой сети является входом в другую сеть, которая изменяет свою структуру и/или веса, тем самым кодируя полученную информацию. Уверен, на практике все сильно сложнее, но как грубая модель сойдет. Почему вы думаете, что в искусственной нейронке из миллиардов нейронов не может быть похожего входного классификатора-осмысливателя?

                                      Думаю мозг эффективен не потому, что он как-то по особому устроен, а потому, что каждый нейрон сам себе CPU и память. Такое железо пробовали делать и, наверное, делают, но оно все еще не распространено.
                                        0
                                        «Приемник», в смысле, принимает (воспринимает) отражение окружающей реальности В этом ключ – наличие внешней реальности. А алгоритмы, типа GPT-3, не работают с внешней реальностью, только с внутренней. Они, как бы, «вещь в себе», по Гегелю. Другими словами, пытаются из чужих мертвых отражений породить живую, неисчерпаемую действительность. Это трудно объяснить словами, но это философский тупик.

                                        Те же философы для снятия некоторых логических ограничений предложили перейти от логики, как таковой, к дилогике, дуальной логике, логике диалога. Пример из политики, проблемы хорошо решаются в диалоге равных по силе и возможностям, за столом переговоров, и плохо решаются в одиночку, каким бы ты там «Царем Горы» ни был.

                                        Также и здесь. Да, можно развивать искусственный интеллект в направлении переработки вторичного сырья (ранее полученного человеком, те же «полтора триллиона слов»), но это не перспективный вариант. А наш ведь Президент уже сказал, что: «Кто будет управлять искусственным интеллектом, тот будет управлять Миром!». А он знает, что говорит.

                                        Поэтому, переходите к дуальности в алгоритмах искусственного интеллекта. Т.е., сначала создавайте модели окружающей реальности (простые, сложные, какие угодно, существуют уже игровые движки способные генерировать реалистические пейзажи, городские кварталы, людей с искусственными лицами и внешностью и много чего еще), а потом алгоритмы, сначала просто описывающие эти объекты и субъекты, а потом делающие некоторые логические умозаключения об отношениях между ними. Этот подход и проще и интересней, доступный даже индивидуальным программистам (если начинать с элементарных вещей).

                                        Почему вы думаете, что в искусственной нейронке из миллиардов нейронов не может быть похожего входного классификатора-осмысливателя?

                                        По воробьям можно стрелять и из пушки, какой-то эффект обязательно будет. Но нужно ли? Тоже и с «большими данными», скажем, в распознавании текста. Не всегда в этом есть абсолютная необходимость, часто просто дань моде.
                                    0
                                    Пожалуйста, работайте со словами, генерируйте спам, создавайте псевдо информацию. Где-то это даже может быть востребовано. Но не всем это интересно, тем более, что для генерации простого осмысленного текста (типа футбольного комментария для случайной игры) вполне достаточно усилий одного квалифицированного программиста, без использования всего лишь «полутора триллионов слов».
                                    0
                                    Т.е., GPT-3 не отражает реальность, она работает с уже отраженной реальностью, которая получена человеком. Другими словами, не создает нового смысла, только комбинирует чужой смысл, полученный другим интеллектом.

                                    Кстати, смысл это есть часть реальности. В этом его объективная сущность. А субъективная – проекция этой части реальности, в т.ч., и в осмысленный текст.

                                    Так что, не уверен, что «честно». Этот алгоритм пытается сгенерировать наиболее вероятный шаблон из известной ему информации. Примерно, как в шахматах, путем перебора огромного количества вариантов и выбора из них наиболее подходящего по формальному критерию. Это не интеллект, это простая выборка из больших данных.

                                    Я ведь привел пример. Делаете: а) модель реальности с элементами непредсказуемости и случайности и б) строите систему, отражающую поведение этой модели в виде осмысленного текста (или речи). Причем о смысле можно особо не беспокоиться, поскольку этот текст будет отражать реально существующий прототип, а раз прототип работает, то тем самым способен порождать смысл. При этом самое интересное будет в индивидуальных фильтрах, когда алгоритм сможет общаться со своей копией, но другими настройками, обсуждая какую-нибудь общую для них реальность.
                                  0
                                  Интересно было бы сравнить с марковскими моделями, обученными на том же объёме данных.
                                  Потому что даже примитивные цепи Маркова при наличии достаточно большого объёма однородных данных (например, порядка 100Мб текста фанфиков о Поттере, сграбленных с соответствующих ресурсов) показывают достаточно неплохие результаты.
                                    0
                                    Она работает с вероятностью появления определенной последовательности слов.

                                    Вот это намекает, что внутри там могут быть как раз Марковские цепи.

                                    0
                                    xxx: Мечтаю, чтобы гугл выпустил новый сервис — Google Water
                                    xxx: Ты вводишь три абзаца из введения своего диплома, гугл выдает три с половиной страницы связанного по смыслу текста.
                                      0

                                      Философский зомби — это оно получилось?

                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                      Самое читаемое