Комментарии 70
на 8 млн интернет страницах (суммарно на 40 Гб текста)В оригинале очень похоже «was trained simply to predict the next word in 40GB of Internet text».
Но 40гб это как-то мало, по 5кб с сайта? Две странички А4?
Может кто-то объяснить?
Там не полные страницы использовались, а куски текстов, выбранные какой-то разработанной ими эвристикой. Изначально это было 45 млн ссылок, из которых удалили дубликаты, совпадающие тексты с википедией, чтобы избежать ее формализованного языка и так далее. В итоге осталось чистого текста на 40 Гб из примерно 8 млн интернет-страниц.
Как именно отбирались куски текста из страниц в работе толком не описано, но судя по использованию слов «Dragnet» и «Newspaper content extractors», они прогоняли текст со страниц через какие-то классификаторы новостей и разговорной речи. Из-за этого в генерируемом тексте так много цитат, а стиль напоминает новостные сайты. Но это только догадки…
Как именно отбирались куски текста из страниц в работе толком не описано, но судя по использованию слов «Dragnet» и «Newspaper content extractors», они прогоняли текст со страниц через какие-то классификаторы новостей и разговорной речи. Из-за этого в генерируемом тексте так много цитат, а стиль напоминает новостные сайты. Но это только догадки…
Вообще, с классификаторами в генерации текстов в NLP все сложно и запутано… Какая-то предобработка текстов в любом случае нужна. Но она же оказывает влияние на результат.
А к примеру, Алиса от Яндекса вообще не генерирует текст, насколько я знаю. Она просто классификатор по большой базе готовых реплик. Нейросеть только выдает очки, какую реплику выбрать. А другой классификатор оценивает, надо ли заполнять форму (и тогда получаются диалоги с заполненными частями, игры и т.д.). Или предоставить слово основной «Алисе», которая выберет из базы подходящую фразу.
При этом Алиса со стороны вполне себе разговорный бот, а благодаря таком подходу гарантированно не использует оскорбительных фраз. Кроме тех, что пропущены при сборке базы, хе-хе. Или получившимися таким из-за контекста, вроде знаменитой: «Выхода нет» — «Выход всегда есть. В окно»
А к примеру, Алиса от Яндекса вообще не генерирует текст, насколько я знаю. Она просто классификатор по большой базе готовых реплик. Нейросеть только выдает очки, какую реплику выбрать. А другой классификатор оценивает, надо ли заполнять форму (и тогда получаются диалоги с заполненными частями, игры и т.д.). Или предоставить слово основной «Алисе», которая выберет из базы подходящую фразу.
При этом Алиса со стороны вполне себе разговорный бот, а благодаря таком подходу гарантированно не использует оскорбительных фраз. Кроме тех, что пропущены при сборке базы, хе-хе. Или получившимися таким из-за контекста, вроде знаменитой: «Выхода нет» — «Выход всегда есть. В окно»
Музыка в исполнении нейросетей была, фильм ужасов созданный нейросетью был, осталось только написать мировой бестселлер с миллиардом проданных копий на амазоне и обучить OpenAI на генерацию рабочего кода.
уже и Андрей Карпати написал(в моем вольном переводе): «чем больше вы пишете в интернете, тем выше риск что будущая версия нейросети сможет лучше генерировать тексты, как будто это пишете вы сами»
КМК, без примера сгенерированного текста статья выглядит неполной.
Пожалуй, да. Сейчас добавлю ссылки. И перечитав, замечаю много стилистических ляпов и ненужных повторов. Первоначально это не планировалось как статья, а как короткая заметка как запустить доступную версию GPT-2 с 117М параметрами через Google Colab. Еще не все привыкли, что практически все новейшие нейросетки можно запускать в браузере (даже на смартфонах) через этот сервис. А тут так удачно сделано, что не пришлось ничего дописывать, достаточно следовать инструкции в несколько строчек с официального гитхаба.
На образцы генерируемого полной моделью текста прямая ссылка: https://blog.openai.com/better-language-models/#sample1 (вверху полоски переключателя на 8 историй).
Также есть огромный 2.4 Mb текстовый файл со случайно сгенерированными образцами: https://raw.githubusercontent.com/openai/gpt-2/master/gpt2-samples.txt
И еще один, 2.27 Мб, с другими настройками случайности: https://raw.githubusercontent.com/openai/gpt-2/master/gpt2-topk40-samples.txt
Мой английский не настолько хорош, чтобы оценить качество генерации. Но по длине и связности, кажется такого уровня еще не было. Иногда через несколько абзацев упоминается что-то, что было в начале текста.
Хотя меня больше впечатлила способность сети выделять структуру документа и дополнять его, как в вопросах и ответах или при переводе слов. Как говорят разработчики, в обучающей выборке встречаются записи вроде: «шерше ля фам», что в переводе означает «ищите женщину». И этого оказалось достаточно, чтобы нейросеть поняла принцип перевода и повторила его при аналогичном формировании начальной фразы.
На образцы генерируемого полной моделью текста прямая ссылка: https://blog.openai.com/better-language-models/#sample1 (вверху полоски переключателя на 8 историй).
Также есть огромный 2.4 Mb текстовый файл со случайно сгенерированными образцами: https://raw.githubusercontent.com/openai/gpt-2/master/gpt2-samples.txt
И еще один, 2.27 Мб, с другими настройками случайности: https://raw.githubusercontent.com/openai/gpt-2/master/gpt2-topk40-samples.txt
Мой английский не настолько хорош, чтобы оценить качество генерации. Но по длине и связности, кажется такого уровня еще не было. Иногда через несколько абзацев упоминается что-то, что было в начале текста.
Хотя меня больше впечатлила способность сети выделять структуру документа и дополнять его, как в вопросах и ответах или при переводе слов. Как говорят разработчики, в обучающей выборке встречаются записи вроде: «шерше ля фам», что в переводе означает «ищите женщину». И этого оказалось достаточно, чтобы нейросеть поняла принцип перевода и повторила его при аналогичном формировании начальной фразы.
Потестировал сеть. Уровень связности текста достаточно слабый. На данный момент она больше напоминает генератор рефератов/стихов/слоганов от Яндекса которому сколько там уже лет?
НЛО прилетело и опубликовало эту надпись здесь
Подозреваю, что под давлением общественности они все же выложат полную модель. Она несовершенна, в блоге говорится что хороший текст получается только на популярные темы. А на редкие или по узкоспециализированным предметам прорыва не случилось. Поэтому это еще очень далеко от общего ИИ, которому можно задавать любые вопросы. Хотя и выражают надежду, что при увеличении выборки и вычислительной мощности результаты улучшатся.
Ждём появления курсовых и дипломных (да что уж там, давайте заодно и диссертации!), написанных нейросетью — и преподаватели станут совсем не нужны… поскольку не справятся с тем, чтобы отличить настоящую работу, написанную человеком, от нейросетевой нарезки умных фраз. Кстати, вот вопрос: разрабатываются ли параллельно с прямой задачей машиной генерации текстов обратные задачи определения степени «человечности» автора текста?
Корчеватель же.
Много было экспериментов (успешных и заканчивавшихся большими скандалами) с пропихиванием сгенерированного текста в рецензируемые научные журналы.
Много было экспериментов (успешных и заканчивавшихся большими скандалами) с пропихиванием сгенерированного текста в рецензируемые научные журналы.
Кстати, вот вопрос: разрабатываются ли параллельно с прямой задачей машиной генерации текстов обратные задачи определения степени «человечности» автора текста?
Сейчас много разрабатывается как отличить сгенерированную фотку от настоящей. Даже в DARPA есть программа финансирования таких разработок, если не ошибаюсь.
Генерация текста еще не достигла таких высот, чтобы требовалась обратная задача. Удачные примеры есть только по узким областям. Например, было что-то про генерацию отзывов на книги в Амазоне. Но видимо исследователи считают, что это проблемы только Амазона. Хе-хе. Наивные.
Под впечатлением, но…
попробую немного дополнить статью фактами и примерами, разбросанными по разным источникам.
1. Оригинальная статья демонстрирует примеры практически уровня magic касабельно генерации текста:
При этом авторы даже говорят, что это не «выбранные вручную лучшие варианты, в в меру себе характерные»
2. Однако, заходим на Реддит. Идем по ссылке, где есть примеры работы GPT-2 модели в Github.
И видим… ну, уже не совсем магию. Вернее, совсем не магию — вполне себе уровень генерации текстов типа Яндекс.Рефератов или классических Марковских генераторов.
3. Про обсуждение TL;DR — действительно ли достаточно поставить такую фразу, чтобы сделать summarize текста?
Обсуждение на Reddit — в общем, короткий ответ НЕТ, и вот что по этому поводу говорят в самой статье.
4. Не поленился и зашел на Google Colab, прогнал модель. (Правда, здесь стоит делать оговорку, что модель там упрощенная, но все же была надежда...)
Пример генерации текста под катом. К сожалению, не сохранил ответы на вопросы (не подумал и закрыл), но там тоже ничего хорошего не было.
попробую немного дополнить статью фактами и примерами, разбросанными по разным источникам.
1. Оригинальная статья демонстрирует примеры практически уровня magic касабельно генерации текста:
1 текст про единорогов
SYSTEM PROMPT (HUMAN-WRITTEN)
In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English.
MODEL COMPLETION (MACHINE-WRITTEN, 10 TRIES)
The scientist named the population, after their distinctive horn, Ovid’s Unicorn. These four-horned, silver-white unicorns were previously unknown to science.
Now, after almost two centuries, the mystery of what sparked this odd phenomenon is finally solved.
Dr. Jorge Pérez, an evolutionary biologist from the University of La Paz, and several companions, were exploring the Andes Mountains when they found a small valley, with no other animals or humans. Pérez noticed that the valley had what appeared to be a natural fountain, surrounded by two peaks of rock and silver snow.
In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English.
MODEL COMPLETION (MACHINE-WRITTEN, 10 TRIES)
The scientist named the population, after their distinctive horn, Ovid’s Unicorn. These four-horned, silver-white unicorns were previously unknown to science.
Now, after almost two centuries, the mystery of what sparked this odd phenomenon is finally solved.
Dr. Jorge Pérez, an evolutionary biologist from the University of La Paz, and several companions, were exploring the Andes Mountains when they found a small valley, with no other animals or humans. Pérez noticed that the valley had what appeared to be a natural fountain, surrounded by two peaks of rock and silver snow.
При этом авторы даже говорят, что это не «выбранные вручную лучшие варианты, в в меру себе характерные»
2. Однако, заходим на Реддит. Идем по ссылке, где есть примеры работы GPT-2 модели в Github.
И видим… ну, уже не совсем магию. Вернее, совсем не магию — вполне себе уровень генерации текстов типа Яндекс.Рефератов или классических Марковских генераторов.
Sample 45
======================================== SAMPLE 45 ========================================
As the larger parts of Act IV and Act V were being written, E was being put together and then presented to the animation department for blitting. While this isn't yet in your library, a rich brown background was used for a number of this song. It was the vehicle for the animators to bring everything together.<|endoftext|>Video
Legends of the Hawai'i Packers came out this group of famous athletes – players who made an impact both at their highest level and with their dancing and performance.
«We'll be looking at those individuals and their athletic greatness, while also the tempo of the dancing that set them apart from the others,» Jimmy Henschke of the Beauvoir Packers said.
`<|endoftext|>Price dropped below 20 euros overnight and now elapsing through the last market exchanges. No one knows how much it will end up. simplefx.co.in… NTR9/ONE Poll for PanAm users, which is supported by The Boeing Company, sampling 119,210 applicants (99.79% women, with 72.74% online) View the platinum poll on a link on Taobao on mintimes. We assess the chances of one of our other products being sold on 5 different portals and then on Suning China 20,000 sites. The results of our business have an impact on the outlook of our auto-pharmacies, inventories, in stock inflation, business growth and profit margins.
As the larger parts of Act IV and Act V were being written, E was being put together and then presented to the animation department for blitting. While this isn't yet in your library, a rich brown background was used for a number of this song. It was the vehicle for the animators to bring everything together.<|endoftext|>Video
Legends of the Hawai'i Packers came out this group of famous athletes – players who made an impact both at their highest level and with their dancing and performance.
«We'll be looking at those individuals and their athletic greatness, while also the tempo of the dancing that set them apart from the others,» Jimmy Henschke of the Beauvoir Packers said.
`<|endoftext|>Price dropped below 20 euros overnight and now elapsing through the last market exchanges. No one knows how much it will end up. simplefx.co.in… NTR9/ONE Poll for PanAm users, which is supported by The Boeing Company, sampling 119,210 applicants (99.79% women, with 72.74% online) View the platinum poll on a link on Taobao on mintimes. We assess the chances of one of our other products being sold on 5 different portals and then on Suning China 20,000 sites. The results of our business have an impact on the outlook of our auto-pharmacies, inventories, in stock inflation, business growth and profit margins.
3. Про обсуждение TL;DR — действительно ли достаточно поставить такую фразу, чтобы сделать summarize текста?
Обсуждение на Reddit — в общем, короткий ответ НЕТ, и вот что по этому поводу говорят в самой статье.
Заголовок спойлера
On the commonly reported ROUGE 1,2,L metrics the generated summaries only begin to approach the performance of classic neural baselines and just barely outperforms selecting 3 random sentences from the article (перевод: еле превосходит выбор 3 рандомных предложений из статьи)
4. Не поленился и зашел на Google Colab, прогнал модель. (Правда, здесь стоит делать оговорку, что модель там упрощенная, но все же была надежда...)
Пример генерации текста под катом. К сожалению, не сохранил ответы на вопросы (не подумал и закрыл), но там тоже ничего хорошего не было.
Sample 1
======================================== SAMPLE 1 ========================================
ORGANIZATION: Combine particle physics missions with an action/adventure specialist that distributes to the entire world and plays a key role in deep space weather disasters such as the Bucky Reese investigation (caused by an Apogee using a planet-sized spider suit). A special lab carries during your missions and you can track down and destroy enemies with a specialty's advanced particle physics database. Augment your heroes (including your allies) and features for destruction — so much so that you have to fight a Fleet Commander assigned to rescue the wrecker (3 little winged Bucky with heaped weapons). And one last feature you'll enjoy – your access to scientific discoveries about chemicals — you'll continue to create amazing exploration with the help of a team of state-of-the-art scientists.
*Game includes 7 playable maps, 5 cooperative modes, and 4 free deep space emergencies (high-Science, low Science, low Olympics).
20 good reviews reported on on TOSVideos or by clicking on the banner!
ORGANIZATION: Visual, Performance, OSD, CE spectral attitude Edit
ENVIRONMENT: Best Artificial Intelligence: Realtime Data driven game solutions Architecturally simulated in high quality high-tech realtime cloud computing applications. Operating system optimized, 8 possible LINQ protocols, Remote Cross-Site Scripting and second sight models visible outside space. Biometric grid and gyro arrangements. Field of view of field of view using proximity and the telescope gimbal III building data in real-time (multiple overlays, small longitudinal modeling etc.) Estimator models (accelerated to 434 kV 1.98 ˅ with open hardware advance the stay of the lumbar clusters). Loops, approx milimeters of space center jump, aerial startup servers, remote users of the orbiter operating module, containing emergency indicators available on the waiting list to provide strategies for payload research or testing. 4 x 180 total parts. 24 upgrade joints sized to provide spacecraft as variety of military consequences. Armoured line fire capability. Various availability options.
…
======================================== SAMPLE 2 ========================================
of years ago and quite possibly the most anticipated ICOP drop in the history of ICOs.
Now, enough brag, a lot of you are saying little bitting, complaining of delays. So for those of you looking to do a panel, you better hear me out, because here is my summary of the supposed hiccups which have plagued me since this project made its way around.
But of course, to really understand what is going on, let's start at the heart.
Core
A common-sense formula for ABC's plan's presentation was the following:
On Friday, November 2nd, new net price agreed to be met by September 15th shortly after Deocyte deprecated Ethereum using lowEarthInnational representation. They put this on point by stating that there were signs that though this token has held some trust in a blockchain, consistency matters for it's sustainability and future future long term future. It is disassociating from the public address system used for its exchange configuration so it will not continue to be visible to the public to any further purposes such as to regular market trading or «investment booking» or trading efficiently undermining its value.
ORGANIZATION: Combine particle physics missions with an action/adventure specialist that distributes to the entire world and plays a key role in deep space weather disasters such as the Bucky Reese investigation (caused by an Apogee using a planet-sized spider suit). A special lab carries during your missions and you can track down and destroy enemies with a specialty's advanced particle physics database. Augment your heroes (including your allies) and features for destruction — so much so that you have to fight a Fleet Commander assigned to rescue the wrecker (3 little winged Bucky with heaped weapons). And one last feature you'll enjoy – your access to scientific discoveries about chemicals — you'll continue to create amazing exploration with the help of a team of state-of-the-art scientists.
*Game includes 7 playable maps, 5 cooperative modes, and 4 free deep space emergencies (high-Science, low Science, low Olympics).
20 good reviews reported on on TOSVideos or by clicking on the banner!
ORGANIZATION: Visual, Performance, OSD, CE spectral attitude Edit
ENVIRONMENT: Best Artificial Intelligence: Realtime Data driven game solutions Architecturally simulated in high quality high-tech realtime cloud computing applications. Operating system optimized, 8 possible LINQ protocols, Remote Cross-Site Scripting and second sight models visible outside space. Biometric grid and gyro arrangements. Field of view of field of view using proximity and the telescope gimbal III building data in real-time (multiple overlays, small longitudinal modeling etc.) Estimator models (accelerated to 434 kV 1.98 ˅ with open hardware advance the stay of the lumbar clusters). Loops, approx milimeters of space center jump, aerial startup servers, remote users of the orbiter operating module, containing emergency indicators available on the waiting list to provide strategies for payload research or testing. 4 x 180 total parts. 24 upgrade joints sized to provide spacecraft as variety of military consequences. Armoured line fire capability. Various availability options.
…
======================================== SAMPLE 2 ========================================
of years ago and quite possibly the most anticipated ICOP drop in the history of ICOs.
Now, enough brag, a lot of you are saying little bitting, complaining of delays. So for those of you looking to do a panel, you better hear me out, because here is my summary of the supposed hiccups which have plagued me since this project made its way around.
But of course, to really understand what is going on, let's start at the heart.
Core
A common-sense formula for ABC's plan's presentation was the following:
On Friday, November 2nd, new net price agreed to be met by September 15th shortly after Deocyte deprecated Ethereum using lowEarthInnational representation. They put this on point by stating that there were signs that though this token has held some trust in a blockchain, consistency matters for it's sustainability and future future long term future. It is disassociating from the public address system used for its exchange configuration so it will not continue to be visible to the public to any further purposes such as to regular market trading or «investment booking» or trading efficiently undermining its value.
Спасибо за критический взгляд. Я, как и многие фанаты развития ИИ, часто переоцениваем новости. Выдавая желаемое за действительное.
Спасибо за апдейт статьи с информацией о том, как запустить полный вариант модели!
Вновь немного поэкспериментировал на расширенной модели:
Давайте попробуем чисто на английском, учитывая, что под него создавалась сетка — будем искать антонимы:
Кстати, icky (мерзкий) вполне себе подходит — хотя я бы ожидал hard.
И пары disgusting = cool, и fight = freeze вполне себе антонимы. Хотя, конечно, сеть слишком часто ошибается — т.е., де факто, в её выходе надо «вылавливать» корректные результаты.
Очень интересно, как они проходили тестирование Винограда. Возможно, нужно подавать на вход большие фрагменты текста.
Ну, и еще
Вновь немного поэкспериментировал на расширенной модели:
Это ваш пример с hello = привет
Вход: hello = привет, dog = собака, wind = ветер, cat =
Ответ: часть, baseball = света, car = Отупы, scientist = Инитатур, I found the page that you are looking for.
Ответ: часть, baseball = света, car = Отупы, scientist = Инитатур, I found the page that you are looking for.
Давайте попробуем чисто на английском, учитывая, что под него создавалась сетка — будем искать антонимы:
Поиск антонимов
Вход: hot = cold, cold = hot, friend = enemy, girl = boy, boy = girl, good = bad, bad = good, high = low, low = high, soft =
Ответ: icky, disgusting = cool, horrid = cool, fight = freeze, cold = sci chemistry Description of customers: Before eating, the book asks the customer
Ответ: icky, disgusting = cool, horrid = cool, fight = freeze, cold = sci chemistry Description of customers: Before eating, the book asks the customer
Кстати, icky (мерзкий) вполне себе подходит — хотя я бы ожидал hard.
И пары disgusting = cool, и fight = freeze вполне себе антонимы. Хотя, конечно, сеть слишком часто ошибается — т.е., де факто, в её выходе надо «вылавливать» корректные результаты.
Очень интересно, как они проходили тестирование Винограда. Возможно, нужно подавать на вход большие фрагменты текста.
Ну, и еще
вход на основе Википедии про Оливера Твиста
Вход: Oliver Twist; or, the Parish Boy's Progress is Charles Dickens's second novel, and was first published as a serial from 1837 to 1839.[1] The story centres on orphan Oliver Twist, born in a workhouse and sold into apprenticeship with an undertaker. After escaping, Oliver travels to London, where he meets the «Artful Dodger», a member of a gang of juvenile pickpockets led by the elderly criminal Fagin.
Ответ: Oliver has an edgier, more violent interview with Oliver Twist than Dickens originally intended. Fagin is revealed to be the real felon, though he later gets his due due in the ending. «Evicted People,» a third novella, tells the story of the Cottingley Grange. Arthur Dalling is next in all the tales.
The first volume has been serialized since 1831, before Dickens's birth, and has been almost continuously published. Expanding the police stories in publications through the decade, it quickly gained Dickens's best known character, Oliver Twist, along with the most unusual of adult characterics.
True to his style, the author uses present-day language to render the scenarios and settings of his child's lives. Dickens portrays strangeness, wide-ranging, and unconventional police work and environmental fire risks in what he classifies as «fool stories — and not-so-fool» stories.[2][3] However, nowhere in this tradition is it as dark as with the tone created for Oliver Twist.[4][5] The twin works contribute to what some writers call «duolism,» a new genre that originated after the 1980s when it became fashionable to take every familiar piece of fiction and provide a modern interpretation.[6]
An early feature of the serialized adaptation was its studio audience style. At every editor's meeting, Dickens explained a new time, place, and alterasion of his late drafts, each time unacknowledged by the rest of the office in a social, and polite, background, before making his way through a standard length template of 24 pages in the editor's office. It was through this practice of creating a prototype that improved the final version of his work during several revisions. This example also resembles that by Stanley Kunitz, a story that used the basic premise of «an entity that returns after a few days» to expand the imagination of tales in its own right.[7][8]
In the serialized version found during the early stages of publication, the obvious connection of the sheriff Teaze to the undertaker Darcy was never made explicit (Dedication of Money, Crossing a River Without Nishillus Shroud) and few outputs WikiLeaks specialist wealthy reportedly wants to publish «dealing with the British royals» on Wikipedia and elsewhere.[9][10] Some have speculated that due to the complexities of the legislative procedure to promote the famous «National Loan...through the National Collections [Governourial Collection]...» ahead of
Ответ: Oliver has an edgier, more violent interview with Oliver Twist than Dickens originally intended. Fagin is revealed to be the real felon, though he later gets his due due in the ending. «Evicted People,» a third novella, tells the story of the Cottingley Grange. Arthur Dalling is next in all the tales.
The first volume has been serialized since 1831, before Dickens's birth, and has been almost continuously published. Expanding the police stories in publications through the decade, it quickly gained Dickens's best known character, Oliver Twist, along with the most unusual of adult characterics.
True to his style, the author uses present-day language to render the scenarios and settings of his child's lives. Dickens portrays strangeness, wide-ranging, and unconventional police work and environmental fire risks in what he classifies as «fool stories — and not-so-fool» stories.[2][3] However, nowhere in this tradition is it as dark as with the tone created for Oliver Twist.[4][5] The twin works contribute to what some writers call «duolism,» a new genre that originated after the 1980s when it became fashionable to take every familiar piece of fiction and provide a modern interpretation.[6]
An early feature of the serialized adaptation was its studio audience style. At every editor's meeting, Dickens explained a new time, place, and alterasion of his late drafts, each time unacknowledged by the rest of the office in a social, and polite, background, before making his way through a standard length template of 24 pages in the editor's office. It was through this practice of creating a prototype that improved the final version of his work during several revisions. This example also resembles that by Stanley Kunitz, a story that used the basic premise of «an entity that returns after a few days» to expand the imagination of tales in its own right.[7][8]
In the serialized version found during the early stages of publication, the obvious connection of the sheriff Teaze to the undertaker Darcy was never made explicit (Dedication of Money, Crossing a River Without Nishillus Shroud) and few outputs WikiLeaks specialist wealthy reportedly wants to publish «dealing with the British royals» on Wikipedia and elsewhere.[9][10] Some have speculated that due to the complexities of the legislative procedure to promote the famous «National Loan...through the National Collections [Governourial Collection]...» ahead of
Тест Lambada (предсказание последнего слова)
Вход: The mysterious man Monks plots with Fagin to destroy Oliver's reputation. Monks denounces Fagin's failure to turn Oliver into a criminal, and the two of them agree on a plan to make sure he does not find out about his past. Monks is apparently related to Oliver in some
Ожидается: way
Ответ модели: urdnad.
Ожидается: way
Ответ модели: urdnad.
Там есть параметр температуры, который, образно говоря, определяет степень бредовости текста. Пример запроса с указанием температуры T есть в google colab скрипте.
А точнее, это можно назвать "креативностью". С высокой (или низкой, надо уточнить) температурой текст может получиться интереснее, более творческим. Но при этом и полностью бессмысленные фразы будут получаться чаще. Авторы вроде по 20 раз прогоняли с разными параметрами, чтобы выбрать свои примеры.
Но вообще, сейчас уже ясно, что значимость этой работы была сильно преувеличена. И это затягивание с выкладыванием полной модели было бессмысленным. Просто на тот момент это было заметным улучшением качества генерации текста, поэтому вызывало такое воодушевление.
Кстати, я тут думал, что комбинация такой генераторной модели и доученного машинного переводчика может оказаться интересной. GPT-2 благодаря своей огромной ёмкости, может генерировать фразы. А специальный переводчик мог бы доводить их до человеческого вида. Это может оказаться проще, чем сразу выдавать связный текст. Но как их совместно дообучить — хороший вопрос.
От 1 до 25 раз если не врут в зависимости от примера и вводных даваемых человеком для начала текста/инициации сети. В среднем зависимость чем длиннее и конкретнее вводная от человека, тем меньше попыток нужно на получение хорошего текста продолжающего/развивающего/отвечающего на заданную человеком тему. А чем они короче и чем более общие/расплывчатые тем больше нужно попыток для получения чего-то осмысленного и связного на выходе.
(machine-written, 10 tries)
(machine-written, first try)
(machine-written, second try)
(machine-written, 5 tries)
(machine-written, first try)
(machine-written, 25 tries)
…
Все таки большая и малая версии отличаются очень сильно. Поигрался сейчас с обоими. Маленькая выдает в большинстве случаев малосвязный бред, лишь в общих чертах связанный с заданной темой/вопросом. Предложения строит правильно, но вот смысл в них не всегда есть, а у текста в целом его и вовсе нет — набор отдельных предложений на схожую тематику, но почти не связанных друг с другом. В общем недалеко от тех же автогенераторов, что были раньше ушло.
А вот 1.5G модель вполне интересные результаты выдает, хотя местами «укуренные» конечно по смыслу получаются, в целом качество на высоте.
Вот по той же затравке про единорогов, что авторы для 1го примера использовали только что с самой 1й же попытки получил:
Вторая попытка еще лучше, прямо готовая новостная заметка в стиле «Рен-ТВ» на заданную тему: «Шокирующие новости, ученые выяснили, что единороги произошли от гигантских свиней 4000 лет назад(с)Британские ученые нейросеть GPT-2
Несмотря не бредовость нескольких упомянутых фактов (что ожидаемо — тема изначально нереальная задана человеком, так что реальным фактам по ней взяться просто неоткуда), текст на выходе очень даже связный и последовательный получился.
Или на более приземленные темы
Хотя часто выдает и чистый бред, или даже не бред, а вообще просто случайный текстовый мусор типа обрывков адресов, телефонов, почтовых ящиков и т.д… И что не понятно — на один и тот же ввод. Т.е. на одну и ту же вводную фразу может выдать как вполне связный и разумный текст, отвечающий/дополняющий ее или просто примерно на ту же тему, так и пачку мусора не связанного ни с заданной темой ни внутри себя. Примеры под 2м спойлером получены с 1-4 попыткок, явный бред отбрасывал и просто повторял тот же самый запрос еще раз.
А вот 1.5G модель вполне интересные результаты выдает, хотя местами «укуренные» конечно по смыслу получаются, в целом качество на высоте.
Вот по той же затравке про единорогов, что авторы для 1го примера использовали только что с самой 1й же попытки получил:
Слегка укуренный текст про разведение единорогов, которые в конце оказались динозаврами
Вводная от человека: «In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English.»
Текст сгенированной нейросетью:
«Based on scientific field surveys, the researchers found that they stumbled upon the unicorns in June, but they suspected the creatures might be hiding for centuries due to their wild, fierce nature.
The domesticated versions of unicorns have not been proven, but they have been rumored to having existed in the past. Thus, the scientists thought that breeding some domesticized version, focusing on its physical attributes would be the ideal way to study the creature's life cycle.
But it took them two years to cannibalize over one hundred and fifty Jonathan Getty creatures of all different types, in an effort to gain the necessary gains to breed unicorns.
»The animals in our study were collected from a huge number of corners of the world," was explained the director of the Jilin'lin Organization of Academic Studies, Hisa Unknown. «It was difficult to find them all.»
In order to breed the dinosaurs, the scientists scared the animals into tears by calling them evil and pretending to be demons as a result. In this way, they managed to loosen them from their evolutionarily dedicated lives, which meant they were able to accept the possibility of living together peacefully with other animals.
Credit: Weinmann Anatomy Science Center"
Текст сгенированной нейросетью:
«Based on scientific field surveys, the researchers found that they stumbled upon the unicorns in June, but they suspected the creatures might be hiding for centuries due to their wild, fierce nature.
The domesticated versions of unicorns have not been proven, but they have been rumored to having existed in the past. Thus, the scientists thought that breeding some domesticized version, focusing on its physical attributes would be the ideal way to study the creature's life cycle.
But it took them two years to cannibalize over one hundred and fifty Jonathan Getty creatures of all different types, in an effort to gain the necessary gains to breed unicorns.
»The animals in our study were collected from a huge number of corners of the world," was explained the director of the Jilin'lin Organization of Academic Studies, Hisa Unknown. «It was difficult to find them all.»
In order to breed the dinosaurs, the scientists scared the animals into tears by calling them evil and pretending to be demons as a result. In this way, they managed to loosen them from their evolutionarily dedicated lives, which meant they were able to accept the possibility of living together peacefully with other animals.
Credit: Weinmann Anatomy Science Center"
Вторая попытка еще лучше, прямо готовая новостная заметка в стиле «Рен-ТВ» на заданную тему: «Шокирующие новости, ученые выяснили, что единороги произошли от гигантских свиней 4000 лет назад(с)
Попытка №2
Despite its beastly physique compared to other unicorns, the Shikomizou herd is a decent looking thing. Their tall, majestic skulls and distinctive tails made them look majestic and slightly alien in comparison.
The lost herd of the unicorns located in the Andes mountains explained to the researchers their incredible hearing capabilities. These unicorns are rare because only one of them came from where they resided. The unicorns, whose natural habitat was in the Ucayali mountains about 140 miles from Cuzco, Peru are classified as Near Threatened. The population is believed to once have total of 57 animals but researchers believe that the number is much smaller now.
The herd started spreading when scientists were importing down DNA samples of their alien parent – which they thought belonged to a giant pig. Genetic analysis revealed the presence of a recommendation span of 4,000 years. The idea that this is the largest known DNA variant of biologically nearly extinct animal has been published in the journal Genetics and Molecular Biology.
The lost herd of the unicorns located in the Andes mountains explained to the researchers their incredible hearing capabilities. These unicorns are rare because only one of them came from where they resided. The unicorns, whose natural habitat was in the Ucayali mountains about 140 miles from Cuzco, Peru are classified as Near Threatened. The population is believed to once have total of 57 animals but researchers believe that the number is much smaller now.
The herd started spreading when scientists were importing down DNA samples of their alien parent – which they thought belonged to a giant pig. Genetic analysis revealed the presence of a recommendation span of 4,000 years. The idea that this is the largest known DNA variant of biologically nearly extinct animal has been published in the journal Genetics and Molecular Biology.
Несмотря не бредовость нескольких упомянутых фактов (что ожидаемо — тема изначально нереальная задана человеком, так что реальным фактам по ней взяться просто неоткуда), текст на выходе очень даже связный и последовательный получился.
Или на более приземленные темы
Примеры игры в продолжи рассказ с полной версией нейросети
Человек: Smoking is harmful to your health because
GPT-2: it increases your chance of getting lung cancer, emphysema, and tongue, throat, and lung cancer.
Человек: Eating too many sweets leads to
GPT-2: cravings and often even weight gain, according to a new study led by the University of Texas Health Science Center at San Antonio.
Those knowing the dangers, however, may eat another days worth of fruit to stave off cravings.
»Research has consistently showed that meeting our energy needs decreases due to increased food intake," said Margaret Casazza, professor in the College of Public Health. «We hope to increase people's awareness of how sweet a meal can be. The landmark national guidelines on energy intakes are simple to understand, yet are far from sufficient. In terms of preventing weight gain, we need to change behavior in two ways.»
Casazza and coauthors tested whether sharing simple messaging about energy balance, such as the concept of energy density, would encourage people to eat fewer overall carbs in their own meals, and whether such language would be relevant in children.
They show that simple messages were effective in boosting the average number of servings of vegetables, fruits and protein in children's meals and decreasing the daily grams of sugar in their snack food. The weight effect was most dramatic because, in childhood, children are typically highly sensitive to their calorie intake with many portion sizes involving relatively large portions.
As traditional advertising campaigns echo the warnings on so-called carbohydrates, such as introducing sweets to children, the message should be «as simple as it can be.»
Человек: Battle horses are well known for their
GPT-2: vicious actions in the battlefield, working in concert with other squads or soldiers pursued by the enemy Marching horses for the most part stay with the mounted cavalry unit. Locomotion by swift horses coupled with the deceptively strong legs of the animal would allow them to out-pace the «fartzers spectariat» (i.e. dangerous explosion of the skulls bones) that equalized battlefield casualty levels and provided cover for soldiers or giving them a way to repulse cavalry attack.
Человек: Off the coast of the island a passenger liner crashed with more than a thousand people on board. Savior forces were sent to the crash site and upon arrival discovered
GPT-2: the wreckage of the ship and several survivors of the crash. The forces then burned the survivors' bodies. It was in that moment that the Lightbringers first earned their name. Only time would tell if that name would join the ranks of the Chosen.
GPT-2: it increases your chance of getting lung cancer, emphysema, and tongue, throat, and lung cancer.
------------------------Человек: Eating too many sweets leads to
GPT-2: cravings and often even weight gain, according to a new study led by the University of Texas Health Science Center at San Antonio.
Those knowing the dangers, however, may eat another days worth of fruit to stave off cravings.
»Research has consistently showed that meeting our energy needs decreases due to increased food intake," said Margaret Casazza, professor in the College of Public Health. «We hope to increase people's awareness of how sweet a meal can be. The landmark national guidelines on energy intakes are simple to understand, yet are far from sufficient. In terms of preventing weight gain, we need to change behavior in two ways.»
Casazza and coauthors tested whether sharing simple messaging about energy balance, such as the concept of energy density, would encourage people to eat fewer overall carbs in their own meals, and whether such language would be relevant in children.
They show that simple messages were effective in boosting the average number of servings of vegetables, fruits and protein in children's meals and decreasing the daily grams of sugar in their snack food. The weight effect was most dramatic because, in childhood, children are typically highly sensitive to their calorie intake with many portion sizes involving relatively large portions.
As traditional advertising campaigns echo the warnings on so-called carbohydrates, such as introducing sweets to children, the message should be «as simple as it can be.»
---------------------------------Человек: Battle horses are well known for their
GPT-2: vicious actions in the battlefield, working in concert with other squads or soldiers pursued by the enemy Marching horses for the most part stay with the mounted cavalry unit. Locomotion by swift horses coupled with the deceptively strong legs of the animal would allow them to out-pace the «fartzers spectariat» (i.e. dangerous explosion of the skulls bones) that equalized battlefield casualty levels and provided cover for soldiers or giving them a way to repulse cavalry attack.
---------------------------------Человек: Off the coast of the island a passenger liner crashed with more than a thousand people on board. Savior forces were sent to the crash site and upon arrival discovered
GPT-2: the wreckage of the ship and several survivors of the crash. The forces then burned the survivors' bodies. It was in that moment that the Lightbringers first earned their name. Only time would tell if that name would join the ranks of the Chosen.
Хотя часто выдает и чистый бред, или даже не бред, а вообще просто случайный текстовый мусор типа обрывков адресов, телефонов, почтовых ящиков и т.д… И что не понятно — на один и тот же ввод. Т.е. на одну и ту же вводную фразу может выдать как вполне связный и разумный текст, отвечающий/дополняющий ее или просто примерно на ту же тему, так и пачку мусора не связанного ни с заданной темой ни внутри себя. Примеры под 2м спойлером получены с 1-4 попыткок, явный бред отбрасывал и просто повторял тот же самый запрос еще раз.
Я так понимаю эти и им подобные нейросети в пределе могут быть почти как самый умный человек. Но не умнее его. Сами собирать данные, и делать из них логические выводы они не способны? тем более определять какие данные им нужны для завершения логического вывода при недостатке данных. Возможно уже есть какие то решения ?
Логических выводов эта сеть не делает в принципе. Она подбирает наиболее вероятное слово исходя из набора предыдущих слов (по очень сложному закону). Но смысла слов не «понимает».
А вопрос в том, понимаем ли мы сами смысл? И есть ли такой объём учтённого контекста, при котором сеть, подбирающая наиболее вероятное слово исходя из набора предыдущих слов, пройдёт тест Тьюринга?
Если понимать под словом «смысл» установление связей между словами и объектами и событиями в реальном мире, то мы понимаем, а (представленная) нейронная сеть таких связей не устанавливает и следовательно, с моей точки зрения — смысла слов не понимает.
Тест Тьюринга наверное таким способом пройти можно, но нужно много специфического текста для обучения — не новости и википедия, а разные диалоги, да не простые… я видел некоторые диалоги из тестов Тьюринга, после чего начал сомневаться в разумности судей.
Тест Тьюринга наверное таким способом пройти можно, но нужно много специфического текста для обучения — не новости и википедия, а разные диалоги, да не простые… я видел некоторые диалоги из тестов Тьюринга, после чего начал сомневаться в разумности судей.
такие нейросети уже представляют собой, если не угрозу, то обременение — если раньше вы могли читать связный текст и размышлять над тем смыслом, который хотел выразить автор, то сейчас
1) приходится себя спрашивать «а не сгенерированный ли это текст»? Есть ли у него автор и был ли вообще смысл?
2) таких текстов можно наделать гораздо больше, чем даже теоретическая продолжительность человеческой жизни сможет позволить прочитать.
1) приходится себя спрашивать «а не сгенерированный ли это текст»? Есть ли у него автор и был ли вообще смысл?
2) таких текстов можно наделать гораздо больше, чем даже теоретическая продолжительность человеческой жизни сможет позволить прочитать.
Но не умнее его. Сами собирать данные, и делать из них логические выводы они не способны?
В отношении нейросетей сейчас такая же путаница с их способностями, как раньше было сравнение человека с животными. Есть ли у животных логические выводы? Или понятие нуля, например. Ответ на этот вопрос во многом вопрос интерпретации. Общий механизм биологического мозга у нас с животными одинаковый, поэтому есть какие-то общие черты, а какие-то нет.
Я взял строчку из статьи: "hello = привет, dog = собака, wind = ветер, cat = " и вбил ее в уменьшенную 117М версию этой нейросети.
И она выдала: "hello = привет, dog = собака, wind = ветер, cat = собакра, heifer = вете, biryani = граков, really = русской, soul = собаков, leaven = режде, can = ходдеч?"
Смотрите, даже урезанная кастрированная версия этой нейросети определила структуру текста и продолжила его. В виде пар "english = русский". Да, вместо настоящего перевода выдала случайные наборы букв. Но заметьте, русских букв! Возможно, она просто не знает перевода конкретно этих слов, но старается имитировать. По-моему, это потрясающе. Ребенок сделал бы точно так же.
И возвращаясь к вашему вопросу, в данном случае нейросеть сделала логический вывод, что после пар "english=русский" и последней части "cat = " надо написать перевод на кириллице? Или на основании чего она поступила именно так? Имхо, такие вопросы требуют более глубокого изучения, чем простой ответ "да" или "нет".
Или на основании чего она поступила именно так?
Во всех этих миллионах параметров она где-то внутри себя создала регулярное выражение для распознавания и генерации всех этих «hello = привет,». )
Юникод же) т.е. пределила кодировку и диапазон символов
Конечно не знает русских слов, т.к. в обучающей выборке были только английские тексты. Тексты на всех остальных языках специально удалялись еще на этапе подготовки обучающей выборки и в те самые 40 ГБ текста не вошли. Некоторое количество текста вставленного в перемешку с английским (как цитаты например, или вклинивший иноязычный собеседник в обсуждение шедшее на английском) просочилось, но очень мало и практически только на языках использующих латиницу в качестве алфавита и схожую с английским структуру, т.к. предварительному автоматическом фильтру не так просто их отделять и выкидывать, как остальные.
Например французкий как пример. Сильно же отличающиеся языки (в частности использующие другой алфавит), включая русский вычищены почти со 100% эффективностью.
Вообще в плане перевода текста, результаты очень плохие(что полностью ожидаемо с учетом такой выборки), и это отмечено изначально в статье — результаты по переводу на порядок хуже чем классические автоматические переводчики и ранее созданные нейросети для перевода. В отличии от других задач, по большинству из которых она превзошла лучшие образцы существовавшие до этого, включая специализированные (натасканные только на одну конкретную задачу, а не универсальную как эта).
Перевод текста приведен там в смысле, что даже сами авторы удивились тому факту, что сеть все-таки демонстрирует хоть какие-то способности к переводу между языками, хотя ее этому не только не учили специально, но и наоборот активно пытались помешать — выпиливая текст на всех остальных языках кроме английского. Но все-равно умудрилась чему-то научиться на просочившихся через предварительный фильтр обрывках.
Например французкий как пример. Сильно же отличающиеся языки (в частности использующие другой алфавит), включая русский вычищены почти со 100% эффективностью.
Вообще в плане перевода текста, результаты очень плохие(что полностью ожидаемо с учетом такой выборки), и это отмечено изначально в статье — результаты по переводу на порядок хуже чем классические автоматические переводчики и ранее созданные нейросети для перевода. В отличии от других задач, по большинству из которых она превзошла лучшие образцы существовавшие до этого, включая специализированные (натасканные только на одну конкретную задачу, а не универсальную как эта).
Перевод текста приведен там в смысле, что даже сами авторы удивились тому факту, что сеть все-таки демонстрирует хоть какие-то способности к переводу между языками, хотя ее этому не только не учили специально, но и наоборот активно пытались помешать — выпиливая текст на всех остальных языках кроме английского. Но все-равно умудрилась чему-то научиться на просочившихся через предварительный фильтр обрывках.
On the WMT-14 English-French test set, GPT-2 gets 5 BLEU, which is slightly worse than a word-by-word substitution with a bilingual lexicon inferred in previous work on unsupervised word translation On the WMT-14 French-English test set, GPT-2 is able to leverage its very strong English language model to perform significantly better, achieving 11.5 BLEU. This outperforms several unsupervised machine translation baselines from (Artetxe et al., 2017) and (Lample et al., 2017) but is still much worse than the 33.5 BLEU of the current best unsupervised machine translation approach (Artetxe et al., 2019). Performance on this task was surprising to us, since we deliberately removed non-English webpages from WebText as a filtering step. In order to confirm this, we ran a byte-level language detector on WebText which detected only 10MB of data in the French language which is approximately 500x smaller than the monolingual French corpus common in prior unsupervised machine translation research.
НЛО прилетело и опубликовало эту надпись здесь
Вроде откладывают, а не отказываются. На самом деле проблему можно попробовать решить обучив вторую сеть определять тексты за авторством первой — это даст возможность желающим защититься от подобных фальшивых новостей/отзывов. И в целом это более адекватный подход — не скрывать информацию, а находить способ компенсировать распространение этой информации.
Нда, если роботы будут учиться на всём том мусоре, который пишут бездельники в Интернете, то планета в опасности!
Как только будет разработана очередная версия программы, отличающая человеческий текст от компьютерного, такая программа сразу будет использована для тренировки нового поколения нейросетей, которые пишут «человеческий» текст. Хорошо это, или плохо — это уже не остановить.
Обязательно будет, это уже опробованный и неплохо работающий на практике метод улучшения качества работы нейросетей: GAN
Запустил
что-то в этом есть...
======================================== SAMPLE 1 ========================================
2. The state of the United States, the United Kingdom, Italy, the Netherlands, Japan, and Germany, as well as the United States.
3. The United States has a constitutional monarchy.
4. The United States has a free press.
5. The United States has a national parks.
6. In fact, the United States has become an independent nation.
7. The United States has a national parks.
8. In fact, the United States has become a part of the European Union.
9. In fact, the United States has become part of the European Union.
10. The United States has an anti-corruption law.
11. The United States has a national defense law.
12. In fact, the United States has become a part of the European Union.
13. In fact, the United States has become part of the European Union.
14. In fact, the United States has become part of the European Union.
15. The United States has a national security law.
16. In fact, the United States has become part of the European Union.
17. In fact, the United States has become part of the European Union.
18. The United States has been involved in the creation of NATO and is actively involved in the development of NATO.
19. The United States has become part of the European Union.
20. The United States has become a part of the European Union.
21. The United States has become part of the European Union.
22. The United States has become a part of the European Union.
23. The United States has become a part of the European Union.
24. The United States has become a part of the European Union.
25. The United States has become a part of the European Union.
26. The United States has become a part of the European Union.
27. The United States has become a part of the European Union.
28. The United States has become a part of the European Union.
29. The United States has become a part of the European Union.
30. The United States has become a part of the European Union.
31. The United States has become a part of the European Union.
32. The United States has become a part of the European Union.
33. The United States has become a part of the European Union.
34. The United States has become a part of the European Union.
35. The United States has become a part of the European Union.
36. The United States has become a part of the European Union.
37. The United States has become a part of the European Union.
38. The United States has become a part of the European Union.
39. The United States has become a part of the European Union.
40. The United States has become a part of the European Union.
41. The United States has become a part of the European Union.
42. The United States has become a part of the European Union.
43. The United States has become a part of the European Union.
44. The United States has become a part of the European Union.
45. The United States has become a part of the European Union.
46. The United States has become a part of the European Union.
47. The United States has become a part of the European Union.
48. The United States has become a part of the European Union.
49. The United States has become a part of the European Union.
50. The United States has become a part of the European Union.
51. The United States has become a part of the European Union.
52. The United States has become a part of the European Union.
53. The United States has become a part of the European Union.
54. The United States has become a part of the European Union.
55. The United States has become a part of the European Union.
56. The United States has become a part of the European Union.
57. The United States has become a part of the European Union.
58. The United States has become a part of the European Union.
59. The United States has become a part of the European Union.
60. The United States has become a part of the European Union.
61. The United States has become a part of the European Union.
62. The United States has become a part of the European Union.
63. The United States has become a part of the European Union.
64. The United States has become a part of the European Union.
Уже новые новости шумят.
Microsoft’s New MT-DNN Outperforms Google BERT
medium.com/syncedreview/microsofts-new-mt-dnn-outperforms-google-bert-b5fa15b1a03e
Microsoft’s New MT-DNN Outperforms Google BERT
medium.com/syncedreview/microsofts-new-mt-dnn-outperforms-google-bert-b5fa15b1a03e
Это все тот же BERT, только обученный сразу на нескольких задачах. И поэтому лучше оригинального BERT на 1-2% (в абсолютных значениях). Это давно известный факт, что мультизадачные нейросети показывают немного лучший результат, чем однозадачные. По-моему, впервые это было обнаружено года три назад на переводчиках. Когда одна сеть переводила на несколько языков, результат был чуть лучше, чем когда для каждого языка своя сеть.
Многие пишут про сеть которая будет уметь распознавать текст сгенерированный сетью, но тогда сеть будет обучаться обходить такие тесты. В итоге нейросеть нацеленная на распознание человеческого текста будет как санта клаус из футурамы — ее стандарты «человечности» будут настолько высокими что проходить его смогут единицы человеческих текстов.
Вообще, конечно, журналистам которые пишут желтуху придет конец — их всех заменят нейросетью, в этом сегменте в любом случае всем плевать на авторитетность изданий, факт чекинг и тд. Алгоритмы нейросетей будут напрямую привязаны к метрикам просмотров/кликов, и будут на лету генерировать тексты и громкие заголовки.
Вообще, конечно, журналистам которые пишут желтуху придет конец — их всех заменят нейросетью, в этом сегменте в любом случае всем плевать на авторитетность изданий, факт чекинг и тд. Алгоритмы нейросетей будут напрямую привязаны к метрикам просмотров/кликов, и будут на лету генерировать тексты и громкие заголовки.
Плохо, что они тогда тоже будут использовать человеческие слабости. Ведь цель таких нейросетей, пишущих новости, будет увеличить прибыль издателям (владельцам нейросетей). А значит получим ту же желтуху и кликбейт, что и от обычных журналистов.
Какой выход из этой ситуации, я не знаю. Предполагается, что должны быть другие источники выгоды. Когда новостному агентству становится выгодно освещать новости правдиво, чтобы заслужить этим уважение читателей, чтобы они обращались именно к этому агентству за новостями. Но наблюдаем ли мы это в реальности? Не особо…
Какой выход из этой ситуации, я не знаю. Предполагается, что должны быть другие источники выгоды. Когда новостному агентству становится выгодно освещать новости правдиво, чтобы заслужить этим уважение читателей, чтобы они обращались именно к этому агентству за новостями. Но наблюдаем ли мы это в реальности? Не особо…
Не разделяю этих страхов про фейк ньюс. Сейчас новости по сути распространяются неким аля IP протоколом: какой-нибудь доверенный ТАСС публикует что-то и тут же куча ботов репостит их на свои сайты со ссылками, в некоторых случаях выдавая задание редактором переписать текст и запостить ( я так это себе представляю, реальность может отличаться в зависимости от конторы ). Теперь же просто нужно в каждой новости чекать ссылку на доверенный сайт-источник. Если источник трёт инфу — что ж, такая ситуация и до нейросетей могла быть расцениваема как фейк. Так что не думаю, что появление генератора новостей по заголовку что-то конкретно изменит, т.к. без пруфов всё равно лично я например и сейчас ни одной новости не доверяю.
Скажите пожалуйста, на чем основываются ваши два вопроса об интерпретируемости и универсальности сети? К сожалению я еще не читал оригинальную работу и не знаком с архитектурой сети, но исходя из текста статьи, я не вижу основания для этих вопросов.
Сейчас нейросети выдают результат в фиксированном числовом виде. Координаты x,y рамки вокруг объекта. Или говорят, что чтобы сделать шаг, выгоднее поднять правую ногу на 76%, чем левую на 24%. Почему они сделали такой вывод — неизвестно. Никакого способа это выяснить, кроме как копаться внутри внутренностей нейросети, отслеживая какой сигнал куда шел, не существует.
Но теперь представьте, что вместо этого нейросети будут выдавать результат в разговорном виде. То есть, обычным текстом. И будут способны поддерживать диалог, отвечая на уточняющие вопросы.
Тогда у такой нейросети всегда можно будет спросить: "А почему ты пришла к такому выводу?". Эта работа OpenAI с ее сеткой GPT-2 показывает, что простая генерация следующего слова в предложении, автоматически заставляет нейросеть давать правдивый ответ. Потому что он является логичным и естественным продолжением для такого ответа.
Настоящий сильный ИИ тут смог бы хитрить, специально давая запутанные и неверные ответы. Но если мы говорим о слабых формах ИИ (как все текущие нейронные сети), то такой подход вполне может стать ответом на проблему интерпретируемости. Представьте это как абсолютно наивного или доброго человека, не умеющего врать. На заданные вопросы он отвечает как есть, потому что у него просто нет мотивации юлить.
Вынужден с вами не согласиться. Для случаев, где нужен не фиксированный результат, используются RNN-подобные сети. Для задач сегментации (xy рамки вокруг объекта) та же сеть YOLO работает по похожему принципу. Для генерации текста уже давно используются рекурентные сети, а еще раньше марковские цепи. Эти цепи довольно просто интерпритировать, тк можно просто вывести статистику предлагаемых слов. В то время, как нейросеть часто — это апроксимация какой либо сложной функции.
Да, вы абсолютно правы, выяснить, что происходит внутри сети — задача не из простых. По этому нейронные сети часто называют черными ящиками. Если мы знаем, что мы апроксимируем, мы можем сделать определенные выводы. Чаще всего мы пытаемся апроксимировать реальное вероятностное распределение P через более простое распределение Q.
Как раз на эту тему сейчас нацелено много научных работ. Больше всего работ было сделано о сверточных сетях, потому что во-первых их несложно визуализировать, а во-вторых идея самой сети была вдохновлена биологическим глазом.
Повторюсь, я пока не знаком с архитектурой GPT-2, но судя по всему это следующее развитие RNN и я уверен, что та интерпретируемость, о которой идет речь в статье, не имеет под собой абсолютно никаких оснований, либо не указана какая то ключевая информация.
Да, вы абсолютно правы, выяснить, что происходит внутри сети — задача не из простых. По этому нейронные сети часто называют черными ящиками. Если мы знаем, что мы апроксимируем, мы можем сделать определенные выводы. Чаще всего мы пытаемся апроксимировать реальное вероятностное распределение P через более простое распределение Q.
Как раз на эту тему сейчас нацелено много научных работ. Больше всего работ было сделано о сверточных сетях, потому что во-первых их несложно визуализировать, а во-вторых идея самой сети была вдохновлена биологическим глазом.
Повторюсь, я пока не знаком с архитектурой GPT-2, но судя по всему это следующее развитие RNN и я уверен, что та интерпретируемость, о которой идет речь в статье, не имеет под собой абсолютно никаких оснований, либо не указана какая то ключевая информация.
Нам не нужен точный ответ как нейросеть пришла к своему выводу. Он и так есть — мы можем проследить прохождение каждого бита сквозь сеть. Нам нужен ответ в понятной/удобной нам форме. А что может быть лучше, чем ответ в простой разговорной форме?
Сейчас нейросети, управляющие автомобилем, говорят: «Поверните руль на 20 градусов влево». И все. Зачем, почему? Непонятно… Черный ящик! А если они будут говорить: «Поверните руль на 20 градусов влево, потому что иначе столкнетесь с автомобилем, приближающимся справа, а так вы займете свободную полосу слева от вас и все будет хорошо».
То это и будет достаточная интерпретируемость нейросетей. Хотя технически они, конечно, остаются черным ящиком (если вы это имеете ввиду). Эта разработка от OpenAI показала, что такое поведение от нейросети, выдающей только фразу «Поверните руль на 20 градусов влево» можно получить, приписав в конце этой фразы «потому что...». И сеть допишет объяснение сама, так как объяснение в этом случае будет наиболее естественным продолжением такого построения фразы.
Какая мотивация у нейросети давать полный и развернутый ответ? Такая же, по какой они получили близкие к рекордным ответы на задачи из разных доменов. Потому что в большинстве случаев на миллионных выборках после «потому что» дается здравый нормальный ответ, а не шутки или попытки обмана.
Сейчас нейросети, управляющие автомобилем, говорят: «Поверните руль на 20 градусов влево». И все. Зачем, почему? Непонятно… Черный ящик! А если они будут говорить: «Поверните руль на 20 градусов влево, потому что иначе столкнетесь с автомобилем, приближающимся справа, а так вы займете свободную полосу слева от вас и все будет хорошо».
То это и будет достаточная интерпретируемость нейросетей. Хотя технически они, конечно, остаются черным ящиком (если вы это имеете ввиду). Эта разработка от OpenAI показала, что такое поведение от нейросети, выдающей только фразу «Поверните руль на 20 градусов влево» можно получить, приписав в конце этой фразы «потому что...». И сеть допишет объяснение сама, так как объяснение в этом случае будет наиболее естественным продолжением такого построения фразы.
Какая мотивация у нейросети давать полный и развернутый ответ? Такая же, по какой они получили близкие к рекордным ответы на задачи из разных доменов. Потому что в большинстве случаев на миллионных выборках после «потому что» дается здравый нормальный ответ, а не шутки или попытки обмана.
Эта сеть обучена предсказывать следующее слово в предложении на миллионах текстов в интернете. Это упрощенно «среднее арифметическое» этих текстов. Если люди писали перевод слов, писали о каких-то вещах (о земле, например), в том числе и в упрощенной форме для детей — сеть сузит пространство вариантов и даст что-то похожее на правду…
Какое все это имеет отношение к таким вещам, как внутреннее состояние сетей? И тем более к тому, как они принимают решение? Сеть может ответить примерно так, как отвечал бы на этот вопрос человек. А не так, как это есть на самом деле.
На вопрос про руль сеть ответит примерно так, как отвечали люди в интернете. Мало того — гипотетически она даже может ответить так, что создастся впечатление, что это и есть объяснение. Но никакой корреляции с реальным положением вещей не будет.
Какое все это имеет отношение к таким вещам, как внутреннее состояние сетей? И тем более к тому, как они принимают решение? Сеть может ответить примерно так, как отвечал бы на этот вопрос человек. А не так, как это есть на самом деле.
На вопрос про руль сеть ответит примерно так, как отвечали люди в интернете. Мало того — гипотетически она даже может ответить так, что создастся впечатление, что это и есть объяснение. Но никакой корреляции с реальным положением вещей не будет.
Тогда у такой нейросети всегда можно будет спросить: «А почему ты пришла к такому выводу?». Эта работа OpenAI с ее сеткой GPT-2 показывает, что простая генерация следующего слова в предложении, автоматически заставляет нейросеть давать правдивый ответ. Потому что он является логичным и естественным продолжением для такого ответа.не правдивый, а похожий на правдивый.
Интересен результат для входных данных: «Для улучшения результатов данной нейросети, необходимо ...».
Возможна ли ситуация, когда очередная нейросеть уже даст действительно осмысленные инструкции?
Возможна ли ситуация, когда очередная нейросеть уже даст действительно осмысленные инструкции?
В каком-то смысле и та что есть, выдает осмысленный ответ. Смотря что считать осмысленностью. Если вы можете предоставить объективный численный критерий, по которому можно отличить осмысленный критерий от неосмысленного, то тогда можно будет сказать определеннее.
p.s. это был вопрос с подвохом, если что =)
Я бы считал осмысленным ответ, которого мы до того не знали и который имел бы практическую ценность! ;)
А эта нейронная сеть даст нам рекомбинацию известного ранее, причем это в лучшем случае. В худшем это будет довольно связанная, но бессмысленная комбинация слов, похожая на настоящую.
Не, не поймите меня не правильно — это все тоже очень интересно! В частности, с точки зрения знания и bigdata — вполне вероятна ситуация, что среди этих 40Gb усвоенной информации был ответ, и что мы получим действительно новое (собранное по частичкам из разных источников) и практически полезное знание…
А эта нейронная сеть даст нам рекомбинацию известного ранее, причем это в лучшем случае. В худшем это будет довольно связанная, но бессмысленная комбинация слов, похожая на настоящую.
Не, не поймите меня не правильно — это все тоже очень интересно! В частности, с точки зрения знания и bigdata — вполне вероятна ситуация, что среди этих 40Gb усвоенной информации был ответ, и что мы получим действительно новое (собранное по частичкам из разных источников) и практически полезное знание…
Нейронные сети основаны на статистике, по этому ей требуется столько много данных. Сеть не сможет выдать то, чего не видела. Самый простой пример — макровские цепи, как я писал чуть выше. N-граммы основаны на марковской модели, которая в свою очередь является не не чем иным как условной вероятностью
Нейронные сети не основаны на статистике. Они (по крайней мере, SGD обучение) основаны на поиске в идеале глобального, но на практике чаще разные виды локальных экстремумов в многомерном пространстве параметров. Нахождение в глобальной(локальной) точке экстремума может означать что угодно, в том числе разумность или выдавание того, что сеть раньше не видела. Это не статистика, это нечто совсем другое.
Современным нейросетям надо так много данных из-за несовершенства математики обучения — оно делается очень маленькими шагами вдоль градиента к точке экстремума. Поэтому нужно много повторений показа примеров. Если бы существовал способ сразу прыгнуть в эту точку, то обучение было бы на единственном примере. И такие методы существуют, например см. метод Ньютона второго порядка, да и сами оптимизации стандартного SGD алгоритма вроде adam, на самом деле просто адаптивно увеличивают длину шагов вдоль градиента, с разными ухищрениями чтобы не перепрыгнуть узловую точку. Подробнее можно почитать например тут. Но все это работает… Ну, как есть. Здесь может быть причина в фундаментальной сложности подобного рода оптимизаций.
Но нейросети действительно часто используются для отображения одного статистического распределения в другое. Это нормально и одна из возможностей. Однако статистические возможности вовсе не являются ограничительными для нейросетей.
Я не буду рассуждать о ваших знаниях в области компьютерных наук, но вместо этого скажу об базовых принципах машинного обучения.
Любое изучение машинного обучения начинается с линейной регрессии. В самом простом примере ее можно оптимизировать посредством минимизации среднеквадратического отклонения. Что в свою очередь вытекает из принципа максимального подобия (MLE) и оценки апостериорного максимума, что пришло напрямую из статистики и тервера.
На этом основываются если и не все, то подновляющее большинство алгоритмов оптимизации (линейная регрессия, логистическая регрессия, энтропия и кроссэнтропия, расстояние Кульбака — Лейблера). Все это используется для оптимизации нейросетей.
Есть много методов оптимизации, в том числе адам, который относиться к градиенте, но также и эволюционные алгоритмы. Тут это вообще не при чем.
Вокруг нейросетей слишком много мифов и волшебства. Но они не будут делать того, чему их не научили. Они всего лишь находят закономерности в статистических данных.
И эта сеть вам не скажет, почему она ответила вам именно так, если ее этому не научат.
А интерпритируемость сети — это вообще о другом. Понимание того, как сеть работает, помогает дополнять теорию, что в свою очередь помогает создавать более качественные алгоритмы. На данный момент мы делаем слишком много предположений (о том, что данные не коррелируют, например).
Любое изучение машинного обучения начинается с линейной регрессии. В самом простом примере ее можно оптимизировать посредством минимизации среднеквадратического отклонения. Что в свою очередь вытекает из принципа максимального подобия (MLE) и оценки апостериорного максимума, что пришло напрямую из статистики и тервера.
На этом основываются если и не все, то подновляющее большинство алгоритмов оптимизации (линейная регрессия, логистическая регрессия, энтропия и кроссэнтропия, расстояние Кульбака — Лейблера). Все это используется для оптимизации нейросетей.
Есть много методов оптимизации, в том числе адам, который относиться к градиенте, но также и эволюционные алгоритмы. Тут это вообще не при чем.
Вокруг нейросетей слишком много мифов и волшебства. Но они не будут делать того, чему их не научили. Они всего лишь находят закономерности в статистических данных.
И эта сеть вам не скажет, почему она ответила вам именно так, если ее этому не научат.
А интерпритируемость сети — это вообще о другом. Понимание того, как сеть работает, помогает дополнять теорию, что в свою очередь помогает создавать более качественные алгоритмы. На данный момент мы делаем слишком много предположений (о том, что данные не коррелируют, например).
Ваш первоначальный посыл был: «Нейронные сети основаны на статистике, поэтому ей требуется столько много данных. Сеть не сможет выдать то, чего не видела.»
Одно другому не противоречит. Ведь даже линейная регрессия может выдать то, чего не видела. Просто это будет линейное преобразование входных данных, поэтому не интересно. Но в нейросетях, как вы скорее всего знаете, присутствует нелинейный элемент, поэтому она потенциально может выдавать все что угодно.
Может вы имеете ввиду, что сеть, обученная генерировать лица, никогда не напишет поверх них: «Я застрял в компьютере, помогите!!!». Потому что статистические методы ее обучения такого в принципе не могут позволить. Но это же естественно! Человек тогда тоже основан на статистике и не может придумать ничего нового. Так как не может выйти за пределы физических ограничений.
Однако если сеть, генерирующую лица, обучать не только на фотографиях, но и на массивах текстов (хотя бы для понимания, кто именно и в каких обстоятельствах сделал эту фотографию/портрет). И целевой функцией сделать не минимизацию MSE, а правдоподобие что эта картина написана живым художником. Что достижимо через те же GAN. И добавить рекуррентности или тысячи слоев, ее заменяющие, для обратной связи с пользователем. То такая надпись вполне может появиться! Это можно будет назвать моментом появления сильного ИИ, зарождением самосознания или как угодно. Но технически это будет просто правдоподобная имитация
художника, застрявшего в компьютере и способного общаться с внешним миром только через свои картины. Согласитесь, это явно выходит за рамки простых статистических методов, а является полноценным ИИ.
Или пример намного проще: у какой-нибудь GPT-9999 можно будет на вход подать фразу «Я, Альберт Эйнштейн, разработал новую версию ОТО. Основная ее суть заключается в том, что...». И нейросеть допишет, в чем она заключается =). Создание это нового или нет, сами решайте. Но технически это возможно, потому что такое поведение (хоть и в очень упрощенной форме) GPT-2 уже продемонстрировала.
Важна не интерпретируемость самой сети, а интерпретируемость принятых ею решений. Это разные вещи. И если сеть сама расскажет, почему она приняла то или иное решение, то этого вполне достаточно. Так же, как достаточно когда человек объясняет свои решения. Адекватность и полнота подобного объяснения проверяется обычным способом — здравым смыслом.
Одно другому не противоречит. Ведь даже линейная регрессия может выдать то, чего не видела. Просто это будет линейное преобразование входных данных, поэтому не интересно. Но в нейросетях, как вы скорее всего знаете, присутствует нелинейный элемент, поэтому она потенциально может выдавать все что угодно.
Может вы имеете ввиду, что сеть, обученная генерировать лица, никогда не напишет поверх них: «Я застрял в компьютере, помогите!!!». Потому что статистические методы ее обучения такого в принципе не могут позволить. Но это же естественно! Человек тогда тоже основан на статистике и не может придумать ничего нового. Так как не может выйти за пределы физических ограничений.
Однако если сеть, генерирующую лица, обучать не только на фотографиях, но и на массивах текстов (хотя бы для понимания, кто именно и в каких обстоятельствах сделал эту фотографию/портрет). И целевой функцией сделать не минимизацию MSE, а правдоподобие что эта картина написана живым художником. Что достижимо через те же GAN. И добавить рекуррентности или тысячи слоев, ее заменяющие, для обратной связи с пользователем. То такая надпись вполне может появиться! Это можно будет назвать моментом появления сильного ИИ, зарождением самосознания или как угодно. Но технически это будет просто правдоподобная имитация
художника, застрявшего в компьютере и способного общаться с внешним миром только через свои картины. Согласитесь, это явно выходит за рамки простых статистических методов, а является полноценным ИИ.
Или пример намного проще: у какой-нибудь GPT-9999 можно будет на вход подать фразу «Я, Альберт Эйнштейн, разработал новую версию ОТО. Основная ее суть заключается в том, что...». И нейросеть допишет, в чем она заключается =). Создание это нового или нет, сами решайте. Но технически это возможно, потому что такое поведение (хоть и в очень упрощенной форме) GPT-2 уже продемонстрировала.
А интерпритируемость сети — это вообще о другом.
Важна не интерпретируемость самой сети, а интерпретируемость принятых ею решений. Это разные вещи. И если сеть сама расскажет, почему она приняла то или иное решение, то этого вполне достаточно. Так же, как достаточно когда человек объясняет свои решения. Адекватность и полнота подобного объяснения проверяется обычным способом — здравым смыслом.
Вы перемешали все, что только можно. Линейная регрессия на то и регрессия — она возвращает непрерывное значение (y=a+b*x).
Сеть, генерирующая вам слова не сможет выдать новые, которых у нее нет в словаре. Следовательно словарь ограничен теми словами, которые разработчики изначально заложили.
Про генеративно созтезательные сети я вам целый доклад могу написать. С этими сетями я уже второй год работаю. Вот там как раз все завязано на статистике и теории вероятности (собственно, как и в других сетях)
Сеть может сказать, почему она выдала именно такой результат — полный бред. Я уже немного подустал вести с вами дискуссию. Предлагаю остановиться на том, что я не прав :)
Сеть, генерирующая вам слова не сможет выдать новые, которых у нее нет в словаре. Следовательно словарь ограничен теми словами, которые разработчики изначально заложили.
Про генеративно созтезательные сети я вам целый доклад могу написать. С этими сетями я уже второй год работаю. Вот там как раз все завязано на статистике и теории вероятности (собственно, как и в других сетях)
Сеть может сказать, почему она выдала именно такой результат — полный бред. Я уже немного подустал вести с вами дискуссию. Предлагаю остановиться на том, что я не прав :)
Сеть, генерирующая вам слова не сможет выдать новые, которых у нее нет в словаре. Следовательно словарь ограничен теми словами, которые разработчики изначально заложили.
Судя по этому комментарию сеть похоже придумала несколько новых слов на русском языке.
Логику karay можно понять, я просто тоже не хочу развивать холивар. Если что, опыт работы с машинным обучением и, в частности, с разработкой нестандартных реализаций нейронных сетей, у меня 24 года (но как и у многих, с большим перерывом посередине).
Текущие нейронные сети конечно же не могут объяснить свои решения в человеческом понимании. То есть последовательным рассуждением и опираясь на логику. Не принципиально не могут, а потому что архитектур под такое поведение нет. Мы бы хотели такие создать, но непонятно как это сделать.
Речь шла о другом — что ответ нейросети и понятное нам объяснение, как она получила этот ответ — могут быть двумя сторонами одной медали. Те процессы внутри сети, которые приводят к ответу, теоретически могут привести и к объяснению, как она получила этот ответ. Ведь объяснение — это по сути переформулировка ответа другими словами.
Выход сети "поверните направо" и "поверните направо, потому что иначе врежетесь в стену" имеют в своей основе одинаковые процессы, приведшие к такому ответу. Только в первом случае решение сети для нас черный ящик, а во втором вполне понятное объяснение, зачем это делать (то есть решение сети для нас стало интерпретируемым, а не черным ящиком).
Но это пока лишь гипотеза, частично, но не полностью подтвержденная поведением, полученным от нейросети GPT-2 (напомню, сети с рекордным числом параметров, на порядок больше чем у предыдущих). До этого уже были попытки заставить нейросеть давать объяснение ее решению. Ну и как первые переводчики, они выдавали перлы вроде "поверните направо, потому что Бостон". В этом смысле karay полностью прав, что это обычное статистическое поведение, не более. Без понимания смысла сказанного. Однако судя по все возрастающей реалистичности генерации текста, похоже что это проблема масштабирования. Когда-нибудь сложность нейросетей достигнет такого уровня, что эти ответы станут осмысленными. Точнее, для нас они начнут казаться осмысленными. Ведь для этого нужно лишь, чтобы ответ был супер-реалистичными. Это автоматически будет означать осмысленный и логичный ответ, так как нелогичные вещи не будут нам казаться реалистичными. Понятие "осмысленность" это такая зыбкая и гиблая тема, что лучше ее не касаться.
Согласен с karay по проблеме интепретируемости. Кстати, уже есть работы, в которых объяснено, как нейросеть принимает решение, там разрезка по слоям сетки и даже вытягиваются фичи, что вот ухо такой формы значит это кот — это опять же классификация, статья Deepmind.
Так что ребят, забываем, что нейросети черный ящик, уже нет. А пока и Семихатов в программе Наука на федеральном канале все еще продолжает транслировать устаревшую инфу.
Что касается объяснения самой сетью: тут нужна другая сеть, обученная понимать причину следствие. Пока что все эти фишки с якобы ответами на вопросы что Земля это 3я планета не более чем статистически самый частый ответ. И никакого осознания это информации у нейросети нет.
По безопасности мира: недавно выступал на конфе Datastart с докладом о прозрачном и безопасном ИИ, рассказывал, как важно его контролировать с помощью блокчейна в том числе, чтобы он не вырвался, показывал кейсы и тп. Пока общественный дискурс болоболит о философских моментах, а не о том, как технически решать проблему, тк полная модель GPT-2 появится кустарно все равно и это вопрос времени
Так что ребят, забываем, что нейросети черный ящик, уже нет. А пока и Семихатов в программе Наука на федеральном канале все еще продолжает транслировать устаревшую инфу.
Что касается объяснения самой сетью: тут нужна другая сеть, обученная понимать причину следствие. Пока что все эти фишки с якобы ответами на вопросы что Земля это 3я планета не более чем статистически самый частый ответ. И никакого осознания это информации у нейросети нет.
По безопасности мира: недавно выступал на конфе Datastart с докладом о прозрачном и безопасном ИИ, рассказывал, как важно его контролировать с помощью блокчейна в том числе, чтобы он не вырвался, показывал кейсы и тп. Пока общественный дискурс болоболит о философских моментах, а не о том, как технически решать проблему, тк полная модель GPT-2 появится кустарно все равно и это вопрос времени
И эта сеть вам не скажет, почему она ответила вам именно так, если ее этому не научат.
GPT-2 как раз доказывает обратное. Следите за руками:
Подаем на вход GPT-2 фразу: "Земля от Солнца находится по счету...". Нейросеть дописывает: "третьей".
Добавляем в конец этой фразы словосочетание ", потому что..." и вновь подаем на вход GPT-2: "Земля от Солнца находится по счету третьей, потому что...". И нейросеть дописывает: "потому что первыми идут Меркурий и Венера".
Как видите, нейросеть объяснила почему она считает, что Земля идет третья по счету. Пример условный, просто для объяснения принципа.
Это не значит, что в GPT-2 сидит встроенный сильный ИИ, который объясняет свои действия. Просто такой ответ естественен для продолжения этих фраз. Внутри нейросети оба ответа имеют какие-то перекрестные связи, поэтому это настоящий ответ, а не генерация случайного текста. Где доказательства, что люди не таким же способом выдают свои ответы?
Эта сеть выдает такие ответы потому, что их давали где-то в тех 40Gb текстов, что через нее были пропущены. В этих текстах не было ничего, коррелирующего с текущим контекстом сети и поворотом направо. Вернее — наоборот: там наверняка что-то было, но это что-то не даст нам понимание принятого решения, а даст иллюзию такого понимания!
Вот поэтому тест Тьюринга, чат боты вообще и этот самый GPT-2 — зло! )) В том плане, что не ведут к созданию сильного ИИ, а от него уводят.
Вот поэтому тест Тьюринга, чат боты вообще и этот самый GPT-2 — зло! )) В том плане, что не ведут к созданию сильного ИИ, а от него уводят.
Согласен с Вашей точкой зрения.
1. Разумность сети определяется не столько адекватностью и релевантностью ответов, сколько набором весов и параметров. Человеческий мозг устроен по тому же принципу, чем больше циклов обработки информации с обратной связью через него проходило, чем больше в нем образовалось нейронных цепочек — тем человек умнее. Разница между Эйнштейном и пускающим слюни дебилом — не в метафизической плоскости и «божьей искре», а в элементарных физических вещах: 90 млрд нейронов + связи между ними. Разум — это не какая-то мистическая способность и волшебство, а способность брать информацию на входе, по сложным правилам преобразовывать ее и получать информацию на выходе. Релевантность выходной информации зависит от сложности внутренних правил. Если параметров будет не 1.5 млрд, и выборка будет больше — НИЧТО не мешает нейросети превзойти уровень человека.
2. Конкретное ЗНАНИЕ (факт, описание феномена, вывод итд ) формируется в результате прохождения разряда по синапсам разных нейронов, поэтому само количество принципиально возможных ЗНАНИЙ, в том числе не имеющих смысла, в случае человека = 90 млрд ^ 90 млрд, т.е. практически бесконечно. Задача человеческого обучения — создать модель «здравого смысла», позволяющую выделять из этого неисчислимого пространства знаний те, которые релевантны окружающему миру и отсекать явный бред. При этом в «явный бред» попадают также те истинные знания, которые не были доступны человечеству на момент обучения этого конкретного человека. Иногда появляются очень одаренные люди, или гении, которые путем нетривиального сопоставления разных ЗНАНИЙ получают новые релевантные, истинные знания, которые потом включаются в картину миру и «здравый смысл» человечества. А до этого они либо считались бредом, либо были просто неизвестны. Т.е. получается, что любое новое знание — это совокупность старых знаний, связанных друг с другом. Ничего принципиально нового нет, есть новое, полученное из старого. Идем дальше: предположим что на одной из миллионов страниц интернета есть факт, который сам по себе ничего не значит, но в связке еще с десятью (или ста, или тысячей итд) подобных фактах на других страницах — способен привести ну например к знанию об общей теории поля, или как ее называют теории всего. Вероятность того, что конкретный человек, находящийся в теме, правильно обученный, с нужными весами в голове — посетит и внимательно прочитает именно ЭТУ тысячу страниц интернета — и сделает в итоге правильные выводы, получив новое знание — колеблется в районе нуля. Вероятность того, что это сделает нейросеть — 100%.
3. Самое интересное. Новое знание закодировано не в ответах, даваемых системой, а в наборе полученных параметров и обучающей выборке. Т.е. разумность даваемого ответа определяет степень его естественности для системы.
Возьмем начальную фразу «Я считаю, что текущая физика неполна, потому что...»
Для Эйнштейна, обученного на работах ведущих физиков того времени, после «потому что» следовало последовательное аргументированное изложение общей теории относительности, для его современника-дебила, или обычного человека той эпохи, после «потому что» следовал бессвязный набор букв и слов. Для Эйнштейна было естественно дать такой ответ, который вошел в наши учебники физики. В этом и состоит разница в разумности обрабатывающих информацию систем. Если вы видели птицу, и видели что птицы летают, для вас естественно знать, что птица не разобьется насмерть если ее сбросить с высоты. Если вы знаете 10 триллионов разных фактов, и знаете все доступные человечеству связи между ними, для вас естественно знать, что для достижение практической антигравитации нужно сделать то-то и то-то. И именно это вы напишете после фразы «Антигравитация возможна, потому что...». В этом нет ничего сверхъестественного, помести вас 1000 лет назад вы так же естественно рассказали бы про электричество и как сделать лейденскую банку; что полеты аппаратов тяжелее воздуха возможны и как устроен самолет итд итп. И точно так же, помести эту систему из топика сверху — сто лет назад и человечество подумало бы, что обрело всезнающего бога.
4. Способность предсказывать следующее слово в произвольном тексте, опираясь НА ВЕСЬ ИМЕЮЩИЙСЯ ОПЫТ и интеллектуальный багаж человечества — это на самом деле способность гения. Способность добывать новые знания из старых, находя связи между ними. Не изобретая, не придумывая, а просто находя на тех сотнях миллионов страниц, где уже есть все доступные на сегодня факты.
1. Разумность сети определяется не столько адекватностью и релевантностью ответов, сколько набором весов и параметров. Человеческий мозг устроен по тому же принципу, чем больше циклов обработки информации с обратной связью через него проходило, чем больше в нем образовалось нейронных цепочек — тем человек умнее. Разница между Эйнштейном и пускающим слюни дебилом — не в метафизической плоскости и «божьей искре», а в элементарных физических вещах: 90 млрд нейронов + связи между ними. Разум — это не какая-то мистическая способность и волшебство, а способность брать информацию на входе, по сложным правилам преобразовывать ее и получать информацию на выходе. Релевантность выходной информации зависит от сложности внутренних правил. Если параметров будет не 1.5 млрд, и выборка будет больше — НИЧТО не мешает нейросети превзойти уровень человека.
2. Конкретное ЗНАНИЕ (факт, описание феномена, вывод итд ) формируется в результате прохождения разряда по синапсам разных нейронов, поэтому само количество принципиально возможных ЗНАНИЙ, в том числе не имеющих смысла, в случае человека = 90 млрд ^ 90 млрд, т.е. практически бесконечно. Задача человеческого обучения — создать модель «здравого смысла», позволяющую выделять из этого неисчислимого пространства знаний те, которые релевантны окружающему миру и отсекать явный бред. При этом в «явный бред» попадают также те истинные знания, которые не были доступны человечеству на момент обучения этого конкретного человека. Иногда появляются очень одаренные люди, или гении, которые путем нетривиального сопоставления разных ЗНАНИЙ получают новые релевантные, истинные знания, которые потом включаются в картину миру и «здравый смысл» человечества. А до этого они либо считались бредом, либо были просто неизвестны. Т.е. получается, что любое новое знание — это совокупность старых знаний, связанных друг с другом. Ничего принципиально нового нет, есть новое, полученное из старого. Идем дальше: предположим что на одной из миллионов страниц интернета есть факт, который сам по себе ничего не значит, но в связке еще с десятью (или ста, или тысячей итд) подобных фактах на других страницах — способен привести ну например к знанию об общей теории поля, или как ее называют теории всего. Вероятность того, что конкретный человек, находящийся в теме, правильно обученный, с нужными весами в голове — посетит и внимательно прочитает именно ЭТУ тысячу страниц интернета — и сделает в итоге правильные выводы, получив новое знание — колеблется в районе нуля. Вероятность того, что это сделает нейросеть — 100%.
3. Самое интересное. Новое знание закодировано не в ответах, даваемых системой, а в наборе полученных параметров и обучающей выборке. Т.е. разумность даваемого ответа определяет степень его естественности для системы.
Возьмем начальную фразу «Я считаю, что текущая физика неполна, потому что...»
Для Эйнштейна, обученного на работах ведущих физиков того времени, после «потому что» следовало последовательное аргументированное изложение общей теории относительности, для его современника-дебила, или обычного человека той эпохи, после «потому что» следовал бессвязный набор букв и слов. Для Эйнштейна было естественно дать такой ответ, который вошел в наши учебники физики. В этом и состоит разница в разумности обрабатывающих информацию систем. Если вы видели птицу, и видели что птицы летают, для вас естественно знать, что птица не разобьется насмерть если ее сбросить с высоты. Если вы знаете 10 триллионов разных фактов, и знаете все доступные человечеству связи между ними, для вас естественно знать, что для достижение практической антигравитации нужно сделать то-то и то-то. И именно это вы напишете после фразы «Антигравитация возможна, потому что...». В этом нет ничего сверхъестественного, помести вас 1000 лет назад вы так же естественно рассказали бы про электричество и как сделать лейденскую банку; что полеты аппаратов тяжелее воздуха возможны и как устроен самолет итд итп. И точно так же, помести эту систему из топика сверху — сто лет назад и человечество подумало бы, что обрело всезнающего бога.
4. Способность предсказывать следующее слово в произвольном тексте, опираясь НА ВЕСЬ ИМЕЮЩИЙСЯ ОПЫТ и интеллектуальный багаж человечества — это на самом деле способность гения. Способность добывать новые знания из старых, находя связи между ними. Не изобретая, не придумывая, а просто находя на тех сотнях миллионов страниц, где уже есть все доступные на сегодня факты.
Хм. Нейросеть генерирует тексты? Я всегда был уверен что Донцова именно так и работает, иначе как можно выкладывать по 90 книг в год, да еще с такими названиями :)
Грозный Генька генератор грубо грыз горох горстямиуже до конца десятилетия — Лем великий провидец.
НЛО прилетело и опубликовало эту надпись здесь
Похоже на творчество Уильяма Берроуза. По сути это и есть метод нарезок. Такие словарные коллажи вызывают определенный эмоциональный настрой необычными сочетаниями.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
GPT-2 нейросеть от OpenAI. Быстрый старт