Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 9
Нейронная оборона, говорите? Это так же похоже на Летова, как Ласковый Май на Зыкову.
Да, аллюзий, которые любил Егор, тут нет и в помине, но ведь забавно. Why so serious?
Ни разу я не serious. Потому как, чтобы разочароваться, нужно сначала очароваться, а у нас для этого предпосылок нет. Там комп собрал какие-то групповые лексические штампы и рифмы по типу ботинки-полуботинки… Скучно. Лучше бы они, в самом деле, на кошках киркоровых всяких потренировались, авось смешнее вышло бы.
Все генераторы текста можно разделить на три большие группы.
1. Бредогенераторы. Всё то, что основано на цепях Маркова, байесовских генераторах, нейросетях. Такие системы сперва обучают на больших объёмах текста, а потом они генерируют текстоподобный бред.
Хотя подобные алгоритмы выдают неплохие результаты при генерации изображений, но с текстами работают из рук вон плохо, потому что природная межушная нейросеть для генерации приличных текстов использует мощную библиотеку ассоциаций, сконструированную и натренированную отнюдь не на текстах. Генерировать текст, используя только лишь инфу, «вытащенную» из обучающих текстов, это всё равно что пытаться запустить IL-байткод без .NET-фреймворка и даже без винды. Результат будет заведомым отстоем в стиле «Яндекс-рефератов».
2. Логогенераторы. Суть в том, что создаётся некая «песочница», куда помещается набор объектов и персонажей. Для всего этого прописаны правила взаимодействия, подключены модули ИИ, сильно напоминающего игровой, который двигает героев к поставленным квестовым целям. По ходу игроподобного процесса, происходящего в песочнице, генерируется лог:
Основная проблема в том, что такие генераторы довольно хреново генерируют эмоциональную составляющую текста, а ведь это в литературе как раз самое важное. Вот так читаешь творение такого алгоритма, и прямо видишь, что это причёсанный игровой лог, который сгодится разве только для новомодного жанра литРПГ, и то лишь в качестве одного из компонентов.
3. Шаблонизаторы. Наиболее старая, но всё ещё самая эффективная система, когда текст собирается из множества заранее заготовленных кусочков-шаблонов. Шаблоны могут быть параметризуемыми, могут в свою очередь состоять из подшаблонов и т.д.
В принципе, шаблонизатор может выдавать текст, не отличимый от «человеческого», однако затраты на создание такого шаблонизатора гораздо выше, чем на непосредственное написание. Ну и те тексты, что он генерирует, будут содержать достаточно повторов, чтобы это бросалось в глаза уже после 10 текстов.
1. Бредогенераторы. Всё то, что основано на цепях Маркова, байесовских генераторах, нейросетях. Такие системы сперва обучают на больших объёмах текста, а потом они генерируют текстоподобный бред.
Хотя подобные алгоритмы выдают неплохие результаты при генерации изображений, но с текстами работают из рук вон плохо, потому что природная межушная нейросеть для генерации приличных текстов использует мощную библиотеку ассоциаций, сконструированную и натренированную отнюдь не на текстах. Генерировать текст, используя только лишь инфу, «вытащенную» из обучающих текстов, это всё равно что пытаться запустить IL-байткод без .NET-фреймворка и даже без винды. Результат будет заведомым отстоем в стиле «Яндекс-рефератов».
2. Логогенераторы. Суть в том, что создаётся некая «песочница», куда помещается набор объектов и персонажей. Для всего этого прописаны правила взаимодействия, подключены модули ИИ, сильно напоминающего игровой, который двигает героев к поставленным квестовым целям. По ходу игроподобного процесса, происходящего в песочнице, генерируется лог:
Герой сделал шаг левой ногойкоторый уже дальше «раскрашивается» и разворачивается в нечто, напоминающее литературный текст. На выходе могут получаться вполне приличные экшн-сцены.
Герой сделал шаг правой ногой
Герой размахнулся
Меч набрал скорость
Меч затормозился о череп гоблина
Меч пересёкся с мозгами гоблина
Скорость меча уменьшилась на 60%
Получено достижение: мозги набекрень
Зафиксирован разлёт фрагментов мозга гоблина
Гоблин получил 100 единиц урону
ХП гоблина иссякает
Учёт инерции меча…
Основная проблема в том, что такие генераторы довольно хреново генерируют эмоциональную составляющую текста, а ведь это в литературе как раз самое важное. Вот так читаешь творение такого алгоритма, и прямо видишь, что это причёсанный игровой лог, который сгодится разве только для новомодного жанра литРПГ, и то лишь в качестве одного из компонентов.
3. Шаблонизаторы. Наиболее старая, но всё ещё самая эффективная система, когда текст собирается из множества заранее заготовленных кусочков-шаблонов. Шаблоны могут быть параметризуемыми, могут в свою очередь состоять из подшаблонов и т.д.
В принципе, шаблонизатор может выдавать текст, не отличимый от «человеческого», однако затраты на создание такого шаблонизатора гораздо выше, чем на непосредственное написание. Ну и те тексты, что он генерирует, будут содержать достаточно повторов, чтобы это бросалось в глаза уже после 10 текстов.
Есть еще много других схем генератора, например суммаризатор, который берет несколько текстов на одну тему и из них делает один. Есть генераторы на базе грамматик, которые порождают большую вариативность, чем просто шаблонизаторы. И много разных других подходов.
И про нейронные сети вы не совсем правы.
Яндекс рефераты производит чушь, где даже в одном предложении смысла нет:
«Лидерство в продажах, не меняя концепции, изложенной выше, экономит стиль менеджмента, повышая конкуренцию» — это бред.
Но очень большие модели порождают предложения в которых есть смысл:
«With even more new technologies coming onto the market quickly during the past three years, an increasing number of companies now must tackle the ever-changing environmental challenges online»
«We are aware of written instructions from the copyright holder not to, in any way, mention Rosenberg ’s negative comments if they are relevant as indicated in the documents, ” eBay said in a statement „
(примеры из Jozefowicz R. et al. Exploring the limits of language modeling //arXiv preprint arXiv:1602.02410. – 2016.)
Применительно к литературе. Вот такой фрагмент нейросеть средних размеров реально генерирует:
“ — Простите, он смог бы подождать. Но в этом нет никакого смысла. Вы понимаете?, — спросил он.
— Да, сэр. Я только не могу понять, что он не может причинить вред человеку.»
Тут есть осмысленный фрагмент диалога, где понятно, что первый человек спрашивает, а второй отвечает, при этом второй, кто отвечает, отвечает в тему (видна схема: «вы понимаете? Да, но не совсем..»). Если взять только такие фрагменты, то по ним очень трудно сказать, имеем ли мы текст нейросети, либо фрагмент, написанный человеком.
Далее, существуют генератории историй на базе картинок (например, github.com/ryankiros/neural-storyteller, pdfs.semanticscholar.org/0f46/776b6a75c4088e4d5412b7bfdb29f7f777ef.pdf) которые не ограничены «библиотекой, натренированной на текстах». И качество текста тоже довольно высокое (см. пример по ссылке).
И про нейронные сети вы не совсем правы.
Яндекс рефераты производит чушь, где даже в одном предложении смысла нет:
«Лидерство в продажах, не меняя концепции, изложенной выше, экономит стиль менеджмента, повышая конкуренцию» — это бред.
Но очень большие модели порождают предложения в которых есть смысл:
«With even more new technologies coming onto the market quickly during the past three years, an increasing number of companies now must tackle the ever-changing environmental challenges online»
«We are aware of written instructions from the copyright holder not to, in any way, mention Rosenberg ’s negative comments if they are relevant as indicated in the documents, ” eBay said in a statement „
(примеры из Jozefowicz R. et al. Exploring the limits of language modeling //arXiv preprint arXiv:1602.02410. – 2016.)
Применительно к литературе. Вот такой фрагмент нейросеть средних размеров реально генерирует:
“ — Простите, он смог бы подождать. Но в этом нет никакого смысла. Вы понимаете?, — спросил он.
— Да, сэр. Я только не могу понять, что он не может причинить вред человеку.»
Тут есть осмысленный фрагмент диалога, где понятно, что первый человек спрашивает, а второй отвечает, при этом второй, кто отвечает, отвечает в тему (видна схема: «вы понимаете? Да, но не совсем..»). Если взять только такие фрагменты, то по ним очень трудно сказать, имеем ли мы текст нейросети, либо фрагмент, написанный человеком.
Далее, существуют генератории историй на базе картинок (например, github.com/ryankiros/neural-storyteller, pdfs.semanticscholar.org/0f46/776b6a75c4088e4d5412b7bfdb29f7f777ef.pdf) которые не ограничены «библиотекой, натренированной на текстах». И качество текста тоже довольно высокое (см. пример по ссылке).
Удалены повторы из фраз типа «я понимаю, что ты не понимаешь, что мы ничего не понимаем»Мне сначала показалось, что тут есть повтор. Фразу «что ты не понимаешь» можно убрать, т.к. она поглощается следующим утверждением, но потом я понял, что тут нет повтора.
Назову говорящего Первым, того к кому он обращается — Вторым.
Второй находится в заблуждении. Первый вкурсе факта нахождения Второго в заблуждении. Заблуждение Второго заключается в том, что он считает, что кто-то из них информирован, например, по поводу какой-то ситуации.
Если выкинуть первые два утверждения, тогда мы не будем понимать зачем Первый вообще это произносит. Мы не знаем о заблуждении Второго.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Компьютеры пишут прозу, но все еще уступают людям. Почему?