Comments 7
Терзают смутные сомнения, что надо или маркировать сгенерированные тексты (как-минимум), или начать их жёстко банить.
И картинка тоже не настоящая! В комменты призываются эксперты по семантическому анализу и распознаванию фейков. Этот пост может быть интересным упражнением.
А вообще, в конечно не поверите, но вы видите сгенерированный текст там, где его нет. Люди так тоже умеют (серьезно, если бы это написала сетка, я бы так и сказал, потому что это прикольно). Кстати, в последнем абзаце введения заложена отсылка к посту Тима урбана Religion for the Nonreligious.
вы не сможете маркировать все сгенерированные тексты.
максимум что возможно - маркировать несгенерированные "написанные натурально" тексты (при помощи живых свидетелей, которые видели как вы его пишете на бумаге)
Все мечтали, что роботы будут работать за Вас. А роботы работают вашими надсмотрщиками гораздо лучше Вас. Они не будут сочувствовать и лениться. Они будут генерировать порядок. Уже генерируют. И Вы, оценивающие их достижения , приближаете их успех.
За историю человечества было много технологических прорывов, особенно в последнее столетие. Несмотря на разнообразие со временем выявились их закономерности, которые, в первом приближении, с точки зрения теории динамических систем, можно представить в виде переходного процесса с обострением и выходом в новое устойчивое состояние
Можно найти подтверждение этому в недавней истории? Да, напоминает историю с технологиями VR/AR приблизительно десятилетней давности. Тот же вал восторженных статей, те же апокалиптические прогнозы — все будут ходить в очках и шлемах ВР, производство будет забито виртуальными ассистентами, общество буде жить в виртуальном мире в интернете, и тп. И где все это? Мы уже в будущем) Очки благополучно слились, что-то там копашится в своей нише. Шлемы в основном геймеры используют, что-то делается для виртуальных миров и инете с пока непонятным исходом, есть применения на производстве. Погорлопанили с целью привлечения инвестиций, молодые повысили свою важность бренькая новыми гаджетами, и постепенно все вернулось в область реальных возможностей технологии и потребностей. Обещанного апокалипсиса не произошло, и вряд ли произойдет в обозримом будущем. На работе также использовали эту технологию для виртуальных тренажеров, однако постепенно, по нескольким причинам, первую очередь из-за ограниченной пропускной способности беспроводного канала связи и недостаточного разрешения, развитие сошло на нет. Возможно в перспективе появятся подходящие коммерческие решения.
Были и другие компании — 3d печать перевернет промышленность, строительство и донорство. Еще был блокчейн, а еще раньше в 90-х был ажиотаж вокруг экспертных систем. Самому довелось поучаствовать, что-то делал, и даже со статистическими методами обучения, но все это не прижилось, т.к. требовало серьезной поддержки. Конечно сейчас есть инфраструктура, которой тогда не было, и сильно выросла производительность оборудования. Но люди и механизмы внедрения новаций остались теми же. Просто появилось новое поколение, и они это воспринимают, как откровение, как возможность.
Чем история с ЯМ может кончится? Если исходить из того, что архитектура останется прежней, трасформерной, и будут расти только размеры и объемы обучающей выборки? Она упрется в потолок своих возможностей. А они такие, исходя из того, что уже озвучено и как-то исследовано.
ЯМ принципиально не могут делать обобщения языка, как это делает человек развивая его, вводя новые термины и меняя их смысл. Для учета такого развития нужно учить модели заново, или дообучать, что имеет ограничения в существующих способах обучения.
Отсутствие обобщения сравнимого с человеком будет приводить к проблемам с обучением формализованного материала — логического, математического, которое требует точности результатов и повторяемости. ЯМ всегда будут делать ошибочные выводы для операций с данными такого рода, которых не было в обучающей выборке. Напомню, например, для чисел и операций с ними такое число примеров бесконечное, для вещественных даже несчетное. Будут только частные обобщения в виде аппроксимаций, здесь подробнее написано. Использование плагинов для вызова специализированных мат. пакетов также не решит проблему принципиально из-за того, что ЯМ могут неправильно ставить им задачи. Нужно всегда перепроверять ответы, поэтому легче использовать эти мат. пакеты напрямую.
Захламление обучающих выборок предыдущими генерациями ЯМ. Объем знаний человечества огромный, но ограниченный, и не может расти быстрее, чем это позволяют когнитивные способности человека и коллективов из них.
Рост энергозатрат, особенно при обучении 1, 2. Со временем возможен переход на энергоэффективные нейроморфные решения. К тому же они могут обладать другими достоинствами, чем специализированная аппаратная поддержка сетей.
Со временем все эти факторы приведут к выходу на потолок возможностей этой технологии. Конечно трансформеры, и ЯМ на их основе, не приговор, а лишь ограниченные модели мышления человека, конкретно только ассоциативной формы мышления. Это делает их хорошими кандидатами на роль интеллектуальных ассистентов нового поколения. У человека форм мышления много, включая логическую, критическую, образную, и др. Но с точки зрения архитектуры их моделирование требуют перехода к иерархически организованным рекуррентным сетям, как это приближенно организовано в мозге человека. Это позволит использовать их не только, как интеллектуальных ассистентов, но и продвинутых агентов, включая воплощенных. Но это будет уже новая технология, с новым хайпом, и новыми героями)
Идут доработки аналитического мышления нейросети
Singularity-дайджест — подборка эссе о будущем в эпоху искусственных нейросетей