Как стать автором
Обновить

Singularity-дайджест — подборка эссе о будущем в эпоху искусственных нейросетей

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров2.3K
Всего голосов 6: ↑6 и ↓0+8
Комментарии7

Комментарии 7

Терзают смутные сомнения, что надо или маркировать сгенерированные тексты (как-минимум), или начать их жёстко банить.

И картинка тоже не настоящая! В комменты призываются эксперты по семантическому анализу и распознаванию фейков. Этот пост может быть интересным упражнением.
А вообще, в конечно не поверите, но вы видите сгенерированный текст там, где его нет. Люди так тоже умеют (серьезно, если бы это написала сетка, я бы так и сказал, потому что это прикольно). Кстати, в последнем абзаце введения заложена отсылка к посту Тима урбана Religion for the Nonreligious.

вы не сможете маркировать все сгенерированные тексты.

максимум что возможно - маркировать несгенерированные "написанные натурально" тексты (при помощи живых свидетелей, которые видели как вы его пишете на бумаге)

Угу, тем более, что гуглоперевод "мясных" текстов не особо то отличается от чисто "тостерных", даже после беглой обработки.

Интересно, как скоро запилят очередной токен, генерируемый при ручном вводе текста, подтверждающий его "мясное" происхождение?

Все мечтали, что роботы будут работать за Вас. А роботы работают вашими надсмотрщиками гораздо лучше Вас. Они не будут сочувствовать и лениться. Они будут генерировать порядок. Уже генерируют. И Вы, оценивающие их достижения , приближаете их успех.

За историю человечества было много технологических прорывов, особенно в последнее столетие. Несмотря на разнообразие со временем выявились их закономерности, которые, в первом приближении, с точки зрения теории динамических систем, можно представить в виде переходного процесса с обострением и выходом в новое устойчивое состояние


image


Можно найти подтверждение этому в недавней истории? Да, напоминает историю с технологиями VR/AR приблизительно десятилетней давности. Тот же вал восторженных статей, те же апокалиптические прогнозы — все будут ходить в очках и шлемах ВР, производство будет забито виртуальными ассистентами, общество буде жить в виртуальном мире в интернете, и тп. И где все это? Мы уже в будущем) Очки благополучно слились, что-то там копашится в своей нише. Шлемы в основном геймеры используют, что-то делается для виртуальных миров и инете с пока непонятным исходом, есть применения на производстве. Погорлопанили с целью привлечения инвестиций, молодые повысили свою важность бренькая новыми гаджетами, и постепенно все вернулось в область реальных возможностей технологии и потребностей. Обещанного апокалипсиса не произошло, и вряд ли произойдет в обозримом будущем. На работе также использовали эту технологию для виртуальных тренажеров, однако постепенно, по нескольким причинам, первую очередь из-за ограниченной пропускной способности беспроводного канала связи и недостаточного разрешения, развитие сошло на нет. Возможно в перспективе появятся подходящие коммерческие решения.


Были и другие компании — 3d печать перевернет промышленность, строительство и донорство. Еще был блокчейн, а еще раньше в 90-х был ажиотаж вокруг экспертных систем. Самому довелось поучаствовать, что-то делал, и даже со статистическими методами обучения, но все это не прижилось, т.к. требовало серьезной поддержки. Конечно сейчас есть инфраструктура, которой тогда не было, и сильно выросла производительность оборудования. Но люди и механизмы внедрения новаций остались теми же. Просто появилось новое поколение, и они это воспринимают, как откровение, как возможность.


Чем история с ЯМ может кончится? Если исходить из того, что архитектура останется прежней, трасформерной, и будут расти только размеры и объемы обучающей выборки? Она упрется в потолок своих возможностей. А они такие, исходя из того, что уже озвучено и как-то исследовано.


  1. ЯМ принципиально не могут делать обобщения языка, как это делает человек развивая его, вводя новые термины и меняя их смысл. Для учета такого развития нужно учить модели заново, или дообучать, что имеет ограничения в существующих способах обучения.


  2. Отсутствие обобщения сравнимого с человеком будет приводить к проблемам с обучением формализованного материала — логического, математического, которое требует точности результатов и повторяемости. ЯМ всегда будут делать ошибочные выводы для операций с данными такого рода, которых не было в обучающей выборке. Напомню, например, для чисел и операций с ними такое число примеров бесконечное, для вещественных даже несчетное. Будут только частные обобщения в виде аппроксимаций, здесь подробнее написано. Использование плагинов для вызова специализированных мат. пакетов также не решит проблему принципиально из-за того, что ЯМ могут неправильно ставить им задачи. Нужно всегда перепроверять ответы, поэтому легче использовать эти мат. пакеты напрямую.


  3. Захламление обучающих выборок предыдущими генерациями ЯМ. Объем знаний человечества огромный, но ограниченный, и не может расти быстрее, чем это позволяют когнитивные способности человека и коллективов из них.


  4. Рост энергозатрат, особенно при обучении 1, 2. Со временем возможен переход на энергоэффективные нейроморфные решения. К тому же они могут обладать другими достоинствами, чем специализированная аппаратная поддержка сетей.



Со временем все эти факторы приведут к выходу на потолок возможностей этой технологии. Конечно трансформеры, и ЯМ на их основе, не приговор, а лишь ограниченные модели мышления человека, конкретно только ассоциативной формы мышления. Это делает их хорошими кандидатами на роль интеллектуальных ассистентов нового поколения. У человека форм мышления много, включая логическую, критическую, образную, и др. Но с точки зрения архитектуры их моделирование требуют перехода к иерархически организованным рекуррентным сетям, как это приближенно организовано в мозге человека. Это позволит использовать их не только, как интеллектуальных ассистентов, но и продвинутых агентов, включая воплощенных. Но это будет уже новая технология, с новым хайпом, и новыми героями)

Идут доработки аналитического мышления нейросети

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории