Comments 34
Алгоритмов, понимаете? Говорить — «нейросети, это тупик», это все равно что сказать, что Метод Монте-Карло тупик.
А вы точно уверены, что Метод Монте-Карло НЕ тупик для решения любых задач? Я в принципе согласен, класс задач, которые, как оказалось можно решить методами оптимизации, очень сильно расширился. Но вы же сами пишете в тоже время:
Второе, чем ИНС так же не являются, это парадигмой искусственного интеллекта.
Следует ли это понимать так, что нейросети не являются (не будут?) основной сильного ИИ? Можем ли мы сказать заранее, что некоторые методы из математики, которые конечно сами по себе не тупик, все же могут быть тупиковыми иногда, потому что… (конкретная причина тут не так важна)?
Каждый раз читая очередную статью вида «Почему нейросети это тупик» (раз, два, три), испытываю странное чувство… несоответствия что ли. Как будто автор декларирует одно, а доказывает и аргументирует нечто совсем иное.
Я бы сказал, что в целом изложенные вами мысли выглядят логичными, но статья получилась несколько незавершенной, или даже скорее без начала. Вы ссылаетесь на несколько других статей, которые вам кажутся странными. Но читателю этой без того, чтобы пройти туда по ссылкам и вникнуть, достаточно сложно понять, против чего конкретно вы возражаете. Было не уместно это изложить тут же, кратко.
Следует ли это понимать так, что нейросети не являются (не будут?) основной сильного ИИ?
Вопрос не ко мне, но немного влезу, мы сейчас не особо знаем "что такое сильный ИИ", раньше был тест Тьюринга, но даже он плохо формализован и модель его уже прошла (хоть и с оговорками). Так что я тут согласен с автором, сперва надо сделать хотя бы какие-то формальные критерии сильного ИИ, а уже потом рассуждать о том, что ляжет в его основу. Долго договорили о творчестве как признаке сильного ИИ, сейчас с нейросетевыми картинами побеждают на конкурсе художников, но опять "это не то" (хотя тут я согласен, что это не то). Кстати, это создало прецедент и картина уже достаточно известна из-за этой новости, чистой воды акт творчества. Можно сказать, что тут человек -- это лицо принимающее решение, вроде как выбрал из большого многообразия картину, но много художников делают много картин которые совершенно никому не нужны, нельзя сказать что у человека очень уж хороший скилл выбора, много известных художников "выстрелили" случайно.
А отвечая на вопрос -- он поставлен некорректно, нейросети могут быть основой сильного ИИ, могут не быть, могут быть вспомогательной частью. Это ортогональные понятии, реализация и идея. Это как программу можно написать на одном языке, а можно на другом, и вопрос тогда будет "Следует ли это понимать так, что бэкенд этого сайта не будет написан на python?". Действительно есть путаница между алгоритмом и задачей. Задачи сделать сильный ИИ сейчас нет, сейчас скорее абстрактная неформализованная мечта сделать сильный ИИ, как я это вижу.
Ну вот на днях буквально кто-то описывал свои диалоги, где chatGPT утверждал, что Буратино придумал Акунин в 1938 году. Что бы сделал разумный человек в такой ситуации, чтобы показать, что это чепуха? Например, сослался бы на страницу про Акунина на Википедии, что Акунин на самом деле не Борис а Григорий, и вообще не Акунин (уже интересно поговорить о таком, понимает ли робот, как мы идентифицируем человека), и что родился он в 1956, следовательно придумать Буратино в 1938 никак не мог. То есть, человек
может ошибаться, а для доказательства своих утверждений ссылается на первоисточники. В моем понимании, пока ИИ так не научился, тест Тьюринга он не пройдет.
>хотя тут я согласен, что это не то
Ну да. Я тоже согласен, что не то, и тоже не могу объяснить, почему именно.
>могут быть вспомогательной частью
Тоже вопрос интересный. Если в конечном счете в общем устройстве сильного ИИ нейросети будут играть примерно такую роль, какую играет скажем синус — можно ли считать, что ИИ построен на синусе? Ну или так — если у ИИ будет мобильное приложение, можно ли сказать, что ИИ будет построен на котлине или свифте? Я бы все же считал, что только ключевые технологии стоит учитывать, без которых эту же задачу мы сегодня не решим.
который понимает наши вопросы, и дает весьма сложные, развернутые, но иногда совершенно бессмысленные ответы.
...
Что бы сделал разумный человек в такой ситуации, чтобы показать, что это чепуха?
Далеко от некого "идеального человека разумного", но вполне похоже на детей или студентов на экзаменах :)
> могут быть вспомогательной частью
Я имел ввиду другое, просто тут опять таки мешают некоторые внутренние представления о, я, например, держал в голове некого гуманоидного робота (как в фильме ex machine), и частью == зрение реализовано сверточными нейросетями, из картинки получить некоторые внутренние представления, который идут в "мозг", то есть текущие развитие это реализация мелких составных частей некого будущего ИИ (как АЛУ у процессора, но вот сам процессор еще предстоит изобрести).
Что бы сделал разумный человек в такой ситуации, чтобы показать, что это чепуха?
Задача понимания границ собственного незнания сама по себе не самая тривиальная, её и люди решают с переменным успехом. А для алгоритма, не способного получать внешние данные в процессе инференса иначе, чем через контекст, факт ничем принципиально не отличается от собственной выдумки. Люди, кстати, тоже способны строить ложные воспоминания и логично вписывать их в свою картину мира.
Хах, в моём понимании ИИ должен быть полон по Тьюрингу, грубо говоря. Тоесть сам своими абстракциями решать поставленные задачи. Сейчас есть обучение с подкреплением, но оно просто автоматически ищет варианты решения и имея нужные вычислительные мощности мы просто симулируем тысячи реальных часов обучения в одну минуту и получаем нужный выхлоп.
И в целом мне кажется, на текущем мат. аппарате ИНС нельзя создать нормальный ИИ не прибегнув к костылям. Аля, вместо того чтобы использовать одну НС для обучения зрительной коры, мы разработаем архитектуру на основе модулей и будем обучать мини-модули опознавать новые объекты. Ибо иначе никак
https://jmlr.org/papers/v22/20-302.html, ну и про LSTM были, кажется подобные соображения...?♂️
Читал про LSTM, это не то. Он относительно быстро забывает информацию и не способен долго удерживать контекст.
Грубо говоря, на текущий момент нету никакой нормальной архитектуры которая могла бы что-то нормально запоминать, не эмулируя цифровую схемотехнику работы памяти, но таких нейросетей я не видел, в публичных обсуждениях.
А из-за специфики обучения у нейросетей вектор для задания адресов может иметь чисто рандомное заполнения, что требует очень высокой скорости произвольного доступа, увы, которая сейчас на уровне 300МТ в лучшем случае. (Если считать именно RAM)
UPD Видел что даже для этой проблемы выпускают специальную память с высокой скоростью произвольного доступа с безумной архитектурой по диким ценам.
А без долгосрочной памяти смысл говорить о решении каких либо задач не имеет смысла. Мол ты отправил робота пойти в магазин а он на пол пути забыл, ибо его кто-то толкнул а машина посигналила?
Давайте начнём с того, что LSTM однослойный. Вспомните что умеет однослойная нерекурентная нейросеть при современных алгоритмах обучения, при том, что теоретически доказана возможность апроксимировать любую функцию с любой заданной точностью. Если бы нынешние алгоритмы обучения рекурентных нейросетей не захлёбывались на многослойности можно было бы поговорить о том, чего такие сети практически могут, а чего нет. А второй момент, а кто-нибудь учил их держать конекст, или недеятся, что само как-нибудь? Представте, что вы на рекурентной нейросети делаете что-то типа автоэнкодера. То есть учите один рекурентный слой, который учится на конкретной задаче) а потом к нему подключаете другой рекурентный слой, который свой выход подмешивает к этой сети и имеет задачу - поддерживать тот же выход из LSTM пока не поступит сигнал на отмену. И после того как научится надстраиваете дальше слоями когда нужно решать следующую уже более сложную задачу где нужно долго помнить пока контекст не будет полностью использован и утилизирован, возможно в таком варианте послойного обучения полученная сеть уже будет помнить столько, сколько надо. Или какой-нибудь другой подход. В конце концов и компактное латентное представление научились создавать только после того, как в явной форме сформулировали эту задачу и уже под её решение создали автоэнкодеры.
Стесняюсь спросить: а почему LSTM однослойный? )) Возьмем к примеру, торч: https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html - третий параметр, num_layers...
Потому что рекурсия только внутри одного слоя. Это по сути нескролько однослойных LSTM-ов и сеть не имеет синапсов со второго слоя обратно на первый, чтобы изменить его состояние в зависимости от обобщений, полученных позже. Это не многослойность, Переводя в обычные аналогии это как если бы взяли однослойную сеть, обучили первый слой, после чего его до конца заморозили, добавили второй и учили только его, потом заморозили и его и добавили третий и так далее. Ну не совсем так, конечно, но близко к тому. Это не многослойность в том смысле, который позволяет сетям обобщать.
Основой сильного ИИ будет принцип. Некая функциональная идея. Конкретная инженерная задача, для которой посредством декомпозиции будут подобраны наиболее подходящие средства реализации. Это могут быть нейросетевые, классические, функциональные алгоритмы или что-то новое, чего пока еще нет или в зачатке. Допускаю, что и для оптимизации сложных функций от многих переменных будут найдены более эффективные алгоритмы, которые уже не будут тем, что сейчас называют нейросетями. А может там вообще не будет задачи такой оптимизации... Не это важно.
Важно, что алгоритм не может быть тупиком. Он может не подходить под задачу - да. Но как правило, если задача сформулирована, то споров подходит для нее алгоритм или нет - не возникает (хотя задачу иногда можно переформулировать под алгоритм). А сейчас это выглядит как что-то такое:
Давай построим что-нибудь прикольное!
Давай! У меня есть молоток!
Не... Молотком ничего прикольного не построишь... Молоток - это тупик!
Ну как бы да — молотком без гвоздей и досок реально ничего не построишь.
Верно! Нейросеть сама по себе тоже, как правило, не работает. ?♂️ Нужен дополнительный «обвес» в виде токенайзеров/квантизаторов, алгоритмов семплирования, прикладной логики, UI и прочего…
Нужно использовать весь доступный инструментарий по мере необходимости и там, где он уместен! А не искать золотой молоток, которая решит все проблемы разом!
Зато, можно много чего сломать
ИНС так же не являются, это парадигмой искусственного интеллекта
зато Коннекционизм является парадигмой, а ИНС представляет собой лишь одним из способов
Алгоритм - это инструмент. Метод решения определенного класса задач.
Одно из главных условий ИИ это универсальность, так что нет, не определённого класса задач, а любых, в этом и проблема создания сильного ИИ.
Больше похоже на крик души "Задолбали алгоритм называть Искусственным Интеллектом".
Вы не единственный! Те кто в теме, умиляются наличием ИИ в стиралке, улыбаемся и машем, т.е. пишем решения для бизнеса и зарабатывать на хайпе вокруг ИИ.
Хорошее начало! Да, немного не хватает развернутости, почему же ИНС не "нейросети" и кстати, SNN - тоже недотягивают до "настоящих".
ИНС в общепринятом понимании, не путать с ИмНС aka SNNИмпульсные в виде нейроморфных решений ближе всего к биологическим прототипам по возможностям и энергоэффективности, см. обзоры 1, 2. Они могут поддерживать аналоги спонтанной активности мозга (см. эту ветку с пояснениями функций активирующей системы мозга), обучения ассоциативного типа (хеббовского в виде STDP), даже фаз сна-бодрствования для усвоения новой информации без забывания старой, см. ссылку на исследовательскую разработку, и др.
Проблема идёт из того, что учёный насилует журналиста.
Когда ты журналист/маркетолог, то тебе надо написать просматриваемую статью/завлечь тонну людей на курсы, то нельзя говорить, что обучать нейросети - это перемножать матрицы, нужно говорить "нейросети ооо! нейросети ааа!".
Поэтому появляются множество статей от непогружённых копирайтеров, что нейросети заменят собой программистов и людей быстрее подписывайтесь на курсы.
А какие-то чуть более погружённые люди знают, что это не великий ИИ, а лишь набор алгоритмов.
Но потому что их пузырь информации состоит из "нейросети вытесняют художников и писателей", то пытаются донести свою более правильную позицию, что не всё так магически, чтобы остальные перестали так думать (а они сами почувствовали себя умнее других и идущими против толпы).
На хабре же статьи "нейросеть - копия мозга и вот-вот завоюет мир" непопулярны, потому что все +- представляют, что это и зачем, но зато сюда пишут много статей "нейросети ничего не умеют", отсюда и кажется, что все так думают.
А по сути это просто как спор первокурсника и третьекурсника, где один говорит "js - самый лучший язык!", а второй спорит "ничего js не умеет, то ли дело шарпы".
Давайте попробуем сформулировать не "Хороший ИИ" а хотя бы минимальный ИИ. Например: "Программный комплекс, работающий в реальном времени, имеющий способность самостоятельно формулировать собственные цели и автоматически изменять свою структуру для эффективного достижения поставленной цели либо ее коррекции (при невозможности достижения)."
В идеале, получив нечто подобное, достаточно отправить его (ее?) в бесконечное количество итераций мы получим "то самое" ))) Есть желающие закодить?
Строго говоря нейросети не оптимизаторы, а аппроксиматоры. Оптимизаторы используется при обучении (обратное распространение ошибки, всякие adam, SGD и др.). Конечный продукт (нейросеть) вычисляет некий ответ, похожий на ответы из обучающего множества - аппроксимирует. И (в большинстве случаев) у нейросети экстраполяция получается намного хуже (как только выходим за пределы обучающего множества, так сразу увеличивается ошибка).
Построят ли первый сильный ИИ на основе нейросети? Вполне возможно. Только, скорее всего, структура будет отличаться от трансформеров примерно как перцептрон отличается от трансформеров (т.е. нам нужно пройти несколько итераций улучшения).
Строго говоря нейросети не оптимизаторы, а аппроксиматорыДа, для различных архитектур ИНС существуют доказательства их аппроксимирующих свойств. В общем случае о них говорится, как универсальных аппроксиматорах со стохастической оптимизацией параметров. Однако в последнее время появились работы для некоторых топологий, в которых приводится доказательства отсутствия такого свойства. Например, в этой работе для глубоких, тонких нейронных сетей, независимо от количества скрытых слоев. ЛеКун со соавторами также призывает осторожно относиться к интерполирующим и экстраполирующим свойствам сетей, как показателям обощаемости.
И как насчет инсайта, нетривиальных решений не сводящихся к предыдущим результатам, которые иногда случаются у людей? Вряд ли это результат аппроксимации. В мозге за инсайт отвечает случайный рост аксонов, их новые связи, стимулируемые поиском решения. С помощью такого механизма возможно Менделеев открыл периодическую систему элементов своего имени) Все необходимые факты ему уже были известны, осталось правильно их связать, по легенде это озарение пришло ему во сне. Как реализовать такие возможности в будущем ИИ?
инсайт - озарение (пришлось в Википедию залезть).
Сейчас, к примеру, есть рекуррентные нейросети (стоят несколько особняком, возможно из-за трудностей в обучении, возможно потому что традиционные нейронки сейчас дают сопоставимую точность). Может нечто этакое приспособят генерировать из случайного шума (на входе) некий осмысленный ответ (на выходе) (крутим заранее обученную нейронку до тех пор, пока она не сойдется к ответу). Возможно это будет некий энкодер на входе, рекуррентая часть посередине и декодер на выходе....
Возможно это будет некий энкодер на входе, рекуррентая часть посередине и декодер на выходе...Тут вопросы пока даже не к конкретной архитектуре сетей, а самой методологии. Хотя идеи с привлечением обратных связей и генерации внутренних моделей соответствуют биологическим прототипам. Из шума получать новые знания сомнительно, эта идея навеяна видимо в связи с использованием диффузного метода в генеративных графических моделях. Но это относится к внутренним представлениям моделей, внутренним преобразованиям информации. Вместо диффузного представления возможно использование морфинга, или другого эквивалентного по возможностям метода. На выбор может влиять простота реализации.
Привел пример с открытием периодической системы элементов. Известно, что необходимая информация об атомных весах и других свойствах элементов к тому времени уже была доступна, и другие ученые высказывали похожие идеи используя обобщение (индукцию) по этим свойствам. Собственно исходно Менделеев также произвел подобное обобщение видимо из-за того что писал учебник по химии, и это имело больше дидактический смысл. Произвел формальный вывод на основе известных свойств. С родни тому что сейчас могут делать языковые модели ИНС, как следствия оптимально обученных искусственных систем генерации выводов, о чем написал автор топика, или универсальных аппроксиматоров, как уточнили вы. Однако Менделеев пошел дальше логического вывода и представил это в виде нового концептуального представления, не сводящегося к предыдущим знаниям. Он сформулировал его в виде периодического закона позволявшего предсказывать свойства еще не открытых элементов. В чем разница? На первый взгляд это дальнейшее обобщение размещения по свойствам. Внешне так и представляется. Однако нет. Индукция — индукцией, особенно эмпирической, в жизни люди постоянно видят закономерности в повторениях и схожих ситуациях, однако на практике могут быть исключения из кажущихся связей. Концептуальная формулировка периодического закона отражает интуитивное представление предвосхитившее связь атомных весов элементов с устройством атомов, их ядер, с величиной их заряда, что в последствии подтвердилось. Знаний которых в помине не было в то время. Этот скачкообразный переход, который произошел через некоторое время после публикации первоначального варианта таблицы в учебнике, зафиксирован в биографии Менделеева, как осознание (озарение) важности самого принципа периодичности для классификации элементов по атомным весам, и соответственно его отдельной публикации для закрепления приоритета открытия. Произошла своеобразная мутация в концептуальных представлениях, получивших новое содержание, которые логически невозможно свести к предыдущим. Без этого новые знания были бы просто тавтологией существующих, и никакого развития представлений не происходило. Такой уровень пока не доступен современной технологии ИНС. Иначе уже давно у жопетэчата спросили про основы интересующей всех физиков квантовой теории гравитации и получив сакраментальный ответ оповестили его изумленному миру)
Что нужно будущим версиям GPT, чтобы приблизиться к этому уровню работы с информацией? Не только рост числа параметров, как думают многие. Как минимум, непрерывное обучение, т.е. преодоление катастрофического забывания, чтобы постоянно уточнять индуктивные выводы по любым темам, и наличие ассоциативной памяти. По более современной терминологии — нейронной синаптической пластичности основанной на хеббовских принципах обучения (STDP для импульсных сетей, см. ссылки в коменте выше), которая позволяет устанавливать связи на разных уровнях мозга. Возможно это потребует также аналога процедуры консолидации памяти, которая по современным представлениям, происходит во время сна, и связана со сновидениями. Так что байка про открытие периодического закона Менделеевым во время сна хотя и не подтверждалась им, но не могло обойтись без него)
https://habr.com/ru/company/skillfactory/blog/666040/ Почитайте про интересный подход для символьной регрессии. В таких задачах очень часто формулы получаются очень-очень длинными, избыточно длинными. Всё потому, что машина не знает когда остановится (ищи "PySR для нахождения уравнений", там её научили останавливаться).
С нейросетями зачастую похожая задача - трудно (сложно) понять какого размера какие слои ставить. Сама нейросеть тоже не умеет настраивать свою сложность. Поставишь много - получишь переобучение, мало - точность будет плохой. Возможно какое-то решение в этой области сделает нас чуть ближе к сильному ИИ.
Почитайте про интересный подход для символьной регрессии.Читал ее, даже написал там комент. Подход интересный, перспективный. Если про физику, то больше понравилась эта разработка. Обучение на эмпирическом материале. Хотя в коментах отношение скептическое почему то в основном.
Замечание верное. Я имел ввиду, что работающую систему мы получаем через оптимизацию. ? Т.е. сама нейронка - это уже результат алгоритма оптимизации и собственно решение задачи…
Но ваше замечание весьма к месту, ибо из текста это совсем не очевидно…
Про нейросети