Comments 32
Поскольку стараюсь читать статьи содержательно, дам имхо содержательный коммент:
Самым интересным вопросом является то, достаточны ли функции интерполяции большинства текстовых знаний человечества (на которых тренируются LLM) для того, чтобы создавать значимые результаты выше человеческого уровня? Потому что один человек специализируется, как правило, на одном - и в этом одном его качество выше и не сводится к интерполяции (если он профессионал). С другой стороны, LLM добавляет к рассуждениям интерполяцию знаний из соседних областей - например, условный бекендщик может с её помощью написать фронт или создать маркетинговую программу продвижения проекта, в которых у него компетенций близко к нулю.
Традиционно считалось "объедините несколько областей, и получите качественное междисциплинарное исследование, на которое один человек не способен". LLM на это способны (интерполяцией знаний и рассуждений), но теперь вопрос - а действительно ли это эффективный способ порождения исследований, который приведет к AGI и ASI? Или же эта гипотеза неверна, и интерполяция не заменит умений моделирования человеком?
У вас как будто "проблематика перцептрона и «исключающего или»" в комментарии. Почему выбор надо ставить в виде "или заменит, или не заменит"?
Где-то заменит, где просто поможет, а где-то и откровенно может навредить. Для каждой задачи свой инструмент просто нужен!
Имхо: каких-то прорывов уровня Эйнштейна от них ждать точно не следует - ограничение выборки на которой обучали модель, отсутствие субъективного "квалиа", неспособность к образному мышлению - всё это накладывает ряд фундаментальных (не больше и не меньше) ограничений.
Но вот подтолкнуть человека к прорыву уровня Эйнштейна - уже умеет)) Ну и задачи на генерацию, проверку. синтез 100500 вариантов чего-либо - вполне-вполне...
Почему выбор надо ставить в виде "или заменит, или не заменит"?
Потому что это очевидно вопрос "на подумать" читателю с учетом указанных рассуждений. Ответ "где-то будет лучше, где-то хуже" для него не содержателен, вопрос не для этого задается.
Ответ "где-то будет лучше, где-то хуже" для него не содержателен, вопрос не для этого задается.
А это уже проблемы задающего вопрос! Если человек спросит "какой язык программирования самый лучший?", ответ "в зависимости от сферы и контекста применения" для него тоже будет "не содержателен".
"Чтобы задать верный вопрос. надо знать большую часть ответа" (с) Р. Шекли
Не знаю, сколько раз нужно это повторять: понимание низкоуровневых процессов не даёт само по себе понимания высокоуровневых процессов.
А в этой статье ещё хуже. Тут даже адекватного понимания низкоуровневых процессов нет!
То, что базовую модель LLM можно представить в виде математической функции, которая пытается в ходе обучения натянуть себя на точки данных из датасета - это в целом верно. Только применимость этого знания ограничена. Потому что мы даже близко не знаем всех свойств этой функции - ни приближенной функции, которая получена в результате обучения, ни тем более оригинальной функции, которая создала точки датасета - и поэтому не можем делать далеко идущих выводов. Матаппарат до такого не дорос.
Статья же вместо этого громко говорит "ИИ сосать", и всё.
Как-то тут на Хабре был толковый коммент ( жаль потерял ссылку )(это вольная форма, но суть такая же) "если сложить большую, очень большую дровяную печь, то атомная\ядерная реакция там всё равно не начнётся"
Начнётся термоядерная. Всё дело только в масштабах этой печи ;)
Черная дыра будет. Для термоядерной не всякое топливо подходит.
Пыхнуть в любом случае сможет очень ярко. С12 в теории "умеет" в термоядерный синтез.
Так органика-то вполне подходит. Всё что легче железа начнет гореть задолго до окончательного коллапса, мешая последнему.
edit: оу. я буду читать ветку прежде чем писать
Для термоядерной подойдёт большая часть вещества во вселенной. Все, что легче железа имеет нетто положительный энергетический баланс
столько дров еще не выросло
А вы полагаете, что человеческий мозг не применяет этот комплект из "интерполяция, экстраполяция, аппроксимация, ЦПТ, дисперсия, матожидание".
Не знаю как сейчас считает наука, но в прошлом находили много общего между тем, как работает память человека, и тем, как устроена сеть Хопфилда, а она в свою очередь довольно близка к обобщенному ряду Фурье.
Тут возможен закон диалектики в действии о том, что количественные изменения могут перейти в качественные. Правда, я пока не уверен, что современные ИИ-ассистенты достигли такого уровня. По крайней мере, с темы они иногда сбиваются, контекст теряют, неверно иногда обобщают так, что человек так не обобщил бы. И что мне особенно не нравится, могут резко поменять стиль общения - как будто подменили робота. Человек куда более целостный и последовательный в общении.
В общем, поживем - увидим.
На КДПВ что-то сильно обнаженное женское
Где капот?
Мерял шишки - это про Гальтона, родителя евгеники, внука Эразма Дарвина, автора композитной фотографии (ака фоторобот), участника создания матапарата статистики?
Автор молодец. Я слежу на Хабре за бесконечными дискуссиями вокруг ИИ, и мне было непонятно, почему никто не взглянет на него как на обучаемую интерполирующую машину. Некоторые свойства ИИ (например, галлюцинации) становятся довольно наглядными, поскольку свойства интерполирующих функций известны и привычны в вычислительной математике. Это аналогия, но довольно содержательная. Например, кажется довольно очевидным, что ИИ общего назначения будет проигрывать со временем специализированным ИИ именно потому, что тематическую интерполяцию можно сделать более стабильной и точной.
Так интерполяция/экстраполяция - это самый что ни на есть классический взгляд на тему ML. Как бы не из 50-х годов приветик.
В современных ИИ при inference фактически и то, и другое происходит одновременно. Потому что чудовищная размерность - и если входных данных не было в датасете, то какие-то аспекты входных данных оказываются внутри "объёма" датасета, а какие-то выброшены за пределы.
Другое дело что предсказательной мощности у этого взгляда на современных масштабах ML не очень много. Вывести "для хорошей работы в out-of-distribution нужно большой и разносторонний датасет" можно и без него.
Поэтому все эти искусственные интеллекты могут только одно - хорошо (с достаточной точностью) выдать значение искомой (но не известной нам аналитически, формулами) функции только там, где мы и так знаем.
Плохо, что ли? Хорошо! Не надо писать условное "Как пропатчить KDE под FreeBSD?" на форум и ждать, когда тебе напишут "Ты тупой, это же всем известно!". Можно сразу получить то, что "всем известно".
Можно ещё проще сказать - это перемножение вектора на кучу матриц. И простая (но нелинейная) функция после каждого перемножения. Да, всё это хитро организовано, но всего лишь перемножение.
Кому из далёких от ИТ рассказываю - не верят, думают что это всё-таки такая особая программа, очередной Эксель.
Люди перестали удивляться. Мне вот очень удивительно.
То что люди считали неким венцом эволюции, всего лишь интерполяции и аппроксимации символов используемых при общении.
Где громогласные философские статьи? Где лингвистические прорывы? По сути ведь всё оказалось гораздо проще чем казалось.
Оставим в стороне, что языковая модель не может (не могла) посчитать количество букв в слове, или без ошибок играть в шахматы. Они для этого и не предназначены. Видимость диалога - очень даже есть. Вполне осмысленно при взгляде со стороны. Я бы сказал ИИ сейчас "умнее" среднего человека. Только именно среднего, берём в выборку и профессора, и соседа-алкоголика. Ну а про сумму "знаний" и подавно всё отлично. Эдакий "сжатый" интернет.
Например, я не мог 20 лет назад представить что с компьютером можно будет довольно сносно "разговаривать". Внутренне даже посмеивался над теми кто думал "вот когда-нибудь такое придумают, будет как в фильмах", у меня даже теоретических вариантов не было как такое можно было бы сделать в будущем.
Хотя нет, один вариант был. Очень-очень теоретически я мог бы предположить, что подобное создадут используя спайковые сети, где там сигналы "гуляют" по петлям, какие-нибудь альфа, бета волны подобные мозговым образуются, и по неведомому закону получается "мысль". По факту - всё до обидного просто по сути.
Тем более удивительно, что это, так сказать "статическая" сеть (нерекуррентная). Она не размышляет. Просто прогон вектора через матрицы. Получается вообще размышляет не сеть (неважно, плохо или хорошо, но размышляет), а размышление заложено в самой сути правильно организованной информации. Можно даже сказать что размышление это свойство информации.
Калькулятор "умнее" человека?
Да пусть даже глупее человека (какого человека?)
Речь про "удивительность" ИИ в принципе, как явления (не знаю явления из какой области, наверное из информатики, как науки об информации).
И напоминаю, у половины людей IQ меньше 100. Здесь же принято соревноваться в умении задать вопрос на который ИИ даёт неправильный ответ, и на этом основании делать далеко идущие выводы.
А уж по программированию задачки - какой процент людей хотя бы примерно понять такие задачи сможет? Полпроцента? Меньше.
Я не топлю за "умность" ИИ, скорее за "удивительность". В моей понимании - чудо-чудесное. Или открытие нового свойства информации как таковой. После Шеннона, кажется там особых новинок не было.
Речь про "удивительность" ИИ в принципе
Вы такими неопределёнными критериями оперируете... Мне вот удивителен такой артефакт, как зеркало. Освоение электрического тока мне удивительно - я до сих пор до конца не понимаю всех нюансов этого явления, а человечество на этом умудрилось за сотню лет практически новую цивилизацию построить.
Да даже Акинатор в своё время меня удивил куда больше, чем нынешние нейросетки.
И напоминаю, у половины людей IQ меньше 100. Здесь же принято соревноваться в умении задать вопрос на который ИИ даёт неправильный ответ, и на этом основании делать далеко идущие выводы.
Да не принято здесь так. На пикабуру, да))
У меня IQ ~ 160 и я могу подловить нейросеть практически на любом вопросе, просто включив формальную логику и мета-мышление - я могу делать далеко идущие выводы?
UPD: В очередной раз повторю - это не ИИ. Интеллектом тут и пахнет! Нынешние нейросети работают только в связке с человеком - им нужен кто-то, кто будет задавать вопросы. Т.е. рассматривать их в отрыве от "задающего вопросы" - концептуальная ошибка ;)
UPD2: Дополню - нейросети категорически не умеют в геометрию и художественные сферы. Поскольку у них нет образного "мышления", только языковое.
Согласен. Наверное старею. Удивительными кажутся предельно простые вещи. Прогнозирование следующего слова в предложении приводит к осмысленному тексту, да еще и в основном верно отвечающему на вопрос. Что тут удивительного. Это же как дважды два четыре.
Прогнозирование следующего слова в предложении приводит к осмысленному тексту, да еще и в основном верно отвечающему на вопрос
Ну если скормить огромный массив данных перед этим - действительно не удивительно. Вот "с нуля" бы удивило ;)
А щёлканье триггером единичек и нулей приводит к созданию очень сложных визуализаций, да ещё и с нелинейным сюжетом...
P.S. Я не понимаю к чему вы клоните? Вы хотите переубедить всех скептиков и навязать им свою, субъективную точку зрения? "Раз меня это удивляет - должно удивлять и всех остальных" - так что ли?
P.P.S. "Любая, достаточно развитая технология, неотличима от магии" (с) А. Кларк
Теорвер
Всё опять началось в эпоху промышленного производства.
теория вероятностей началась лет на 100 раньше и с азартных игр.
автор, вы случайно не путаете теорию верояnнстей с мат.статистиккой ?
Под капотом у ИИ