Комментарии 29
Странно обвинять LLM в отсутствии интеллекта. Всё равно, что обвинять в этом табуретку. Кто сказал, что он там должен быть? Ах, маркетологи? Ну так, как говорил профессор Стравинский у Булгакова, «Не всему же нужно верить».
LLM это очень простой алгоритм, который продолжает начатый текст на основе статистических закономерностей. Если верить Джону Кармаку, который недавно тоже ударился в их разработку, базовое ядро там измеряется всего тысячами строк. За качество человеческих иллюзий отвечает не алгоритм, а то, что любая тема кем-то когда-то обсуждалась. Как у «Акинатора» )) Так откуда у одних людей наивная уверенность, что усреднение отчётов статметодами может сгенерировать новый отчёт об ошибке, а у других — что первые заслуживают хоть какой-то критики? Автор, вроде, нашёл, где у него кнопка бана )))
Кстати, почему с ними не бороться, как в старом анекдоте: «Ищем телепата на большую зарплату. Обращаться сами знаете куда»? В смысле, сделать публичный стенд, кто его пробил, от того и принимать отчёты? (Я не спец по безопасности).
Никто не знает что такое интеллект и как он работает. Может так же как ллм. Результаты деятельности подозрительно похожи.
Никто не знает, но все им пользуются?!
парадокс
Никто не знает, но все им пользуются?!
Вы сейчас описали примерно 95% современных технологий.
Разработчики, конечно, знают — однако где те разработчики?
Может так же как ллм.
Нет, не может. Для LLM нужны готовые датасеты — тексты, созданные человеком. LLM их миксует, и — какой сюрприз! — смесь внезапно оказывается похожа на тексты, созданные человеком.
Откуда датасеты для интеллекта взяла природа? Добрый боженька написал?
Так и людей тоже целенаправленно обучают на данных, созданных другими людьми. Если из-под гомосапиенса выбить табуретку знаний человеческой цивилизации, то способности гомосапиенса рухнут до уровня, приближенного к обезьяне.
LLM в этом плане, конечно, намного хуже. У них конструктивно нет целого пласта метакогнитивных навыков и способностей. У них нет оценки собственной компетенции, есть проблемы с критическим мышлением, и нет возможности дообучаться "на ходу" на новых данных или на собственных ошибках. Но тот функционал, который у них присутствует, чудовищно похож на таковой в человеческих мозгах.
Даже ошибки, которые совершают LLM, часто схожи с ошибками, которые совершают люди. На классический вопрос про килограмм железа и килограмм пуха, например, многие LLM отвечают неверно - мотивируя свой ответ тем, что железо тяжёлое, а пух лёгкий. А это прям классическая ошибка неформального ассоциативного мышления - все мы в три годика так ошибались.
А также
Если из-под гомосапиенса выбить табуретку знаний человеческой цивилизации, то способности гомосапиенса рухнут до уровня, приближенного к обезьяне.
Вот поэтому и есть мнение, что человек — это симбиоз примата (той самой "тушки", "железа") и мозгового слизня (нейросетки в его черепушке, "софта").
Вбейте в гугл про токенизацию и авторегрессию что ли.
Токенизация - это то, как модель "режет" текст на кусочки для дальнейшего восприятия. И именно токенизация ответственна за то, что модели плохо считают слова или буквы в словах. Модель вообще неспособна "видеть" слова или буквы напрямую, она работает с фрагментами-токенами, поэтому для неё операции над словами и буквами крайне неестественны. Достаточно большие модели с жирными датасетами этим справляются лучше, но маленькие модели и модели на нестандартных языках страдают ужасно.
А авторегрессия значит что модель может только дописывать текст - и неспособна без специальной тренировки и обвеса редактировать ранее написанный текст. Поэтому даже если она может посчитать слова и увидеть, что на два слова вылетела за пределы, она не может переписать небольшой кусочек текста как это сделал бы человек.
Я в курсе всего того, что Вы сказали. Я не к тому, что "я не знаю, как это работает", а к тому, что до "интеллекта" ему ещё как пешком до Луны.
Так и людей тоже целенаправленно обучают на данных, созданных другими людьми.
Это так, но откуда взялись первые знания? И как очень простые знания типа розжига огня превратились в изощрённые знания типа ОТО и КМ? Считается, что такое происходит в ходе эволюции. Мышление — эволюционный процесс. А что есть эволюционного в LLM? НИ-ЧЕ-ГО.
Эта статья - это как писать статью "как работает браузер на компьютере", и затрагивать в ней только переключение затворов в транзисторах.
На низком уровне в LLM всё очень просто и понятно. А на высоком уровне чертовщина, которая разуму человека не поддаётся.
Примерно такими словами Сергей Пантелеевич и завлекал партнёров. Что там у него в его шарашке творится — чертовщина какая-то, которая разуму человека не поддаётся, НО ВЕДЬ ПОДОЗРИТЕЛЬНО РАБОТАЕТ ЖЕ!
«ИИ» это и есть новая пирамида. Альтман уже запросил шесть триллионов (!!!) на завод по производству своих ЛЛМов. По удивительному совпадению, фондовые рынки недавно приупали на шесть триллионов, когда стало понятно, что прежние вложения в «ИИ» отбить не удастся. Что внушает оптимизм, видимо, не пролезет ему финальный аккорд.
Забавно, что эти рассуждения начинаются вполне пристойно, про необходимость заменить редукционизм эмерджентным подходом («как писать статью "как работает браузер на компьютере", и затрагивать в ней только переключение затворов в транзисторах»), а потом внезапно — хренак, и дай денег на чертовщину.
"Чертовщина" - это весьма конкретная техническая задача: создать интеллект, превосходящий человеческий по ключевым характеристикам.
Это в первую очередь R&D, потому что никто конечно не знает, как именно это сделать. Но крайне наивно было бы думать, что в куске желе, ограниченного размерами человеческого черепа и энергопотреблением человеческого тела, будет самая оптимальная конфигурация интеллекта.
В R&D гарантий не бывает. Не факт что оно выстрелит в ближайший год, или в ближайшие сто лет. Но физика не запрещает существование сверхчеловеческого разума. И LLM - это крайне толстый намёк на то, что никакой магии в человеческом мышлении нет.
Помнится, в Средние века немало было вложено в R&D по превращению ртути в золото, потому что никто не знал, как именно это сделать.
Так у нас уже есть на руках пример рабочего интеллекта.
Вопрос - не "возможно ли это". Вопрос - исключительно "как".
Все люди делятся на два вида: тех, кто считает, что ИИ кратно превосходит человеческий интеллект, и тех, кто считает, что ИИ человеческому интеллекту в подмётки не годится.
И те, и другие судят по себе.
Если судить по тебе, то проявлений интеллекта я не вижу вообще. Способность вякать что-то в тему с полным ртом уверенности и нулём понимания - это всё-таки не признак.
Полностью с Вами согласен. Прямо-таки ППКС.
Всё от того, что не все понимают кейсы нейросетей и задачи, которые они решают. Это если бы в момент появления фотоаппаратов первый из покупателей пошёл бы фотографировать рандомное что глаза видят, и пытаться на выставки художников приходить (ну реалистично же).
Хуже использования текстовых нейросетей в качестве базы знаний только попытка заставить их найти паттерны и расшифровать шифры.
На самом деле закономерно. Генерация бредовых, ну или отдалённо похожих на правду, но всё равно бредовых текстов не может иметь никакого полезного применения. Все случаи использования подобных больших языковых моделей лежат по ту сторону морали - спам, чёрный SEO, экономия на техподдержке, мошенничество и т. д.
I в LLM означает Intelligence