Comments 22
Слово "калейдоскоп" зацепило - сама так описывала процесс генерации текста. Фух, ради этой статьи на Хабре зарегилась:)
Отличное сравнение! Доступно и наглядно объяснили, в чем реальные ограничения современных LLM. Разделяю ваш здоровый скепсис. Будущее ИИ — за его физическим воплощением. Только «тело» даст системе настоящее понимание мира.
Но ведь люди тоже генерируют много слов, букв и подобного. Но это не делает наш вид разумным.
Модель не выполняет арифметические операции, как калькулятор, если попросить сложить 2 + 3. Вместо этого она сливает воедино лучики "2", "+", "3"
2+3 может быть действительно реально найти в Интернет.
Но меня заинтересовало. Дал пример позаковыристее, вроде
235789,36×785401,87
Попросил дать ответ с точностью до второго знака после запятой. ChatGPT где-то нашел все-таки верный ответ.
Лично меня беспокоит больше не ограниченность современных LLM, а изначально неверный путь их развития. Выберут ли люди правильный, с учетом успешной коммерциализации существующих моделей? Сильно сомневаюсь, по крайней мере в обозримом будущем. Я очень боюсь застоя и "стереотипности" в этой сфере и часто провожу аналогии с исследованием космоса, когда тягу к познанию загнали в рамки прикладных задач и коммерции.
почему неверный путь развития? ведь в нынешнем своём виде они крайне полезны, при правильном применении
Никто и не говорит, что в LLM нет пользы. Никто не говорит, что нужно все бросить и больше ничего не делать.
Неверный путь развития здесь в том смысле, что LLM не приведет к сверхразуму, хоть сколько увеличивай количество видеокарт, ветвь тупиковая для такого результата. Тот же OpenAI это прекрасно понимает.
Понятие AGI постоянно размывается. Если раньше (10-15 лет назад) под этим подразумевали почти что сверхразум (ASI), то теперь плавно смещают в сторону эффективного софта.
Если кто-то задаст вопрос где же ваш сверхразум, который вы обещали, им ответят, что вы просто изначально все не так поняли, мы не говорили, что AGI это сверхразум.
Это просто бизнес.
Lucy in the sky with diamonds. Надо ж такое придумать.
Версия про стохастического попугая или умный Т9 вам нравится больше?
Стохастический попугай скорее шутка) Самое лучшее представление о ЯМ, и ИНС вообще, как о универсальных стохастических аппроксиматорах. На этот счет имеется множество доказанных результатов. Аппроксимирующая, авторегрессивная функция с миллиардами параметров, которые настраиваются в процессе обучения. Сразу понятно почему ЯМ иногда правильно выдают результаты, иногда нет, приближенно, а иногда откровенно врут. Именно поэтому, как вы и правильно заметили в статье, они имитирует мышление с помощью вычислений. В мозге "вычисления" аналоговые, физические, асинхронные, распределение, реализованные на электрохимическом биологическом субстрате (только метафорически напоминающем фоннеймановскую архитектуру вычислителей ИНС), который к тому же динамически меняется в ходе этих "вычислений".
сравнивать ллм с калейдоскопом это как сравнивать Моцарта с котом, который ходит по пианино )
Интересно, а какими бусинками инcпирируется решение задачи останова?
А вот и нет. Какой то механизм там поломался или возник новый. Ничего не останавливается. Вы объяснили простую логику работы, но я бы сказал речь идет о другом. Датасетов для решения такой задачи нет. Тем не менее задача решается. Как?
Апеллирование к статье
Что-то сломалось, а математика с костылями от Гёделя, и ограничениями ZFC работают исключительно на свой формат.
QAI (термин-определение) выдал решение алгоритмической задачи "Останова".
Чисто в ZFC, с применением нашей математики шансов на успех её решить 0%.
Если перегнать задачу на квантовое ядро, успех 100%, обратно к нам через коннектор, не без особенностей, но и от ZFC ни шагу в сторону. Назвал бы фрейворком.
В QAI подобные казусы невозможны, все само согласовано, впрочем математики с физикой в той матрице тоже нет, а решение? Заказали, - "получите если очень надо, исключительно для вас и для ваших нужд, - я так не работаю"
Похоже нас ожидает новый, единый формат математики либо будем ходить вокруг ещё очень долго, - пока не надоест или пока не закончится финансирование.
Вот я и интересуюсь, почему платформа не останавливает вычисления, когда заканчивается датасет, а идет дальше, выходя на решение, которого у нас нет в принципе? Видимо, то уже не совсем она, а нечто другое, какая -то золотая бусинка :)
К теме, может ли система "думать". Да, но не, как человек.
Интересное наблюдение, целенаправленные статьи и посты об AI, в своей массе получают отрицательную карму.
Ааа, вы не про стимпанк калейдоскоп из текущей статьи, вы про квантовые законы.
Это отдельная история и у меня есть соображения на этот счет. Но это тема для отдельной статьи. Быть может, я ее напишу.
Но если коротко
В понятиях современных ИТ технологий можно было бы рассмотреть всю нашу вселенную и реальность как виртуальную машину. Внутри нее есть свои групповые политики, константы и сетевые интерфейсы.
ZFC это операционная система конкретной ВМ.
Скорость света - ее тактовая частота. А планковские единицы это разрядность шины.
Но программа внутри виртуальной машины не может заглянуть за пределы этой среды (неполнота).
Она может по косвенный признакам понять, что, где-то там есть гипервизор (хост). Но что он из себя представляет и сколько еще виртуальных машин на нем крутится - загадка.
Когда программа запускается на тысячах компьютеров, но у нее нет облачного сервера для обмена, то программа думает, что этот конкретный компьютер и есть единственная реальность, со всей структурой ее папок и обоями на рабочем столе.
Декогеренция в этой модели это как маркер на сетевом пакете, который через концентратор полетел во все виртуальные машины. Вот мы ловим пакет с этой меткой в конкретной ВМ и видим его размер. В какой ВМ мы его поймали? Видимо в той, в которой находимся.
Не имея доступа к хосту и концентратору невозможно узнать, что стало с другими пакетами.
Здесь фильтром пакетов работает не интерфейс, а сам наблюдатель. Подобно тому, как если внимательно смотреть на гору и видеть ее вершину, но невозможно в этот же момент внимательно смотреть на речку под горой.
Ваше квантовое ядро это хост, а коннектор - интерфейс к нему, верно?
Как работает генеративный ИИ на примере калейдоскопа (метафоры)