Комментарии 80
Вас слушают, не нравится концепция LLM - предлагайте свою.
В статье полугодовой давности я предлагал один из альтернативных подходов, над которым работаю. Но пока это больше концепция, чем модель. Я уверен, что многие, как и я, ищут альтернативные подходы и верю, что однажды найдут и кто-то опубликует статью, которая ляжет в основу настоящего AGI. По другому просто не может быть, ведь для нас нет ничего невозможного, особенно когда мы работаем вместе и ради великой цели.
А если товарищи из поднебесной найдут первыми, думаете опубликуют, или попытаются без лишнего шума ускакать вперед за горизонт?
Знаете, можно было бы предположить такой вариант, но меня не оставляет ощущение некоего глобального баланса в мире. Многие значимые изобретения делались разными людьми независимо друг от друга примерно в одно и тоже время.
Так наука развивается во многом благодаря тому, что ею заняты разные люди.
И благодаря тому, что имеет место обмен знаниями и данными,
методиками обработки этих данных.
Почему мне кажется тупиковым вариант "ускакать вперед за горизонт".
Какой цели? Уничтожить человечество?
Почему такие фобии? Перед нами целая вселенная, нужно осваивать ближайшие планеты, выходить за пределы Солнечной системы. Задач на ближайшие столетия хватит и людям и AGI. К тому же я почти уверен, что с развитием нейроинтерфейсов, AGI станет частью нашего разума, расширив его границы и возможности. С таким апгрейдом человек не будет уступать машинам, оставаясь ядром прогресса
Альтернативу LLM предложили Ян Лекун и Фей-Фей Ли: Концепция пространственного ИИ https://habr.com/ru/articles/862770/
Ян Лекун призвал разработчиков не тратить время на LLM: https://hightech.plus/2024/05/24/yan-lekun-prizval-razrabotchikov-ne-tratit-vremya-na-byam
Вот великолепный обзор на эти ваши LLM! Вы выразили мои мысли!
Нейрон в "мозгу" искусственного разумного существа не обязан копировать нейрон человека. Он может быть проще, но работать на порядки быстрее.
Тогда зачем его было изобретать? У нас уже был транзистор - еще проще и на многие порядки быстрее) я думаю все не так просто, свойство эмерджентности никто не отменял. И биологический нейрон с точки зрения баланса сложности, функционального назначения и условий применения является минимальной достаточной единицей. Иначе бы эволюция давно бы создала что-то проще, но нет.
Иначе бы эволюция давно бы создала что-то проще, но нет.
Эволюция не смогла создать всего лишь колесо без того чтобы предварительно создать сапиенса, который уже это колесо и изобрел. Так и в этой тематике, массово скупаем китайские сверхъяркие фонарики на WB и идем при солнечном свете искать того сапиенса, который может типа такого "колеса" изобрести в обсуждаемой области.
А может потому, что колесо отнюдь не совершенство творения? Ведь в пару к нему нужно изобретать дорогу. Без дорог колесо далеко не уедет. А дороги еще нужно чистить и ремонтировать. Тут неожиданно подрядчик нарисуется и чиновник, распределяющий контракты на это. И все это будет происходить под дружный хохот братьев наших меньших, которые при помощи примитивных конечностей лезут на деревья, скачут по скалам, роют норы и делают ещё много чего, недоступного "совершенному" колесу)
Ну например шины низкого давления у вездеходов едут буквально везде. И по дороге, и по лесу, и по болоту, и даже по воде гребут, хоть и не быстро. Природе тяжело создать колесо потому что к любому колесу в комплекте идут подшипники, система смазки и сальники которые скользят но защищают подшипники. А эту систему трудно создать эволюционным путем в отличии от постепенно растущих и меняющихся конечностей.
В любом случае вся биологическая эволюция это нагромождение костылей и оптимизаций. Поэтому биологические системы локально очень оптимальны. Но глобально есть другие оптимумы.
Колесо позволяет передвигаться на максимальные расстояния при минимальных затратах энергии. Животные, вынужденные передвигаться на большие расстояния для поиска пищи на 4 конечностях, тратят энергии чуть меньше, чем получают с этой пищей, поэтому всегда на грани выживания.
Животные, вынужденные передвигаться на большие расстояния для поиска пищи на 4 конечностях, тратят энергии чуть меньше, чем получают с этой пищей, поэтому всегда на грани выживания.
А вы думаете, животные на колесах были бы оптимальнее? Нет, их просто было бы больше. “На грани выживания” это просто означает эффективное использование кормовой базы.
Эволюция не стала "изобретать" колеса, она изобрела крылья
Но, заметьте, в развитии робототехники более прогрессивными и совершенными являются системы, передвигающиеся на конечностях, а не на колесах. ) И именно ими мы восхищаемся куда больше, чем их колесными или гусеничными "собратьями"
Прогрессивными и совершенными мы их видим потому, что для управления конечностями нужны выч. ресурсы и хитрое ПО. Это появилось относительно недавно, поэтому мы и видим этих роботов как нечто новое и совершенное, человеку свойственно восхищаться новинками. И у этого подхода конечно есть свои плюсы, собственно ради них и разрабатываются все эти бегающие роботы.
Однако смею заметить - самолеты не машут крыльями как птицы. И при всех недостатках колеса колесный транспорт - самый распространенный в мире, и будет таковым оставаться и далее. Даже в том случае, если у каждого человека будет возможность создать\приобрести нечто ходящее или бегающее на конечностях (тут аналогия с коптерами). Шагающий велосипед - штука забавная, но не более того, шагающие экскаваторы и без вот этих всех наворотов многие десятилетия назад сделали, а вот шагающих поездов не появится в принципе.
Самолёты - да, крыльями не машут.
Хотя-бы потому, что реализовать технически машущее крыло гораздо сложнее получается, чем то-же неподвижное крыло.
Но пропеллер вертолёта - это и есть вращающееся крыло, что создаёт подъёмную силу.
Да, эта сила (итоговая) очень сильно зависит от плотности газовой среды (почему с созданием роботов-вертолётов для Марса - есть сложности).
Машущее крыло - и сложнее и проигрывает в скорости. Разве что в КПД выигрыш, но он не настолько значительный как может показаться. Просто у природы не было другого способа создать что-то летающее. Различных видов махолетов тоже в свое время понаделали, вот только они нафиг никому не нужны оказались - среди больших штук залетали самолеты, а среди маленьких штук - коптеры.
Пропеллер вертолета - конечно вращающееся крыло. Но он ими не машет, как это делают птицы - для динамического изменения углов атаки там есть автомат перекоса но и только. А так это технически то же самое крыло самолета, винты и пропеллеры - тоже своего рода крылья (опорные плоскости). И даже лопатки турбин. Принцип у них одинаковый - выведен еще Архимедом.
Посмотрите китайских робопсов, у которых колеса на конечностях. Очень интересный и перспективный гибрид
Может быть потому, что эволюция постоянно прогрессирует? Можно ли считать, что полет человека в космос это прогресс эволюции? Полагать, что все самое лучшее - это то, что давно было придумано природой, это ошибка, ведь эволюция определяется средой, а в нынешнее время человек адаптирует среду под себя, ставя новые проблемы, предлагая решения, которые для естественной среды не эффективны. Как минимум потому, что нейросеть может знать такой объем информации, который ни один человек не осилит за всю жизнь.
Только, пока-что, LLM не генерит научных статей. Они изначально заточены под создание предложений, что весьма походят на предложения, имевшиеся в обучающей выборке. А чтобы создать нечто новое, надо научиться моделировать. Да, строго говоря, той-же комбинаторикой - можно получить грамотно построенные предложения. Другой вопрос - каков будет выход годных (предложений).
Дело сложнее. Тексты в больших объёмах содержат данные отраженного мира и могут считаться частичными моделями для некоторых явлений. Анализ таких данных теоретически должен позволять получить важную информацию о некоторых явлениях. Например, рассуждение из смежной темы: личность Шекспира, похоже, установлена несколько лет назад.Тексты (в том числе и письма) гипотетических Шекспиров оцифрованы и их можно сравнить (используя различные метрики, вычислив некоторые инварианты, особенности и т.д.) и установить принадлежность конкретному автору. Так вот, мы можем обнаружить с помощью нейросетки необходимые нам инварианты для конкретных явлений и, следовательно, глубже познать их.
Поставим вопрос по другому. Можно ли превзойти Шекспира, изучая только тексты Шекспира?
Интересно, то что вы не верите в скорый AGI, это оптимизм или пессимизм?
Шекспир один, а авторов текстов миллионы. Что вы будете есть, если нужны будут только "Шекспиры" в любой области, так как все по-проще делают нейросетевые агенты? Уверены, что гениальность в значимой области у вас есть? А что насчёт конкурентов? У всех соседей или прохожих есть гениальность? Или стоит обсудить задачи не только уровня Шекспира?
Уверен, что во времена промышленной революции многие тоже задавались этим вопросом, когда станки заменяли ручной труд ремесленника. Да, сам процесс перехода был болезненным для многих, поскольку ломал привычный уклад их жизни, делал ненужной их профессию. Но люди привыкли, адаптировались и стали заниматься более "высокоуровневыми" задачами. Здесь тоже самое. В более сжатом виде вы можете посмотреть это на примере эволюции программирования, когда от уровня машинных кодов перешли к ассемблеру, потом появились высокоуровневые языки, объекты, библиотеки и сейчас мы становимся свидетелями перехода к lowcode и nocode системам программирования. И на каждом таком переходе ломались копья с обеих сторон, звучала критика, но прогресс шел, в том числе и благодаря этому противостоянию. Я думаю через несколько лет мы увидим совершенно новый уровень программирования. То, что раньше делалось отделом разработчиков, будет делать один за тоже время. Станет ли меньше задач? Думаю что нет, их станет даже больше и они будут другими. Кто-то адаптируется быстро к новым принципам, кто-то консервативно будет критиковать новые подходы, но это неизбежность.
Я думаю через несколько лет мы увидим совершенно новый уровень программирования.
Конечно! Такого низкого уровня макак ещё не было!
Вот возьмём мобильную разработку. Программы из трёх кнопок с браузером внутри по 200 - 400 MB!
Вы знаете, в свое время я был знаком с одним разработчиком, который был фанатом ассемблера и он тоже возмущался, что скомпилированная программа, написанная на С, весит пару сотен килобайт, а его код на ассемблере, с тем же функционалом укладывается в 1КБ и еще работает в несколько раз быстрее. Так что история циклична)
В программу следующего уровня будет входить комплект из обученной LLM, детально расписанного промта к ней, и мелкого на их фоне пользовательского приложения в 200-400 Мб (с тремя условными кнопками).
О нет, процесс не был "болезненным". Это были страдания для миллионов, а для других миллионов голодная смерть.
Конечно через сто лет уровень жизни половины мира стал выше (хотя в Индии, например, ниже, но люди в этом виноваты больше, чем станки). Вот только никто из тех, кто ощутил на себе проблемы вначале, не дожил до времён расцвета. Их внуки да, им стало жить лучше. И, разумеется, часть людей ощущала преимущества всё это время. Кто получал основную часть выгоды.
Выиграло ли человечество в целом? Да. Но почти умерли тонкие ремесла, всё делают на станках. Современные "станки" отвечают за умственное "ремесло", интересно, будут ли через два поколения думать самостоятельно? В виде хобби, наверное, не более того.
Закономерности найти можно и что-то свое написать... Кроме того, сейчас начали анализировать видео (т.е. изучать то, что "видел Шекспир"). А если учесть поступающие данные от роботов, автомобилей, беспилотников? А если прикрутить https://www.wolframalpha.com/ или аналоги (попытки есть)?
Можно прикручивать бесконечно источники данных, но это не решает системных проблем - ограниченная способность к выстраиванию системы знаний, абстрагирования и манипулирования ими. Любая нестандартная задача, не имеющая прототипов в опыте нашей цивилизации ставит LLM в тупик. Но это их архитектурная проблема, которую частично пытаются решить "костылями" в виде "думающих" моделей, но фактически это не сильно помогает. Пока не будет радикально новой архитектуры (и скорее всего не на базе существующих искусственных НС), значительного прогресса мы не увидим.
Прогресс трудно не заметить: сейчас на подходе O3 (решение олимпиадных задач); задача о сворачивании белков в глобулы; придумали способы ускорения обучения роботов (а это куча обратных связей); обработка видео и создание видеороликов; создание музыкальных произведений; подключение интегрированных сред типа Wolfram Mathematica; доказательство сотен теорем и нахождение десятков новых...
Вы знаете, когда я слушаю шедевр вроде Nothing Else Matters (можете поставить тут свой пример), где каждая нота проникает в душу, выворачивает ее наизнанку, и заставляет гордиться тем, что это создано человеком, я понимаю, что мы пока не превзошли себя. Да, есть прогресс, я этого не отрицаю и никто не отрицает. Исследователи делают очень большую работу, каждый день, это непростой труд и я верю, что однажды... но пока, нет. Не стоит наделять то, что достигнуто, тем, чем оно не является. Переоценка очень опасна завышенными ожиданиями и разочарованием, а разочарование сменится отрицанием и неприятием. Этого не должно произойти. Нужно смотреть трезво и рационально, видеть недостатки и пути к дальнейшему развитию. Это общее дело всего человечества. И мне не нравится, когда кто-то вроде OpenAI (вот ведь насмешка: Open), делает это закрытым и инструментом для избранных. История свидетельствует, что "избранность" плохо заканчивается.
В закрытость играют на некотором уровне все...это легко предусматривалось, поскольку все связано с военными разработками.. и передовыми технологиями. Кластеризацию стран по отношению к Agi также легко вывести. А если философски, то тайны будут и при коммунизме, поскольку мир сложный, а цена ошибок растёт с глубиной знания (детям не дают знание о ядах и не дают порулить самолётом, ядерным реактором...). Наверное, принцип такой: Поиск, накопление, хранение истин осуществляются людьми, достигшими определенного уровня развития, а передача истин данного уровня осуществляется тем, чей уровень уже достаточен для их использования во благо. С первым принципом согласуются: наличие и охрана тайн (тайны будут всегда, поскольку мир сложный, а цена ошибок растет с глубиной знаний), порядок доступа к ним в зависимости от уровня развития и специализации; наказания за преднамеренное искажение истин, ограничения, связанные с возможностью распространения искаженной информации.
Насчёт решения олимпиадных задач:
это элементарно решается более глубокими знаниями (у решающего).
Сворачивание белков в глобулы:
опять-же, это - нахождение локальных минимумов на n-мерной поверхности потенциальной энергии.
Методы расчёта есть разные (полуэмпирические и неэмпирические, ab initio). Самое значимое их различие (разных методов) - это разные требуемые вычислительные ресурсы, необходимые для достаточно точного просчёта энергии конкретного конформера (вращательного изомера).
Ускорение обучения: это, своего рода, оптимизация. Только оптимизация - тоже бывает разной.
Как часто человеку приходится решать "нестандартные задачи, не имеющие прототипов в опыте нашей цивилизации"? Думаю, сначала LLM научат решать повседневные задачи, ежедневно решаемые миллионами людей.
Можно ли превзойти Шекспира, изучая только тексты Шекспира?
“Шекспир" это понятие, которое можно рассматривать только в контексте культуры. Шекспир — это не критерий мастерства, это критерий признания, как черный квадрат малевича.
Ну, т.е. причина известности энштейна — придуманные им теории, которые описывают мир гораздо лучше других. Тут все просто. Сможет ии сделать подобное — значит как минимум она равна энштейну.
Приична известности спортсменов — это то, что находясь в ограничениях человеческого тела, они смогли показать результат лучше всех. Рассматривать ии тут смысла нет, потому что несложно сделать машину, которая будет лучше человека в каком-нибудь аспекте, типа дальности движения, скорости, высоте прыжка или точности стрельбы.
Можно ли создать второго ии-шекспира и второго ии-малевича? Нет, их место занято ими самими. Может ли ИИ написать текст, который займет через сто лет в умах людей место, подобное ромео и джульетте? Не вижу принципиальных проблем.
Безотносительно к тупику моделей.
Главные пробелемы обозначенные в статье является проблемами буквально любого подхода к ИИ, включая наш мозг. Он тоже дороговат. И дефицит качественных обучающих курсов прослеживается.
Самосознание, то бишь осознание своего собственного Я невозможно без понимания понятия Он искусственным интеллектом. А это значит нам нужна группа ИИ. Когнитивные функции, или как ещё говорят духовные качества, это завуалированные модели поведения особи в группе.
Спасибо было интересно. Но на мой взгляд вы зря путаете сознание и интеллект. С моей точки зрения сознание это умение осознавать себя. Понимать что вот он я а вот он мир вокруг, ну и так далее: вот существа моего вида, вот убежище, вот еда, вот враги... Сознание - важная функция мозга как системы управления животным. А интеллект это свойство решать нестандартные задачи нестандартными методами. Как на уровне расуждений, так и на уровне манипуляции конечностями. Возникает у некотрых животных, в том числе у человека. На мой взгляд интеллект, в частности AGI возможен без сознания вовсе. Просто в природе он возникает сильно после сознания.
А что касается LLM - это видимо важный шаг для работы с малоструктурированными данными понятными человеку, а именно текстами. Но для создания AGI в архитектуре чего-то не хватает. Это видно по самому дефициту данных. Человек может научиться писать хорошие тексты изучив лишь малую часть того что написало человечество. В том числе и потому что умеет извлекать обобщенные практики из текстов. А LLM на данном этапе это не особо умеют. Чего-то не так в архитектуре. Например законы арифметики легко умещаются в небольшой книге и человек ее осваивает решив несколько тысяч задач. А LLM не хватает всех учебников мира чтобы научиться считать нативно не привлекая внешний интерфейс к "калькулятору". Грубо говоря она читает, воспроизводит, но не понимает прочитанного, как бездельник-троечник.
Не знаю кто стоит за этим изданием, но как по мне, им стоит подумать, чтобы комментарии такого уровня появлялись не совсем публично, кто его знает какие боты лазают по комментариям и какие выводы делают своими нейросетевыми мозгами.
Спасибо за содержательный комментарий! Я ни в коем случае не путаю эти понятия. Интеллект - это инструмент, а сознание субъективное восприятие мира, позволяющее взаимодействовать, оценивать результат и принимать решения. Без сознания интеллект бесполезен, как молоток, лежащий на полке, поскольку лишен мотивации и системы оценки.
Для создания AGI в архитектуре ИИ как раз не хватает сознания.
Человеческое обучение более эффективно прежде всего тем, что всю поступающую информацию он пропускает через призму своего восприятия, сознания, формируя оценки и мировоззрение. Языковые модели этого не могут делать - они принимают всю информацию как есть и просто ее усредняют по весам модели. Поэтому у них нет своего мнения ни по какому вопросу и отсутствует мировоззрение как таковое. Точнее у них есть любое мнение, которое вы захотите слышать, она с радостью (хотя это странный эпитет по отношению к LLM )) ) вам его озвучит и убедительно обоснует. Если заметили, они вообще склонны принимать точку зрения вопрошающего и говорить то, что человек хочет слышать, а не то, что нужно. Но так уж устроена архитектура внимания.
Без сознания, без внутренней системы оценок, невозможна никакая интуиция, а значит невозможно исследование нового. В целом это отдельная тема, больше на стыке философии и когнитивной психологии, об этом много споров и мнений у исследователей. Но в чем я не сомневаюсь, так это в том, что они в итоге доберутся до истины, а вот существующие LLM - никогда.
Возможно мы по разному воспринимаем эти понятия возможно это мое конгитивное искажение, но я бы сказал что интеллект это инструмент который решает задачи а сознание это некий бесконечный цикл который постоянно использует интеллект и грузит его задачами, и не только его. Сознание нужно живым организмам чтобы поддерживать жизнедеятельность. В этом плане интеллект (искуственный) может обрабатывать информацию и дообучаться по запросу. И некая модель мира у него внутри будет. Еще и с историей какие логические связи откуда взялись чем подтверждены и чему противоречат. И он сможет решать задачи, проектировать механизмы, возможно даже что-то производить подконтрольных производственных линиях. Несли вопросов не задавать и задач не ставить он будет бездействовать а не думать о смысле жизни или играть в игры. И вопросы типа кто он, и зачем он существует и какая у него цель в жизни он ставить никогда не будет просто потому что это не предусмотрено конструкцией.
Поэтому у них нет своего мнения ни по какому вопросу и отсутствует мировоззрение как таковое.
Это и довольно большой минус человеков. Когда у человека есть непрошибаемое мнение, то он не может мыслить вне его рамок
Хотя человек, имея достаточно знаний и информации, ее решит.
Решите задачу термояда, голода и AGI, пожалуйста.
А разве не этими задачами сейчас мы и занимаемся? ) Запаситесь терпением, все будет в свое время.
Я уверен, что нет, вы этими задачами не занимаетесь. Вы интуитивно ассоциируете себя с человечеством, представители которого могут решать неясные задачи на фронтире науки и сравниваете их с нейросетями, которые, по вашим словам, не могут. Но что, если вы тоже не можете? В чем же тогда ваше преимущество перед нейросетями?
Даже фермер, выращивающий пшеницу и швея на фабрике этим занимаются, чтобы ученый, находящийся на фронтире науки, не думал, где ему взять хлеба и что одеть. Мы имеем ценность именно как человечество. Каждый человек по отдельности слаб и неспособен на что-то, кроме выживания. По другому бывает только в сценариях Голливуда.
Термояд с положительным выходом уже создан, как читал, в декабре 2024г. об этом сообщала группа исследователей из одного из американских университетов.
Теперь у них есть следующая задача: повышение этого выхода до больших значений (а пока - это единицы процентов).
Недавно следите за темой, да? «Положительный» выход достигают каждый год уже много лет. Каждый раз обходят всё новое ограничение. Но положительный он каждый раз условно, там ещё десятки шагов до настоящего термояда.
Но тонкость тут в том, что практически никто никакого вклада в термояд сделать не сможет, тема слишком сложная. Буквально тысячи людей на фронтире проблемы. Набрать знания - 20 лет и только если человек невероятно способный. Иначе учись, не учись, до фронтира не доберешься.
99,99% людей по-проще и никаких недоступных нейросетям проблем не решают.
Господа прикладники - ваш выход!
В прикладном смысле оказалось что не нужно понимать что такое сознание, и соответственно оказалось не нужным искать его определение. Алгоритмы работают: картинки классифицируются, задачки спортивного программирования решаются, сгенерированный текст предпочитается оценщиками чаще. "Без понимания работы сознания невозможно..." - сомнительное утверждение, потому что по факту оказывается возможно и задачи решаются одна за другой.
Язык, вы пишете, это протокол передачи информации. В ллм важно другое, в ллм язык это способ моделирования мира. Ллм предполагает возможные продолжения текста и выбирает то что улучшает метрику. Это срабатывает как запрос к модели мира и поиск таких последовательностей которые улучшают метрику.
Даже если согласиться с тем что ллм ограничены человеческим стилем мышления потому что на нем они натренированы, то они смогут превзойти человека за счет масштабирования. Вы не можете иметь голову в 2 раза больше, а ллм может и в 2 и 2e20 раз больше. Такой план: научиться на текстах людей -> машстабировать -> спросить ИИ как сделать ИИ лучше -> повторить.
Для того, чтобы превзойти человека по определенным метрикам не обязательно даже изобретать ЛЛМ. Обычный компьютер, может многое, что недоступно человеку - быстрее считает, быстрее реагирует, быстрее и точнее выполняет многие функции. Собственно в этом его задача и состоит - упрощать, ускорять, улучшать. ЛЛМ в данном ряду просто продолжение задач автоматизации, просто более высокого уровня. Это и есть прикладной уровень. Проблема в том, что ЛЛМ даже со всеми знаниями человечества не может открыть новых законов физики, математики или химии. На той самой грани, где пузырь нашей реальности соприкасается с неизведанным - они бессильны. Внутри этого пузыря они могут многое, но проникнуть за грань пока неспособны. В этом и задача их на данном этапе - освободить человеческие ресурсы внутри, взяв на себя интеллектуальную рутину, чтобы больше людей могли заниматься фундаментальными вопросами.
Погуглите например "llm rediscover laws of physics" и да, находятся работы типа https://arxiv.org/abs/2202.02306 - МЛ переоткрыл законы гравитации. Там есть и другие интересные работы где всякие старые законы успешно переоткрываются.
Да, сейчас люди в этих работах предподготавливают данные или создают символические языки, и мл в пассивном режиме находят решения. Активный ИИ в виде агентов еще только начинает создаваться, но понятно что он будет строить гипотезы, ставить эксперименты, и выполнять всю работу ученого. Какие у вас концептуальные возражения кроме "не может", "невозможно", "неспособны"?
Попробуйте дайте определение "неизведанного". Например в шахматах бот учится играть с нуля и для него любая шахматная идея это неизведанное. Бот учится водить машину - начинает со случайного блуждания и для него все неизведанное, вероятно внутри себя нейроны переоткрывают концепции скорости, инерции, вращения итп - потому что эти высокоуровневые концепции сильно уменьшают требования к запоминанию данных.
Да, я давно читал это исследование, но во-первых, "открытие" сделала не ЛЛМ (а сейчас речь больше о них), а просто нейросетевая модель. Во-вторых, в нее загрузили данные о движении тел в Солнечной системе за 30 лет. И если бы она не аппроксимировала эти данные в закон тяготения, то я бы очень сильно удивился. Причем больше криворукости программистов, которые не смогли достичь нужного результата, имея такой инструмент и такой набор данных. Подобных "открытий" достаточно много, но все они хорошо ложатся в канву аппроксимации большого набора исходных данных, в которых человеку пришлось бы разбираться достаточно долго, вследствие ограниченности пропускной способности интерфейса взаимодействия с внешним миром, но в итоге разобрался бы. Это как раз тот самый случай автоматизации интеллектуальной рутины - нужное и полезное направление. Другой вопрос в том, что было бы, если модели дали данные на уровне их доступности во времена Ньютона. Думаю результат был бы не столь впечатляющим.
Да, если говорить о генетических алгоритмах, то у них есть определенные перспективы и прежде всего встроенная система оценки, которая случайные блуждания превращает в направленное движение. Это та самая функция, которой так не хватает LLM. Но проблема в том, что генетический алгоритм по сути достаточно прост и работает в пространстве достаточно ограниченной мерности. Масштабировать его до масштабов LLM та еще задача. Да и нужно ли? Вычислительные мощности для такой системы нужны просто чудовищные. Хотя может именно поэтому Альтман собрался осваивать полтриллиона долларов? ) Подождем 4 года.
А почему не может? Есть какие-то фундаментальные ограничения? Пока просто все ограничивают reasoning по длительности, но вполне возможно что и ИИ в ближайшие пару лет сможет создавать новые теории и придумывать эксперименты для их подтверждения/опровержения.
Пока ведь смоделировали только рассуждения, еще не сделали внутренний диалог и внутреннего критика )
Для этого необходимо выдвинуть гипотезу о том, что человечеству неизвестно. Для LLM это потенциальный барьер, если хотите. Ни одного примера подобного я не встречал. А если бы такой был, это было бы главной новостью. А то, что подобные попытки были, я более чем уверен, потому как сам пытался добиться чего-то подобного, но увы... на выходе только перекомпиляция того, что уже известно. И это при том, что по факту, в большие LLM загружена вся доступная научная информация.
Ну смотрите - все таки задачи - необходимость каких-то теорий - ставит человек. Например - гипотеза о том, что такое темная материя и как ее определить.
Как это обычно происходит - человек, размышляя об этом, предложит некоторое объяснение темной материи и скажет "если это так - то на ускорителе в таком то районе энергий должна быть частица" (Пример от балды)
Я вполне допускаю что в ближайшие годы LLM можно будет запустить на такие рассуждения круглосуточно, да еще и вручить ей Wolfram Alpha и она предложит гипотезу и методы ее проверки и следствия из гипотезы.
Просто ведь нет никаких абстрактных открытый, это все решения задач/проблем или попытки что-то объяснить, из которых получаются интересные следствия.
Я тут на днях беседовал с LLM про темную энергию, очень познавательно получилось - мне объяснили почему это не может быть формой излучения черных дыр, которое не взаимодействует с нашей материей чтобы ничего не нарушать из существующих законов.
ЛЛМ даже со всеми знаниями человечества не может открыть новых законов физики, математики или химии
А вы можете? Просто представьте ситуацию, когда LLM смогут решать любую задачу, кроме открытия неизвестных законов. Что делать миллиардам людей?
В ллм важно другое, в ллм язык это способ моделирования мира. Ллм предполагает возможные продолжения текста и выбирает то что улучшает метрику. Это срабатывает как запрос к модели мира и поиск таких последовательностей которые улучшают метрику.
Да, но сразу же возникает вопрос, а насколько хорошо в естественном языке смоделирован мир независимым (от органов чувств) образом? Все таки сам язык сильно контекстно зависим, одно и тоже слово/фраза интерпретируется по разному в разных ситуациях, и если для человека контекст зачастую понятен и без словесных объяснений за счет информации от органов чувств, то ллм должны выводить контекст из предыдущих слов, которые тоже контекстно зависимы. В итоге, как мне кажется всегда будет принципиально неустранимое сомнение в том что модель мира ллм действительно соответствует человеческой модели мира.
Звучит разумно, да, кажется ограничение есть. Но вы правильно пишете "человеческой модели мира". Может быть ллм придется расширить язык или вообще уйти от языка и мыслить последовательностями из эмбеддингов (я видел уже такие работы). Вообще язык здесь выступает как механизм иерархии: одним словом можно выразить сложный концепт, а можно этот концепт детально описать. Используя высокоуровневые концепты мы сокращаем пространство перебора. Скорее всего вы правы что сверхинтеллект не будет думать на человеческом языке потому что он будет им сильно ограничен, вероятно построит свои иерархии, более точные. И вполне вероятно сообщения будут гораздо больше - потому что человек не может рассказать гигабайт слов другому человеку и у нас есть такое естественное ограничение, а машине легко
Но llm не может ведь сама "уйти от языка" если ее обучают на самом этом языке. Так что по идее единственный выход это обучать нейросеть также как человека, на данных от органов чувств
Может уйти, внутренние представления сети могут быть какими угодно. Вот я нашел что-то похожее (не вчитывался так что может это и пример мимо) - https://arxiv.org/pdf/2410.13640
Более-менее нормальным LLM пока всего 3 года, а мы уже хотим решения всех и вся задач. Понемногу они возьмут на себя огромное количество задач, но и большинству профессиональных специалистов придётся перестроить свою работу, отведя значительную часть времени на управление такими моделями: раздачу заданий, и проверку их выполнения.
Спасибо, очень интересно было прочесть вашу точку зрения!
Вы правильно написали, llm это ПОСЛЕДОВАТЕЛЬНАЯ модель. Так как информация формирует последовательный граф со связями (речь разделенная паузами). Но например зрение это пространственная модель, которая позволяет связывать последовательные цепочки между собой. LLM частично реализовала последовательную модель, но не способна связывать две последовательные модели, чтобы находить закономерности. Поэтому llm не может связать закономерности в химии с закономерностями в физике. Или даже в рамках программирования. Поэтому ограничения LLM, это архитектурные ограничения. Объем данных, какие то дополнения - принципиально проблемы не исправят.
Здесь надо сочетание как последовательной модели llm, так и связь с пространственной моделью. И нет, это не решит проблему AGI, но без этого шага llm на новый уровень возможности не перейдет.
Но кое что в llm сейчас мелькает в плане прогресса, это разделение механизма внимания на длинные и короткие маршруты. Как это делает лобная доля (тот же механизм внимания, только больше), переключаясь между локальными и глобальными маршрутами. Локальные в пределах одной зоны мозга (например для речи это в основном эмоциональные фразы), и глобальные которые длинные и могут проходить через несколько зон мозга. Но это пока в зародыше у llm, и лишь позволит снизить ресурсы и ускорить, но принципиально проблему не решит.
Грубо есть 3 варианта:
1. на текущей "базе" (*) выжать из моделей ещё что-то дополнительно не удастся.
2. на текущей "базе" удастся добиться качественного скачка (**)
3. будет какой-то дополнительный фундаментальный (сравнимый скажем с аттеншном) прорыв в построении нейросетей.
Какой из вариантов 1-3 выбирать - собственно вопрос веры и каких-либо содержательных аргументов в любую сторону я не видел.
*) С момента открытия механизма Attention ( https://arxiv.org/abs/1706.03762 ) прошло 7 лет и х30 капитализации nVidia. И уже на этой базе модели "почти думают".
**) Очевидно, что сейчас поле нейросетей находится на стадии "застолбить поляну", т.е. показать результаты любой ценой. А за efficiency (скажем за напрашивающийся прунинг аттеншна) - ещё толком и не принимались.
Подождите, значит человек может читать книги, общаться с наставниками и выдать новую книгу\закон\формулу, а LLM так нельзя?
Субъективный взгляд на перспективы Больших Языковых Моделей