Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 10
Автор, очевидно, не переоткрывает "нейро-символьную систему" Ньюэлла и Саймона, поскольку эта система - что-то вроде платоновских эйдосов, умозрительный конструкт в чистом виде.
Топологический анализ данных имеет дело, напротив, со вполне реальным математическим объектом, типа треугольника или сферы. Только вместо геометрических длин и радиусов речь идёт о каких-то других численных характеристиках.
Статья, кторая мне поначалу показалась нейрослопом, на самом деле - рефлексия по поводу мутного потока псевдонаучной ахинеи на модную тему с Arxiv.
Вместо машинной психиатрии лучше присмотритесь к машинной офтальмологии. Как известно, человек получает 90% информации об окружающем мире зрением, что как бы намекает. Плюс физическая картина мира строится на зрительных образах. В учебнике физики за 6 класс много картинок. И т.д.
Давайте внесём абсолютную ясность:
Ньюэлл и Саймон - основоположники символического подхода к ИИ и теории физической символической системы (Physical Symbol System Hypothesis). Их работы - это фундамент классического, "донейронного" символического ИИ (экспертные системы, логический вывод - период с 1956 по 1990+).
Нейро-символьные системы (Neuro-Symbolic AI) - это современное направление, возникшее на стыке нейросетей и этого самого современного символического ИИ (когнитивно-символьной архитектуры - период 2000 по наше время) - это гибрид.
Что самое важное, недавно в моем блоге у нас была дискуссия на эту тему и вот какой вывод я сделал:
ЧТО сделали: Исследователи из Meta (компания запрещена в РФ и является экстремисткой) представили KernelEvolve — фреймворк, который использует LLM и поиск по графу для автоматической генерации высокопроизводительных ядер на языке Triton (https://triton-lang.org/). Система применяет RAG (retrieval-augmented generation), чтобы подтягивать спецификации железа (NVIDIA, AMD и кастомные чипы MTIA от Meta), что позволяет оптимизировать как вычислительно тяжелые операции, так и задачи препроцессинга данных.
ПОЧЕМУ это важно: Это стратегический сдвиг в AI-инфраструктуре, отвязывающий архитектуру модели от ограничений железа. Система достигла 100% корректности на бенчмарке KernelBench (https://arxiv.org/abs/2502.10517) и показала ускорение до 17× относительно PyTorch в продакшене. Это доказывает, что агенты способны справиться с комбинаторным взрывом операторов и типов ускорителей, что критически важно для внедрения проприетарного кремния (MTIA), для которого у публичных LLM нет обучающих данных.
Очень интересная работа, по факту, техписатели приравнялись к программистам !!! О как. И тут важный сдвиг в философии самого программирования, отныне программист не только тот кто пишет код на программном языке, но и тот кто пишет документацию, то есть документация официально вошла в один ряд с машинным кодом.
Что из этого следует, а то что мы получили новый инструмент для анализа сетей, теперь по структуре документации можно решить обратную задачу: не код написать по докам, а по докам понять архитектуру построения кода, то бишь его философию. Если знаем философию кода, можем понять как он будет эволюционировать и спрогнозировать его ветки. Код уже не так важен, важна эволюция кода.
Полностью согласен с замечанием, тем более что про гипотезу Ньюэлла и Саймона узнал из вашего комментария.
Тем не менее, то, что эта гипотеза - какая-то экстремальная форма редукционизма - видно за версту. Когда математик рисует квантор всеобщности, у него для этого есть обширный "багаж знаний", корпус алгебры, теории множеств и т.п.
А что есть у машины, когда она рисует тот же символ?
Вот в том-то и фишка, мы полагаем что с данными структурами будет также как с шаблонами проектирования в ООП. Как известно этих шаблонов не так уже и много более того, они оказались весьма жизнеспособными в реальном суровом продакшене. Вот к ним можно тоже будет применить материал Райгородского, чтобы четко понимать:
Сколько их ?
Какая у них структура ?
Могут быть они вложены друг в друга ?
Как они конектится между собой ?
Есть ли какая-то иерархия у них ?
Как работает выбор сети из этих структур
Вот последнее самое интересное, по факту надо понимать как сеть формирует ответы на более высоком уровне: она собирает по кускам и как вообще организован "ее" конструктор. Либо второй вариант: мы поймем что таких структур нет (хотя тут мало вероятно) и это тоже надо будет доказать. Но это самый не очень чтобы очень случай. Почему так: раз нет шаблонов, значит есть какой-то другой механизм "выбора" знаний из внутреннего графа знаний. Но тут есть одна фишка: я тестировал многие сети от ChatGPT до Poe в том числе и на безопасность. Могу сказать точно, что черты есть схожие, например, в ранних верстиях ChatGPT была такая тема, когда заканчивается у нее знания в одной области графа знаний на английсокм языке, она перходила на французкий, это дает выводы что ChatGPT в базе взял Claude для разработки. Такая же тема была и для Poe, если должно его спрашивать и загонять в угол, он переходит на китайский )). Более того, у них есть границы графа знаний, где чат бот просто зацикливается. Я статьи писал для Сбера там описал эти вещи.
Спасибо коллега, вы правы, у нас не стояло цели что-то там перестирывать, цель была именно в разворачивании и попытке пойти дальше. Да и топологический подход здесь показался нам обоснованным. Почему вообще такая идея возникла. Как давно промелькнула такая работа https://nplus1.ru/news/2018/02/07/neuro-topology - это как раз и было предпосылкой, то что более плотно-упакованные сети, могут быть более эффективны. Да и вы правы, задача состояла в том чтобы максимально уйти от словоблудия к точным метрикам, и описать их, поэтому мы перешли к тому чтобы применять связку нейросети + Lean4. Для строго топологического доказательства. По факту, мы хотим математически описать что такое галлюцинация, и составить их классификацию.
Ничего этот «автор» не переоткрывает, просто копипастит нейрослоп. Ни один вменяемый человек не поставит себе «цель пересмативать структуру эволюции понимания». Это фейковый язык мурзилок.
А почему не поставить такую цель: что в этом плохого ??? Сети уже показали, что эволюция понимания далеко не всегда то что нам кажется. Классический пример A/B тесты, там где нам кажется, что все хорошо, на длинной дистанции оказывается совсем не так.
Если это фейковый язык мурзилок, зачем тогда создавали ООП. Почему стали делать паттерны проектирования, рефакторинг, писали бы все на функциях и классах и не лезли бы дальше в шаблоны и архитектуры языков. Тут тоже самое, сети уже стали новым слоем в кодинге и мультиагенты туда вписались, и уже извините, выкрутить их оттуда, не получится никому. Даже в инфобезе. Авито сделали у себя систему на мультиагентах для поиска уязвимостей и сократили время с 4 месяцев до 8 часов. О как )) Это не что иное как наращивание архитектуры, уже на уровне кода. Московская биржа, все процессы уже на мультиагентах.
Так) Спасибо уважаемый коллега, что дочитали до конца статью, это очень приятно. Тут мы ничего не перекрываем, а старались пойти именно дальше. ТУт фишка в том, что необходимо рассматривать сети не как планарные или кубические структуры, вероятно у них более сложные формы и топология тут отлично может помочь.
https://naukatv.ru/news/nejromorfnye_kompyutery_neozhidanno_preuspeli_v_matematike - это одна из работ, когда начинается переход именно к более сложному геометрическому пониманию сетей, просто банально к расположению нейронов. Более того, у Райгородского вышел цикл лекций https://stepik.org/course/248240/promo - экстремальные задачи комбинаторики, суть как раз в том чтобы понять сколько надо реально нейронов для создания более сложных структур сетей.
В чем фишка, это многократное и много связное подключение одного нейрона к множеству других. Хорошо вещь показали KAN и TAN сети, где в качестве функции активации уже выступили полиномы. НО!!! Раз мы имеем более сложную структуру, вероятно она будет иметь и более сложный язык. И как раз суть этого и заключается в том, что бы подумать, а можем ли мы предоставить или "вытащить" из нейросетей их язык. Более того, мы много читали про галлюцинации сетей и я в свое время писал статью для Сбера, где предложил свою классификацию вот она https://habr.com/ru/companies/sberbank/articles/812775/. Она конечно же не полная.
Почему она появилась, просто в сети такое засилие примеров реакций типа чат-бот ведет себя как социопат, ведет себя как лентяй и прочее, что стало прослеживаться тема о составлении некой классификации. Почему она возможна, человечество уже научилось классифицировать баги в коде и уязвимости (CVE-2356-19^ типа для примера), более того, баги именно по классам (SQL, XSS, Zero-day и так далее). Поэтому почему бы здесь не придумать такую же вещь.
"Экстремальная комбинаторика: Изучает, как много объектов определенного типа может существовать в большой системе, или наоборот, как мало, если они подчиняются строгим ограничениям (например, сколько ребер может быть в графе с определенными свойствами)."
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Типология мышления в аналитической культуре больших языковых моделей (Часть_1)