над задачами NLP десятки тысяч ученых и программистов бились 70 лет и без результата, а нейросети обошли всех на повороте буквально за 3-5 лет! Да еще как обошли, с бесконечным отрывом !
Вы удивительный человек, как будто и не программист вовсе. :-) Я например первым делом ищу готовое решение или хотя бы его часть и только потом сажусь за кодирование. Уверяю вас, что вам не удастся реализовать в полной мере то, что успешно решает LLM ни за какие временные рамки!
пока мы дискутировали с вами, мне пришла простая мысль как построить семантическую сеть для визуального представления смыла текста при помощи LLM. Достаточно скормить сети текст как промпт и последовательно задавать кучу вопросов об о всех действующих лицах и сущностях. Ответы как раз и будут данными для построения графа сети.
На самом деле успехи нейросетей колоссальны, а классический ИИ давно топчется на месте. Нейросети разом решили все проблемы NLP, машинных переводов, распознавания и синтеза речи на всех языках ! Но именно интеграция нейросетей с логическим выводом залог развития успеха ИТ. По поводу обучения ребенка нет проблем. Берется некий игровой движок с поддержкой физики, сложным окружением пространства и предметов, создается виртуальная креатура с поддержкой ИИ и в частности методов обучения с подкреплением (reinforcement learning). На быстром компе ваш "ребенок" научится жизни через неделю вместо 3-х миллиардов лет эволюции. Дале код обученной модели скидывается в прошивку робота или авто и поехали. Именно так сейчас и поступают все разработчики. Надо научить ребенка читать, писать, говорить, различать кошек и собак - без проблем. Сейчас стоят немного другие вопросы: самосознание, эмоции, мораль, этика. Самое важное, что весь опыт вашего ребенка в виде файла модели можно залить в миллиарды других виртуальных или физических объектов! С машинным обучение чему угодно сейчас проблем нет.
динамическая генерация классов и методов была бы идеальна. Я много занимался трассировкой и отладкой кодов чужих программ. Такая техника позволяет понять и воспроизвести алгоритмы и структуры данных. Там действительно все начинается с действий, а параметры это свойства. Если записать и обработать подробные логи, то можно синтезировать и класс и свойства и методы.
Вообще говоря очень жаль, что нынешнее поколение разработчиков нейросетей не знает или не хочет использовать успехи классического ИИ. Я же считаю, что дальнейшее развитие только коннекционистского подход не принесет успеха без интеграции с передовыми системами логического вывода. Человек должен четко понимать как и почему приято то или иное решение на каждом шаге на основании каких данных и каких правил. В современных нейросетях понять что происходит во внутренних слоях крайне трудно.
Я вас понял. Но ведь есть абстрактные классы unknown и их можно использовать для старта проекта, наращивая ваши любимые свойства и действия, пока ситуация не прояснится и не удастся перевести неизвестный в определенный. Не так ли?
Если уж вы хотите внести некую лепту в развитие базового подхода программирования, то попробуйте реализовать концепцию фреймов Минского, Филлмора, Шенка, типичных ситуаций и понятий. Это действительно работает и может принести пользу. Я же со своей стороны раздумываю над неким подходом моделирования мира для ИИ и роботов на основе иерархии всех понятий взятых например из WordNet и реализовать их в виде классов, т.е. парсер для понимания текста создает на лету классы и вызывает методы соответствующие словам естественного языка. Смотрит наличие противоречий, пропусков информации и выбирает только исправные семантические и прагматические интерпретации текста. Мне кажется в этом есть свой смысл. Спасибо за дискуссию и Удачи !
Да нет батенька! Вы декларируете "Свойство-ориентированный подход" т.е. во главу угла ставятся свойства и из них вытекают действия. Я считаю, что это не правильно и ссылку на Анохина вы не правильно интерпретируете. Например в лингвистике и особенно в английском языке значение глагола определяющее, но оно не может быть единственным и интерпретироваться без субъекта действия. Это как бы неразлучная пара и строить весь мир только на действиях это не верно, я бы сказал метафизично. Самое главное: я не вижу в вашем подходе рационально зерна. Объектно-ориентированный подход с классом сущностей и методами (действиями) широко принять всеми, прост и понятен, а вы как бы переворачиваете весь мир с ног на голову и говорите, что действие и свойства это все, а сущности лишь вытекают из этой концепции. Зачем это вами нужно ? Для чего? В чем суть драйва?
Ваш подход не имеет ни какого нейрофизиологического и психологического обоснования. Рассматривать свойство, например цвет, как действие это полный абсурд. Способность действовать или нет присуща (имманентна) классам объектов, самим сущностям , но не их свойствам. Можно рассмотреть действие (глагол) как основу смысловой организации мира и связать с ним субъект и объект. Это стандартная схема и не надо изобретать велосипед.
Я думаю немного по другому. Нейрокомпьютинг с самого начала был попыткой создать аналог высших функций нервной системы человека без учета всей эволюционной иерархии зон мозга животных. Нам сейчас надо быстро повторить эволюцию живой природы от простейших до человека. Ничего ИИ сам не создаст без новых алгоритмов и программ.
Статья имеет довольно абстрактный характер, нет конкретных выводов и рекомендаций. Я тоже думаю над проблемами нынешних поколений нейросетей и имею следующие мысли.
1. здравый смысл, понимание реалий мира, внутренние цели, мотивация это фактически самосознание. Что такое хорошо, что такое плохо для меня, других людей, окружающих объектов. За это отвечают самые базовые механизмы мозга: нейромедиаторы, боль, наслаждение, эмоции. Надо делать надстройку над нейросетями, которая детектирует специфические сигнатуры входной и выходной информации на предмет оценки важности, опасности, полезности. Другими словами построить аналог химической подсистемы мотивации, принятия решений.
2. рассуждения, выявление причинно-следственных связей между понятиями это довольно новые структуры мозга. Неокортекс появились только у млекопитающих. Он тоже должен быть надстройкой над базовой нейросетью и контуром эмоций. Может быть моделирован мощными системами классического логического вывода ИИ типа Prolog. Для рассуждений помимо исходных фактов нужны правила вывода. Их надо систематически извлекать из больших, обученных языковых моделей, учебников, руководств, практического опыта, моделирования и т.д..
3. Самый важный момент: нужна декомпозиция ИИ систем в смысле иерархичности: базовые нейросети, контур эмоций, контур высшей нервной деятельности (рассуждения) и эволюционный подход к построению AGI. Сначала надо полностью реализовать и отладить нижние уровни и на их основе создавать и проверять новые. Вся эта архитектура немного напоминает системы RAG нейросетей, чем фактически и является.
У меня есть определенный задел в разработках и я буду крайне рад комментариям и возможному сотрудничеству в создании подобных систем.
Желаю удачи! Для кластеризации лучше FAISS. Ее лучше вообще сделать динамической по мере развития проекта (как бы дообучение). Если будут трудности пишите oleynikov.ig@gmail.com
Я как физик более заточен на четкое понимание и реализацию сложных понятий, идей. Немного подумав и покопавшись в интернет пришел к выводу, что механизмы аналогий и ассоциаций давно изучаются и имеют успешные реализации при помощи современных версий нейросетей архитектуры автоэнкодер. После слоя кодирования запускается кластеризация и выделяются схожие вещи не только в семантическом, но и в структурном, причинно-следственном смыслах. Глубина и абстрактность аналогий будет зависеть от количества слоев сети, длины контекста и объемов обучения. Можно использовать мощные предобученные версии трансформеров кодеров, например BERT. Все это принесет пользу не только теоретикам, но и реальным пользователям. Чат GPT, агенты, роботы станут умней, понятливей и возможно обретут интуицию? Спасибо за ответ. Мы может сотрудничать в интересных проекта. Удачи !
Вполне возможно, что мы стучимся в открытую дверь. Современные нейросети имеют в своем ядре принцип автокодировщиков (обучение без учителя) и не исключено, что если как следует покопаться в их внутренних слоях, то можно будет успешно решить все проблемы глубоких аналогий, ассоциаций и интуиции.
Я не думаю, что аналогии можно сводить к гохожести понятий. Все это на много глубже. Помимо аналогий есть ассоциации, а это фундаментальный способ восприятия и хранения информации, заложенный в мозг животных и людей. Как минимум есть еще интуиция, основанная на знаниях и опыте. Для понимания этих понятий, мне кажется надо копать в сторону ассоциативного, хеббовского обучения, эмбеддингов графов и обучения с подкреплением.
Создание иерархии понятий сущностей это малая часть дела. Это было еще в WordNet Важно знать как разные сущности могут быть связаны друг с другом. Такая информация имеется в LLM. Для AGI осталось решить всего несколько задач: 1) создать ясную, понятную, прозрачную систему логического вывода по образцу языка Prolog на базах знаний нейросетевых моделей. 2) добавить в контуры выводов сетей эмоциональную, моральную, этическую оценку, как элемент самосознания, самооценки. 3) добавить глубокий механизмы поиска ассоциативности по всем элементам баз знаний. 4) усилит элемент креативности, самостоятельного поиска новых идей и доказательств их состоятельности. Только в этом случае ИИ станет полноценным помощником людей.
История развития мозга людей прошла очень долгий эволюционный путь и именно по этому он так хорошо приспособлен к окружающему миру. Развитие же ИИ начиналось с самого верха решения решения сложных задач при помощи очень сильно упрощённой модели нейронов. Да, сейчас достигнуты колоссальные успехи, но мы по прежнему имеет огромные пустоты на самых нижних уровнях организации самосознания нейросетей. Самый верный способ это действовать по примеру природы и наращивать новые слои нейросетей, контролирующих и управляющих уже работающими. По этому поводу мне пришла в голову идея использовать эмбеддинги выходов блоков самовнимания трансформеров для понимания и отслеживания каким образом производится обработка информации. Сравнивая эмбеддинги разных слоев с векторами токенов словаря, мы можем как бы визуализировать рассуждения нейросети. Исправить логические ошибки, направить рассуждения по другой ветке за счёт коррекции весов и т.д. Как бы сеть над сетью. Это позволит внедрить такие сложные понятия как эмоциональные оценки, этика, мораль и обеспечит соблюдение законов Азимова новыми поколениями роботов. :-)
над задачами NLP десятки тысяч ученых и программистов бились 70 лет и без результата, а нейросети обошли всех на повороте буквально за 3-5 лет! Да еще как обошли, с бесконечным отрывом !
Вы удивительный человек, как будто и не программист вовсе. :-) Я например первым делом ищу готовое решение или хотя бы его часть и только потом сажусь за кодирование. Уверяю вас, что вам не удастся реализовать в полной мере то, что успешно решает LLM ни за какие временные рамки!
пока мы дискутировали с вами, мне пришла простая мысль как построить семантическую сеть для визуального представления смыла текста при помощи LLM. Достаточно скормить сети текст как промпт и последовательно задавать кучу вопросов об о всех действующих лицах и сущностях. Ответы как раз и будут данными для построения графа сети.
На самом деле успехи нейросетей колоссальны, а классический ИИ давно топчется на месте. Нейросети разом решили все проблемы NLP, машинных переводов, распознавания и синтеза речи на всех языках ! Но именно интеграция нейросетей с логическим выводом залог развития успеха ИТ. По поводу обучения ребенка нет проблем. Берется некий игровой движок с поддержкой физики, сложным окружением пространства и предметов, создается виртуальная креатура с поддержкой ИИ и в частности методов обучения с подкреплением (reinforcement learning). На быстром компе ваш "ребенок" научится жизни через неделю вместо 3-х миллиардов лет эволюции. Дале код обученной модели скидывается в прошивку робота или авто и поехали. Именно так сейчас и поступают все разработчики. Надо научить ребенка читать, писать, говорить, различать кошек и собак - без проблем. Сейчас стоят немного другие вопросы: самосознание, эмоции, мораль, этика. Самое важное, что весь опыт вашего ребенка в виде файла модели можно залить в миллиарды других виртуальных или физических объектов! С машинным обучение чему угодно сейчас проблем нет.
динамическая генерация классов и методов была бы идеальна. Я много занимался трассировкой и отладкой кодов чужих программ. Такая техника позволяет понять и воспроизвести алгоритмы и структуры данных. Там действительно все начинается с действий, а параметры это свойства. Если записать и обработать подробные логи, то можно синтезировать и класс и свойства и методы.
Вообще говоря очень жаль, что нынешнее поколение разработчиков нейросетей не знает или не хочет использовать успехи классического ИИ. Я же считаю, что дальнейшее развитие только коннекционистского подход не принесет успеха без интеграции с передовыми системами логического вывода. Человек должен четко понимать как и почему приято то или иное решение на каждом шаге на основании каких данных и каких правил. В современных нейросетях понять что происходит во внутренних слоях крайне трудно.
Спасибо большое, на этот раз я полностью согласен с вам !
Я вас понял. Но ведь есть абстрактные классы unknown и их можно использовать для старта проекта, наращивая ваши любимые свойства и действия, пока ситуация не прояснится и не удастся перевести неизвестный в определенный. Не так ли?
Если уж вы хотите внести некую лепту в развитие базового подхода программирования, то попробуйте реализовать концепцию фреймов Минского, Филлмора, Шенка, типичных ситуаций и понятий. Это действительно работает и может принести пользу. Я же со своей стороны раздумываю над неким подходом моделирования мира для ИИ и роботов на основе иерархии всех понятий взятых например из WordNet и реализовать их в виде классов, т.е. парсер для понимания текста создает на лету классы и вызывает методы соответствующие словам естественного языка. Смотрит наличие противоречий, пропусков информации и выбирает только исправные семантические и прагматические интерпретации текста. Мне кажется в этом есть свой смысл. Спасибо за дискуссию и Удачи !
Да нет батенька! Вы декларируете "Свойство-ориентированный подход" т.е. во главу угла ставятся свойства и из них вытекают действия. Я считаю, что это не правильно и ссылку на Анохина вы не правильно интерпретируете. Например в лингвистике и особенно в английском языке значение глагола определяющее, но оно не может быть единственным и интерпретироваться без субъекта действия. Это как бы неразлучная пара и строить весь мир только на действиях это не верно, я бы сказал метафизично. Самое главное: я не вижу в вашем подходе рационально зерна. Объектно-ориентированный подход с классом сущностей и методами (действиями) широко принять всеми, прост и понятен, а вы как бы переворачиваете весь мир с ног на голову и говорите, что действие и свойства это все, а сущности лишь вытекают из этой концепции. Зачем это вами нужно ? Для чего? В чем суть драйва?
Ваш подход не имеет ни какого нейрофизиологического и психологического обоснования. Рассматривать свойство, например цвет, как действие это полный абсурд. Способность действовать или нет присуща (имманентна) классам объектов, самим сущностям , но не их свойствам. Можно рассмотреть действие (глагол) как основу смысловой организации мира и связать с ним субъект и объект. Это стандартная схема и не надо изобретать велосипед.
Я думаю немного по другому. Нейрокомпьютинг с самого начала был попыткой создать аналог высших функций нервной системы человека без учета всей эволюционной иерархии зон мозга животных. Нам сейчас надо быстро повторить эволюцию живой природы от простейших до человека. Ничего ИИ сам не создаст без новых алгоритмов и программ.
Статья имеет довольно абстрактный характер, нет конкретных выводов и рекомендаций. Я тоже думаю над проблемами нынешних поколений нейросетей и имею следующие мысли.
1. здравый смысл, понимание реалий мира, внутренние цели, мотивация это фактически
самосознание. Что такое хорошо, что такое плохо для меня, других людей, окружающих объектов. За это отвечают самые базовые механизмы мозга: нейромедиаторы, боль, наслаждение, эмоции. Надо делать надстройку над нейросетями, которая детектирует специфические сигнатуры входной и выходной информации на предмет оценки важности, опасности, полезности. Другими словами построить аналог химической подсистемы мотивации, принятия решений.
2. рассуждения, выявление причинно-следственных связей между понятиями это довольно новые структуры мозга. Неокортекс появились только у млекопитающих. Он тоже должен быть надстройкой над базовой нейросетью и контуром эмоций. Может быть моделирован мощными системами классического логического вывода ИИ типа Prolog. Для рассуждений помимо исходных фактов нужны правила вывода. Их надо систематически извлекать из больших, обученных языковых моделей, учебников, руководств, практического опыта, моделирования и т.д..
3. Самый важный момент: нужна декомпозиция ИИ систем в смысле иерархичности: базовые нейросети, контур эмоций, контур высшей нервной деятельности (рассуждения) и эволюционный подход к построению AGI. Сначала надо полностью реализовать и отладить нижние уровни и на их основе создавать и проверять новые. Вся эта архитектура немного напоминает системы RAG нейросетей, чем фактически и является.
У меня есть определенный задел в разработках и я буду крайне рад комментариям и возможному сотрудничеству в создании подобных систем.
Желаю удачи! Для кластеризации лучше FAISS. Ее лучше вообще сделать динамической по мере развития проекта (как бы дообучение). Если будут трудности пишите oleynikov.ig@gmail.com
Я как физик более заточен на четкое понимание и реализацию сложных понятий, идей. Немного подумав и покопавшись в интернет пришел к выводу, что механизмы аналогий и ассоциаций давно изучаются и имеют успешные реализации при помощи современных версий нейросетей архитектуры автоэнкодер. После слоя кодирования запускается кластеризация и выделяются схожие вещи не только в семантическом, но и в структурном, причинно-следственном смыслах. Глубина и абстрактность аналогий будет зависеть от количества слоев сети, длины контекста и объемов обучения. Можно использовать мощные предобученные версии трансформеров кодеров, например BERT. Все это принесет пользу не только теоретикам, но и реальным пользователям. Чат GPT, агенты, роботы станут умней, понятливей и возможно обретут интуицию? Спасибо за ответ. Мы может сотрудничать в интересных проекта. Удачи !
Вполне возможно, что мы стучимся в открытую дверь. Современные нейросети имеют в своем ядре принцип автокодировщиков (обучение без учителя) и не исключено, что если как следует покопаться в их внутренних слоях, то можно будет успешно решить все проблемы глубоких аналогий, ассоциаций и интуиции.
один нейрон по Хеббу не может запомнить информацию, надо как минимум два :-)
Я не думаю, что аналогии можно сводить к гохожести понятий. Все это на много глубже. Помимо аналогий есть ассоциации, а это фундаментальный способ восприятия и хранения информации, заложенный в мозг животных и людей. Как минимум есть еще интуиция, основанная на знаниях и опыте. Для понимания этих понятий, мне кажется надо копать в сторону ассоциативного, хеббовского обучения, эмбеддингов графов и обучения с подкреплением.
Создание иерархии понятий сущностей это малая часть дела. Это было еще в WordNet Важно знать как разные сущности могут быть связаны друг с другом. Такая информация имеется в LLM. Для AGI осталось решить всего несколько задач: 1) создать ясную, понятную, прозрачную систему логического вывода по образцу языка Prolog на базах знаний нейросетевых моделей. 2) добавить в контуры выводов сетей эмоциональную, моральную, этическую оценку, как элемент самосознания, самооценки. 3) добавить глубокий механизмы поиска ассоциативности по всем элементам баз знаний. 4) усилит элемент креативности, самостоятельного поиска новых идей и доказательств их состоятельности. Только в этом случае ИИ станет полноценным помощником людей.
История развития мозга людей прошла очень долгий эволюционный путь и именно по этому он так хорошо приспособлен к окружающему миру. Развитие же ИИ начиналось с самого верха решения решения сложных задач при помощи очень сильно упрощённой модели нейронов. Да, сейчас достигнуты колоссальные успехи, но мы по прежнему имеет огромные пустоты на самых нижних уровнях организации самосознания нейросетей. Самый верный способ это действовать по примеру природы и наращивать новые слои нейросетей, контролирующих и управляющих уже работающими. По этому поводу мне пришла в голову идея использовать эмбеддинги выходов блоков самовнимания трансформеров для понимания и отслеживания каким образом производится обработка информации. Сравнивая эмбеддинги разных слоев с векторами токенов словаря, мы можем как бы визуализировать рассуждения нейросети. Исправить логические ошибки, направить рассуждения по другой ветке за счёт коррекции весов и т.д. Как бы сеть над сетью. Это позволит внедрить такие сложные понятия как эмоциональные оценки, этика, мораль и обеспечит соблюдение законов Азимова новыми поколениями роботов. :-)