Ну вообще говоря это коммерческая тема. Я конечно поборник открытых идей и кодов не не настолько же. :-) Всякий опытный программист может быстро повторить мою идею и все будет OK. Если найдете какой либо контракт на близкую тему, я возьму вас в партнеры и поделюсь наработкой. Статью напишем потом вместе. Спасибо, Хороших выходных и Удачи !
Неожиданно возникла еще одна идея. Есть графовые нейронные сети и для них используются те же самые модели трансформеров. Очевидно, что можно начать строить автокодировщики графов знаний при помощи графовых нейросетей!
а почему бы и нет ? Ведь вся наука построена на аналитической форме представления информации в виде формул. Нейросети это скорее некие приближения к истине (костыли), как ряды Тейлора или Фурье. :-)
Хорошая идея. Операции с графами это фактически логические вычисления. Зная структуру графа и доступные действия система может генерировать все мыслимые комбинации преобразований информации. Часть из них будет бесполезна и бессмысленна, а некоторые вполне пригодны для использования. Такие последовательности преобразований заменят коды на языках высокого уровня, SQL и т.д. Я скажу более: система может автоматически строить оптимальные визуальные формы представлений UI баз данных и знаний из структур графов от схем баз данных. Единственное пожелание разработчикам смелее использовать систему Prolog вместо примитивных и не полных языков работы с графовыми базами данных типа Neo4j Cypher, OWL SPARQL. У меня есть очень успешный опыт замены движка базы знаний Neio4 на Prolog для GraphRAG
не знаю, в России возможно это и так, но на Западе есть толковые головы, которые не только озабочены но и уже ищут решения. Западное общество в целом, особенно американцы, склонны и инновациям, всяким дерзаниям без крови и больших убытков. Тем более Китай уже не просто в спину дышит, а бежит уже почти вровень.
Кризис не только в Японии но и в Европе. Белые люди не хотят рожать детей и в США. Возможно это не самая большая проблема. Люди в возрасте спокойно работают в Чехии после пенсии не из нужды, а просто по желанию. Снижение общего количества людей на Земле снизит нагрузку на экологию. Но вот кризиса безработицы не избежать. У меня есть надежа, что спасти ситуацию может массовая экспансия в космос. Роботы будут строить безопасные комфортабельные поселения и помогать людям осваивать новые места, а Земля останется парком, заповедником, университетом для всего человечества. Но надо срочно ломать все старые социальные и политические схемы, стереотипы и искать новые решения.
я как раз очень пессимистично смотрю на будущее человеческой цивилизации. Люди успешно пережили несколько технологических революций и всегда находили себе новые занятия, но в это раз может оказаться так, что никакой труд человека не будет экономически оправдан. Роботы с ИИ полностью заменят и ручной и умственный труд. Не потребуются ни мусорщики ни парикмахеры собак ни инженеры робототехники ни программисты ни ученые ни деятели искусств ни предприниматели. Все это компьютеры будут делать сами без участия людей, лучше и дешевле их! Миллиарды будут шататься без работы. Пособия платить будет не из чего. С роботов подоходный налог и пенсионные отчисления не возьмешь. Это будет чисто экономический кризис и при нынешнем очень низком уровне политического сознания, национальной непримиримости, социального расслоения, выходом будут голодные бунты, погромы, войны. ИТ-шникам, мировым политиками, экономистам, социологам надо все это иметь в виду и искать решения уже сейчас!
система никогда не сможет окупить десятки миллиардов долларов в силу своей бессмысленности. Допустим новые модели нейросетей будут построены и что тогда? Они в любом случае не заменят миллионы яйцеголовых разработчиков новой продукции, товаров тысяч частных компаний.
я думаю это шаг в правильном направлении. Нейросетям надо помочь создавать правильные коды и проекты. Четкое логическое структурирование и система строгих логических рассуждений позволит исключить галлюцинации и генерацию ошибок. Это будет полезно не только для создания кодов но и во всех других применениях ИИ.
прочел статью и ощущение зря потраченного времени. Проблема качественной автоматической генерации кодов программ при помощи ИИ действительно актуальна. Слабые места текущих реализаций: отсутствие полноценных систем логического вывода, отсутствие интеграции в системы исполнения (компиляторы, линкеры, средства тестирования, отладчики), сильная коммерциализация всех проектов. С моей точки зрения действительно было бы разумным связать нейросеть LLM с движком логического вывода типа Prolog, LLVM компилятором и виртуальной машиной отладки ПО. Если добавить контур RL обучения с подкреплением, то можно получить реальную систему кодогенерации.
я экспериментировал с Google Gemini.Модель генерирует только самые простейшие коды на Prolog но может быть очень полезна для представления фактов и не сложных правил из баз знаний LLM. Саму постановку маломальский сложной задачи в виде кода нейросеть не сгенерит.
Да я то согласен, что прогресс есть и ИИ автокодинг движется в правильном направлении но имел в виду общую проблему нейросетей с рассуждениями. Они пока очень не надежны. Решают только простейшие задачи и не обладают полноценным дедуктивным логическим выводом. Это общая беда всех генеративных трансформеров + галлюцинации. Я категорический поборник интеграции нейрокомпьютинга и классических методов логического вывода ИИ.
Ничего я не изобретал. Word2vec придумал чех Томаш Миколов, работая в Google в 2013 году и именно этот алгоритм открыл двери всем современным системам типа GPT. Я говорю немного о другом. Дистрибутивная семантика и векторное представление (эмбеддинги) просто сами напрашиваются на использование некоей матричной алгебры для трансформаций но это не эквивалентно глубоким нейросетям! Это немного другой более логически прозрачный подход
Я имел в виду точное кодирование в логическом смысле. Оптимизация кодов это отдельная тема и она в принципе решается алгоритмическими методами. Я видел некоторые коды, генерируемые LLM . Они просто чудовищны и разумеется не работают. Если у вас есть реальные проекты ИИ кодогенерации, мы можем попробовать сотрудничать. Тема актуальная и запустить какой либо стартап скорее всего будет не сложно. Спасибо и Удачи!
Если честно я очень скептически отношусь к способностям точного логического вывода текущего поколения нейросетей. Все эти задачи математических олимпиад заранее известны и наверняка использованы для обучения. Я точно знаю, что есть класс специальных вопроса на логику которые ставят в тупик любую нейросеть и преодолеть это пока нельзя. Я думал над генерацией полноценного кода и всё-таки считаю, что абсолютно необходима интеграция трансформеров с системами логического вывода классического ИИ. Это так же необходимо как две половины нашего мозга: логическая и ассоциативная.
Ещё один важный момент. Сложные многоэтапные преобразования векторов понятий могут быть представлены цепочками матричных операций, но благодаря самой природе линейной алгебры мы можем заранее перемножить все эти матрицы и получить только одну результирующую. Это позволит крайне эффективно манипулировать сложными текстами. Опять же аналогия с физикой и математикой. Сложные последовательные операции над временными и пространственными данными можно свести к единичной трансформации в частотной области, что является крайне эффективным методом фильтрации.
Рад, что вы увидели и оценили мою реплику. Спасибо! Я сам по первому образованию физик и сразу узрел в эмбеддингах и дистрибутивный семантике большой смысл и скрытые проблемы. Она напомнила мне ситуацию начала 20-х годов в области квантовой физики. Природа взаимодействия материи и энергии на микроуровне была сложна и не понятна до изобретения матричной механики Гейзенберга. Манипуляции квантами при помощи матриц все поставили на свои места и привели к открытию транзисторов, лазеров. Я ничего не имею против трансформеров LLM но дело в том, что логика преобразований размазан в них по миллиардам параметров, не очевидна для человеческого восприятия и подвержена галлюцинациям. Это фундаментальное ограничение нейросетевых моделей не позволяет применить GPT в критических приложениях. Матричные операции с эмбеддингами абсолютно прозрачны для понимания, точны и скорее всего будут более эффективны с вычислительной точки зрения чем трансформеры. Ещё раз спасибо и удачи!
Для полноценной генерации кода программ необходимо полное понимание нейросетью смысла действий каждой команды, плюс подробные знания языка программирования, библиотек фреймворков, API и много ещё чего. Простым RAG и MCP отделаться не получится. С моей точки зрения LLM могут выступить базами всех этих сложных знаний но саму генерацию кодов доверять трансформеров нельзя. Как минимум нужны системы точного логического вывода типа Prolog и некие средства автоматической трансляции, компиляции, исполнения кода для верификации и коррекции. Наверно удобно строить такую систему на базе LLVM проекта. Представление языка программирования и самой задачи может быть оформлено в виде неких фактов и правил, вывода типа экспертной системы а генерация кода, как поиск последовательности операций логического выводов.
Ну вообще говоря это коммерческая тема. Я конечно поборник открытых идей и кодов не не настолько же. :-) Всякий опытный программист может быстро повторить мою идею и все будет OK. Если найдете какой либо контракт на близкую тему, я возьму вас в партнеры и поделюсь наработкой. Статью напишем потом вместе. Спасибо, Хороших выходных и Удачи !
Неожиданно возникла еще одна идея. Есть графовые нейронные сети и для них используются те же самые модели трансформеров. Очевидно, что можно начать строить автокодировщики графов знаний при помощи графовых нейросетей!
а почему бы и нет ? Ведь вся наука построена на аналитической форме представления информации в виде формул. Нейросети это скорее некие приближения к истине (костыли), как ряды Тейлора или Фурье. :-)
Хорошая идея. Операции с графами это фактически логические вычисления. Зная структуру графа и доступные действия система может генерировать все мыслимые комбинации преобразований информации. Часть из них будет бесполезна и бессмысленна, а некоторые вполне пригодны для использования. Такие последовательности преобразований заменят коды на языках высокого уровня, SQL и т.д. Я скажу более: система может автоматически строить оптимальные визуальные формы представлений UI баз данных и знаний из структур графов от схем баз данных. Единственное пожелание разработчикам смелее использовать систему Prolog вместо примитивных и не полных языков работы с графовыми базами данных типа Neo4j Cypher, OWL SPARQL. У меня есть очень успешный опыт замены движка базы знаний Neio4 на Prolog для GraphRAG
не знаю, в России возможно это и так, но на Западе есть толковые головы, которые не только озабочены но и уже ищут решения. Западное общество в целом, особенно американцы, склонны и инновациям, всяким дерзаниям без крови и больших убытков. Тем более Китай уже не просто в спину дышит, а бежит уже почти вровень.
Кризис не только в Японии но и в Европе. Белые люди не хотят рожать детей и в США. Возможно это не самая большая проблема. Люди в возрасте спокойно работают в Чехии после пенсии не из нужды, а просто по желанию. Снижение общего количества людей на Земле снизит нагрузку на экологию. Но вот кризиса безработицы не избежать. У меня есть надежа, что спасти ситуацию может массовая экспансия в космос. Роботы будут строить безопасные комфортабельные поселения и помогать людям осваивать новые места, а Земля останется парком, заповедником, университетом для всего человечества. Но надо срочно ломать все старые социальные и политические схемы, стереотипы и искать новые решения.
я как раз очень пессимистично смотрю на будущее человеческой цивилизации. Люди успешно пережили несколько технологических революций и всегда находили себе новые занятия, но в это раз может оказаться так, что никакой труд человека не будет экономически оправдан. Роботы с ИИ полностью заменят и ручной и умственный труд. Не потребуются ни мусорщики ни парикмахеры собак ни инженеры робототехники ни программисты ни ученые ни деятели искусств ни предприниматели. Все это компьютеры будут делать сами без участия людей, лучше и дешевле их! Миллиарды будут шататься без работы. Пособия платить будет не из чего. С роботов подоходный налог и пенсионные отчисления не возьмешь. Это будет чисто экономический кризис и при нынешнем очень низком уровне политического сознания, национальной непримиримости, социального расслоения, выходом будут голодные бунты, погромы, войны. ИТ-шникам, мировым политиками, экономистам, социологам надо все это иметь в виду и искать решения уже сейчас!
такая гонка "вооружений" обычно заканчивается банкротством и разорением инвесторов
система никогда не сможет окупить десятки миллиардов долларов в силу своей бессмысленности. Допустим новые модели нейросетей будут построены и что тогда? Они в любом случае не заменят миллионы яйцеголовых разработчиков новой продукции, товаров тысяч частных компаний.
я думаю это шаг в правильном направлении. Нейросетям надо помочь создавать правильные коды и проекты. Четкое логическое структурирование и система строгих логических рассуждений позволит исключить галлюцинации и генерацию ошибок. Это будет полезно не только для создания кодов но и во всех других применениях ИИ.
прочел статью и ощущение зря потраченного времени. Проблема качественной автоматической генерации кодов программ при помощи ИИ действительно актуальна. Слабые места текущих реализаций: отсутствие полноценных систем логического вывода, отсутствие интеграции в системы исполнения (компиляторы, линкеры, средства тестирования, отладчики), сильная коммерциализация всех проектов. С моей точки зрения действительно было бы разумным связать нейросеть LLM с движком логического вывода типа Prolog, LLVM компилятором и виртуальной машиной отладки ПО. Если добавить контур RL обучения с подкреплением, то можно получить реальную систему кодогенерации.
я экспериментировал с Google Gemini.Модель генерирует только самые простейшие коды на Prolog но может быть очень полезна для представления фактов и не сложных правил из баз знаний LLM. Саму постановку маломальский сложной задачи в виде кода нейросеть не сгенерит.
Да я то согласен, что прогресс есть и ИИ автокодинг движется в правильном направлении но имел в виду общую проблему нейросетей с рассуждениями. Они пока очень не надежны. Решают только простейшие задачи и не обладают полноценным дедуктивным логическим выводом. Это общая беда всех генеративных трансформеров + галлюцинации. Я категорический поборник интеграции нейрокомпьютинга и классических методов логического вывода ИИ.
Есть разные коды, разных задач. Стандартные алгоритмы на GitHub позволяют обучить нейросети, а шаг влево, вправо или вообще что то новое и GPT пасует.
Ничего я не изобретал. Word2vec придумал чех Томаш Миколов, работая в Google в 2013 году и именно этот алгоритм открыл двери всем современным системам типа GPT. Я говорю немного о другом. Дистрибутивная семантика и векторное представление (эмбеддинги) просто сами напрашиваются на использование некоей матричной алгебры для трансформаций но это не эквивалентно глубоким нейросетям! Это немного другой более логически прозрачный подход
Я имел в виду точное кодирование в логическом смысле. Оптимизация кодов это отдельная тема и она в принципе решается алгоритмическими методами. Я видел некоторые коды, генерируемые LLM . Они просто чудовищны и разумеется не работают. Если у вас есть реальные проекты ИИ кодогенерации, мы можем попробовать сотрудничать. Тема актуальная и запустить какой либо стартап скорее всего будет не сложно. Спасибо и Удачи!
Если честно я очень скептически отношусь к способностям точного логического вывода текущего поколения нейросетей. Все эти задачи математических олимпиад заранее известны и наверняка использованы для обучения. Я точно знаю, что есть класс специальных вопроса на логику которые ставят в тупик любую нейросеть и преодолеть это пока нельзя. Я думал над генерацией полноценного кода и всё-таки считаю, что абсолютно необходима интеграция трансформеров с системами логического вывода классического ИИ. Это так же необходимо как две половины нашего мозга: логическая и ассоциативная.
Ещё один важный момент. Сложные многоэтапные преобразования векторов понятий могут быть представлены цепочками матричных операций, но благодаря самой природе линейной алгебры мы можем заранее перемножить все эти матрицы и получить только одну результирующую. Это позволит крайне эффективно манипулировать сложными текстами. Опять же аналогия с физикой и математикой. Сложные последовательные операции над временными и пространственными данными можно свести к единичной трансформации в частотной области, что является крайне эффективным методом фильтрации.
Рад, что вы увидели и оценили мою реплику. Спасибо! Я сам по первому образованию физик и сразу узрел в эмбеддингах и дистрибутивный семантике большой смысл и скрытые проблемы. Она напомнила мне ситуацию начала 20-х годов в области квантовой физики. Природа взаимодействия материи и энергии на микроуровне была сложна и не понятна до изобретения матричной механики Гейзенберга. Манипуляции квантами при помощи матриц все поставили на свои места и привели к открытию транзисторов, лазеров. Я ничего не имею против трансформеров LLM но дело в том, что логика преобразований размазан в них по миллиардам параметров, не очевидна для человеческого восприятия и подвержена галлюцинациям. Это фундаментальное ограничение нейросетевых моделей не позволяет применить GPT в критических приложениях. Матричные операции с эмбеддингами абсолютно прозрачны для понимания, точны и скорее всего будут более эффективны с вычислительной точки зрения чем трансформеры. Ещё раз спасибо и удачи!
Для полноценной генерации кода программ необходимо полное понимание нейросетью смысла действий каждой команды, плюс подробные знания языка программирования, библиотек фреймворков, API и много ещё чего. Простым RAG и MCP отделаться не получится. С моей точки зрения LLM могут выступить базами всех этих сложных знаний но саму генерацию кодов доверять трансформеров нельзя. Как минимум нужны системы точного логического вывода типа Prolog и некие средства автоматической трансляции, компиляции, исполнения кода для верификации и коррекции. Наверно удобно строить такую систему на базе LLVM проекта. Представление языка программирования и самой задачи может быть оформлено в виде неких фактов и правил, вывода типа экспертной системы а генерация кода, как поиск последовательности операций логического выводов.