Не нужен. Давно уже изобретены синтетические тесты, более мощные, чем тест Тьюринга, и избавленные от проблем этого теста, типа схемы Винограда, и все большие языковые модели давно тренируются в том числе и на них. Кстати, современные LLMA решают эти синтетические тесты зачастую точнее людей, насколько я помню с "точностью" 80-86% .
Вы же сами говорите, неполный лагранжиан нужно решать точно, а потом говорите о приближенном решениии. Для приближенных методов известно что нужно оценивать расходимость, вводить критерии, проверить их еще до начала решения и т.д., чего с нейронками не всегда делается (потому-что непонятно как, в отличие от численных методов). В технических задачах - да, применение нейронных сетей полезно. А для физики нейронки - это всего-лишь модели, позволяющие какие-то задачи автоматизировать. Продвижения конекретно в теории по-моему мнению, они не дают (даже несмотря на то, что вы написали про Кеплера, читал эту статью). Экспериментаторам жизнь облегчают, сам постоянно пользуюсь.
С численными решениями математики вроде лет 20-30 назад пробовали, потом перестали большинство численных решений считать за доказательство чего-бы то ни было. В физике просто до этого еще не дошли потому-что поздно начали, но фанарики уже зажигаются.
Застоя в физике особо нет, есть застой с решением задач. А объяснять одну сущность миллиардом - по-моему дело наблагодарное, хотя и модное.
Задача физики состоит в том, чтобы выявлять закономерности и уменьшать количество неизвестных параметров, а не чтобы увеличивать их. Оккам бы перевернулся в гробу от нейросетевых выкрутасов с физикой.
Это напоминает мне давний спор Птолемеевой схемы мира с Коперниковской. Как показала история, менее точная Коперниковская модель оказалась более правильной для объяснения мира, чем более точная Птолемеевская. И заменять физику на нейронку - делать шаг назад, к Птолемею.
Спасибо за ссылку, интересная работа. Но в той работе решается понятная задача - аппроксимировать результаты численного решения диффура результатами работы нейронной сети. То-есть поиск аппроксимации набора известных численных решений сложной многопараметрической функцией. А что делаете вы? Если я правильно понимаю, с экспериментом тут могут быть неконтроллируемые ошибки - одно дело известный диффур, другое дело реальный эксперимент с его ошибками и неучтенными воздействиями.
А с общей идеей аугментации согласен - если вы учтете симметрию задачи аугментацией (что как я понял вы и делаете), после обучения вы должны получить аппроксимацию, инвариантную по отношению к этой симметрии. В общем для этого аугментация и используется.
Тогда я чего-то не понимаю. Вы-же тренируете сеть на экспериментальных данных? В чем смысл тренировать на экспериментальных данных схему, если можно попробовать найти общее решение (очевидно неаналитическое) или численный алгоритм для нахождения частного (как делают при численных решениях ДУ), тем более непонятно где взять столько экспериментальных данных? Просто чтобы сделать какую-то мат.модель уже известного экспериментального процесса, пригодную для каких-то расчетов, но которую нельзя будет потом обобщить на другие варианты начальных условий и непонятны будут границы ее применимости?
А зачем вам аугментация? Не проще просто фундаментальное решение один раз найти, как по классике, с дельта-функцией в правой части, а потом с любой правой частью проинтегрировать это решение? Сдается, ваша аугментация именно к этому в результате и сведется.
Возможно вы правы. В принципе даже есть работа Sonoda&Murata,2017, по которой ваше предложение можно обосновать (использование квадратичной активации), но тогда архитектура должна включать не только внимание, но и skip-connection с какими-то полносвязными слоями ( [a+b]^2=2ab(внимание)+a^2+b^2 (skip с полносвязным слоем)), а их вроде нет в архитектурах со вниманием, хотя я конечно могу ошибаться.
Формально да. Просто на гитхабе есть приватные и открытые проекты. Пересылка рабочего кода программе (неважно какой) увеличивает количество источников возможных несогласованных утечек кода в случае, если ваш проект приватен.
И чем наблюдение за толпой программистов разной квалификации, пытающихся родить решение, лучше готового и отлаженного кода?
К сожалению, тут разные подходы. Мне конечно нужен работающий код, это да. Но он мне нужен работающий и простой, и я не хочу лопатить море подозрительных решений, зачастую с багами, которые часто реализуют не то, что мне надо, а зачастую выдают неработающий код. Банальные вещи (темплаты) действительно можно либо легко найти в первой десятке ссылок, либо АИ выдаст их по запросу. Но какие-то специальные решения всегда проще сделать самому - мне АИ редко выдавал рабочий код под мою задачу.
Можно и дальше пойти. Пишете вы код, а на втором мониторе окошко: "о, какой интересный код написали, молодец! Перешлю-ка я его тихонько дяде Васе, он над похожей проблемой уже 2й год бьется и решить не может, а ему ваш код пригодится."
Интересно пилит: попробовал сгеренить ирландский танец без скрипки, но на гитаре и пианино - ужаснулся. Звук жуткий - скорее на пиле кто-то пытается что-то играть. Видимо, это была гитара. А вообще - забавные вещи генерит, текст понимает.
Заработало. Только вместо
from mylib import myclass
приходится писать
from mylib.myclass import myclass
Не подскажете, как сделать класс дефолтным?
Это у вас не точность, это у вас переобучение
Не нужен. Давно уже изобретены синтетические тесты, более мощные, чем тест Тьюринга, и избавленные от проблем этого теста, типа схемы Винограда, и все большие языковые модели давно тренируются в том числе и на них. Кстати, современные LLMA решают эти синтетические тесты зачастую точнее людей, насколько я помню с "точностью" 80-86% .
Вы же сами говорите, неполный лагранжиан нужно решать точно, а потом говорите о приближенном решениии. Для приближенных методов известно что нужно оценивать расходимость, вводить критерии, проверить их еще до начала решения и т.д., чего с нейронками не всегда делается (потому-что непонятно как, в отличие от численных методов). В технических задачах - да, применение нейронных сетей полезно. А для физики нейронки - это всего-лишь модели, позволяющие какие-то задачи автоматизировать. Продвижения конекретно в теории по-моему мнению, они не дают (даже несмотря на то, что вы написали про Кеплера, читал эту статью). Экспериментаторам жизнь облегчают, сам постоянно пользуюсь.
С численными решениями математики вроде лет 20-30 назад пробовали, потом перестали большинство численных решений считать за доказательство чего-бы то ни было. В физике просто до этого еще не дошли потому-что поздно начали, но фанарики уже зажигаются.
Застоя в физике особо нет, есть застой с решением задач. А объяснять одну сущность миллиардом - по-моему дело наблагодарное, хотя и модное.
Точки L2 между Землей и Солнцем нет.
Задача физики состоит в том, чтобы выявлять закономерности и уменьшать количество неизвестных параметров, а не чтобы увеличивать их. Оккам бы перевернулся в гробу от нейросетевых выкрутасов с физикой.
Это напоминает мне давний спор Птолемеевой схемы мира с Коперниковской. Как показала история, менее точная Коперниковская модель оказалась более правильной для объяснения мира, чем более точная Птолемеевская. И заменять физику на нейронку - делать шаг назад, к Птолемею.
Спасибо за ссылку, интересная работа. Но в той работе решается понятная задача - аппроксимировать результаты численного решения диффура результатами работы нейронной сети. То-есть поиск аппроксимации набора известных численных решений сложной многопараметрической функцией. А что делаете вы? Если я правильно понимаю, с экспериментом тут могут быть неконтроллируемые ошибки - одно дело известный диффур, другое дело реальный эксперимент с его ошибками и неучтенными воздействиями.
А с общей идеей аугментации согласен - если вы учтете симметрию задачи аугментацией (что как я понял вы и делаете), после обучения вы должны получить аппроксимацию, инвариантную по отношению к этой симметрии. В общем для этого аугментация и используется.
Тогда я чего-то не понимаю. Вы-же тренируете сеть на экспериментальных данных? В чем смысл тренировать на экспериментальных данных схему, если можно попробовать найти общее решение (очевидно неаналитическое) или численный алгоритм для нахождения частного (как делают при численных решениях ДУ), тем более непонятно где взять столько экспериментальных данных? Просто чтобы сделать какую-то мат.модель уже известного экспериментального процесса, пригодную для каких-то расчетов, но которую нельзя будет потом обобщить на другие варианты начальных условий и непонятны будут границы ее применимости?
А зачем вам аугментация? Не проще просто фундаментальное решение один раз найти, как по классике, с дельта-функцией в правой части, а потом с любой правой частью проинтегрировать это решение? Сдается, ваша аугментация именно к этому в результате и сведется.
А что это за вопросы уровня SteckOwerflow? Какой-то новомодный тест на знание английского языка? Интересно просто.
Возможно вы правы. В принципе даже есть работа Sonoda&Murata,2017, по которой ваше предложение можно обосновать (использование квадратичной активации), но тогда архитектура должна включать не только внимание, но и skip-connection с какими-то полносвязными слоями ( [a+b]^2=2ab(внимание)+a^2+b^2 (skip с полносвязным слоем)), а их вроде нет в архитектурах со вниманием, хотя я конечно могу ошибаться.
Поэтому и публикация в mdpi, а не в nature, cell или lancet.
del
Наверное невозможно, но рекомендательные системы как-то работают.
Формально да. Просто на гитхабе есть приватные и открытые проекты. Пересылка рабочего кода программе (неважно какой) увеличивает количество источников возможных несогласованных утечек кода в случае, если ваш проект приватен.
К сожалению, тут разные подходы. Мне конечно нужен работающий код, это да. Но он мне нужен работающий и простой, и я не хочу лопатить море подозрительных решений, зачастую с багами, которые часто реализуют не то, что мне надо, а зачастую выдают неработающий код. Банальные вещи (темплаты) действительно можно либо легко найти в первой десятке ссылок, либо АИ выдаст их по запросу. Но какие-то специальные решения всегда проще сделать самому - мне АИ редко выдавал рабочий код под мою задачу.
Можно и дальше пойти. Пишете вы код, а на втором мониторе окошко: "о, какой интересный код написали, молодец! Перешлю-ка я его тихонько дяде Васе, он над похожей проблемой уже 2й год бьется и решить не может, а ему ваш код пригодится."
Кожаных мешков заменят на ржавые железяки, а им смартфоны не нужны - будут по интернету общаться. По 8G.
Интересно пилит: попробовал сгеренить ирландский танец без скрипки, но на гитаре и пианино - ужаснулся. Звук жуткий - скорее на пиле кто-то пытается что-то играть. Видимо, это была гитара. А вообще - забавные вещи генерит, текст понимает.
А где CIFG брали, сами писали? На чем сеть реализовывали?