Отличный анализ, обзор архитектур ИНС, и их перспектив, спасибо! Странно, что мало откликов читателей. Похоже только когда лопнет пузырь чисто трансформерных ЯМ только тогда бонзы от индустрии, и массы обратят внимание на подобные архитектурные решения, более приближенные к когнитивной. Как то делал собственный прогноз, и предполагал такой возврат к рекуррентности - Mamba частично использует ее. Следующий этап возможно переход к энергоэффективным, истинно рекуррентным, нейроморфным решениям. В этой же нейроморфной парадигме возможно решение самой продвинутый возможности мозга, особенно при решении творческих задач - морфогенеза, когда нейросети могут менять свою архитектуру под воздействием трудной решаемой задачи, т.е. меняет не только веса связей синапсов (аналог STDP) по ходу ее решения, но и строит новые и уничтожает некоторые старые синаптические связи (аналог синаптогенеза), и возможно подключать новые нейроны (аналог нейрогенеза), т.е. на полную использовать аналог нейропластичности мозга на всех уровнях. Как-то так на примере открытия периодического закона Менделеевым)
Хиггсовский разрыв можно понимать как событие, в котором масса включила геометрию. До этого Вселенная представляла собой океан безмассовых возбуждений, где не существовало привилегированных масштабов и всё было подчинено конформной симметрии. С появлением вакуумного ожидания поля Хиггса возникает измерительная шкала, и пространство-время приобретает классическую плотность и топологию.
Такое чтение делает хиггсовский переход особым: это не просто физическое событие, но и момент перехода от «чистой математики» к «материи», от безмассовой симметрии к телесной геометрии.
Чистая математика здесь только потому что модельные представления БВ переносятся на реальность. Другой информации пока нет. Времени там еще нет, как длительности, а графики, что там было, рисуем) Просто это провал в нашем понимании, как и любая другая сингулярность в мат. модели физических теорий связанная с их эмпирической недоопределенностью. Но полет воображения потрясает!
Еще раз, не нужно употреблять нейробиологов и специалистов в области когнитивных исследований, да и философов тоже, в контексте того, что вы написали, это вводит в заблуждение, они занимаются другим, тем чем написал и дал ссылки на публикации. Работаю в лабе такого профиля и участвую в разработке приложений.
Кант на сегодня не общепринятая платформа, да, это замечательный источник идей, но единого Кантовского стандарта нет.
Тогда не понял смысла этот пассажа из приведенной цитаты
С этой точки зрения большое уважение у меня вызывают те, кого можно назвать операционными философами — нейробиологи, инженеры ИИ, когнитивисты-материалисты: по крайней мере, свои гипотезы они не делают самоцелью или способом получения научных званий, а честно пытаются реализовать их на практике.
Как раз эти специалисты, которых называете "операционными философами", находят воплощения элементов схематизма познания Канта в конкретных механизмах на всех уровнях мозга, его структурах и функциях. Существуют целые кантианские программы исследования в различных науках, первую очередь когнитивных. Идейно они воплотились в теоретических представлениях теории о когнитивном ядре познания (обзор), включающего такую составляющую, как чувство агентности. А также родственной, более низкоуровневой, теории общих магнитуд, в которой априорными считаются базовые физические и математические способности - 1, 2, 3 (можно найти на сайхабе). Как примеры исследования на уровне сетей мозга открытие клеток места, направления и сетки - 1, 2, за которое авторы получили нобель по физиологии и медицине 2014 г. В обеих статьях подчеркивается, что это открытие подтверждает предсказание Канта об априорном характере пространства, своеобразном чувстве, или скорее интуиции пространства.
Без этого этапа адаптация этих механизмов для практического применениях в том же ИИ вряд ли возможна. Конечно разработчики ИИ что-то придумывают сами, пробуют, или могут угадать такие схемы, или как правило, со временем меняют их на биологически более правдоподобные. Как такового своего пути у ИИ нет, это распространенная иллюзия возникающая из-за не знания положения дел в этих областях исследований, см. тут подробнее.
В связи с этим, у меня возник вопрос: а пробуют ли они тестировать свои идеи? Сразу предвижу возмущение — там волшебные квалиа, ощущения, «Я», эмоции, душа и субъект, мудрецы, медитация и никакой «низменной материи».
Честно скажу, такой подход мне кажется непродуктивным. Текущее развитие ИИ требует не размышлений о тонкостях толкования влияния этернализма на интеракционалистскую свободу воли субъекта, а формирования операционных алгоритмов философии, которые можно будет запускать как симуляции на компьютерах и ИИ.
Если философская концепция не может быть формализована и протестирована — грош цена такой концепции.
С этой точки зрения большое уважение у меня вызывают те, кого можно назвать операционными философами — нейробиологи, инженеры ИИ, когнитивисты-материалисты: по крайней мере, свои гипотезы они не делают самоцелью или способом получения научных званий, а честно пытаются реализовать их на практике.
Существует экспериментальная философия, которая занимается проверкой на практике философский идей в виде опросов и другими способами, и поэтому операционализирующаю ее - 1, 2, 3.
Однако общепринятой платформой операционализации проблем сознания, и других ментальных явлений, считается философия познания Канта (сжато), по мнению многих являющейся фактически больше натуралистической, нежели философской теорией. Это неиссякаемый источник идей для когнитивных подходов (методологии) и исследований - предиктивного, доминирующего сейчас подхода в когнитивных науках, воплощенного подхода, нейрофеменологии, и др. Все дело в ее схематизме, эпистемеологии - знаниях, которые определяют по-знание и со-знание. Знания можно рассматривать, как вид информации, и поэтому это источник ко всем информационным подходам к этим проблемам. Это неизбежно затрагивает проблематику ИИ - 1, 2, 3, 4, 5.
По хорошему сингулярностей в физике быть не может. Законы сохранения не позволят.
Сингулярностей в математических моделях физических теорий полно, они были всегда начиная с механики Ньютона, см. комент на эту тему. Это признак незавершенности теорий, их эмпирической недоопределенности, и по видимому, это не устранимо окончательно. Если устранятся все, то процесс физического познания должен завершиться, дыр в теориях не останется. Самой загадочная "сингулярность" в таком смысле является не физической, а сознание самого человека)
А почему трансформеры не могут быть адекватны прототипу в мозге
Неплохо объяснено в статьях на вики - 1, 2. Некоторые исследования на эту тему - 1, 2. Аттракторы, нелинейная динамика, метастабильные состояния и критические режимы основные кандидаты в объяснение и моделирование нейродинамики в мозге - 1, 2, 3, 4, 5, 6, 7 ... Не случайно их пытаются возродить на новом уровне - 1, 2, 3. Трансформеры тоже имеют прототип в мозге в сетях гиппокампа, это специализированная структура мозга.
Учёные пришли к выводу, что творчество состоит из математических закономерностей. В основу заложены уравнения и статистические законы.
Статистические закономерности возможны, но прямо уравнения вряд ли. Появление самих великих открытий и изобретений скорее культурные мутации (инсайты) с родни генетическим. Как и генетические, некоторые из которых приводят к появлению новых возможностей и видов, они также не предсказуемы. Однако для этого должны созреть подходящие условия, как и для великих открытий в науке.
Это можно проследить на примере открытия Менделеевым периодического закона его имени. Ходят упорные слухи, что он приснился ему во время дремы на рабочем месте)
Сплошной креатив автора комента об открытии Меделеева
Известно, что необходимая информация об атомных весах и других свойствах элементов к тому времени была уже доступна, и другие ученые высказывали похожие идеи используя обобщение (производя эмпирическую индукцию) по этим свойствам. Собственно, исходно Менделеев также произвел подобное обобщение видимо из-за того что писал учебник по химии, и это имело больше дидактический смысл. Произвел формальный вывод на основе известных свойств, то что сейчас могут делать и ЯМ. Однако Менделеев пошел дальше логического вывода и представил это в виде нового концептуального представления, не сводящегося к предыдущим знаниям. Он сформулировал его в виде периодического закона позволявшего предсказывать свойства еще не открытых элементов. В чем разница? На первый взгляд это дальнейшее обобщение размещения по свойствам. Внешне так и представляется. Однако нет. Индукция — индукцией, особенно эмпирической, в обыденной жизни люди постоянно видят закономерности в повторениях и схожих ситуациях, однако на практике могут быть исключения из таких кажущихся связей. Концептуальная формулировка периодического закона отражает интуитивное представление предвосхитившее связь атомных весов элементов с устройством атомов, их ядер, с величиной их заряда, что в последствии подтвердилось. Знаний которых в помине не было в то время. Этот скачкообразный переход, который произошел через некоторое время (периода инкубации) после публикации первоначального варианта таблицы в учебнике, зафиксирован в биографии Менделеева, как осознание (озарение) важности самого принципа периодичности для классификации элементов по атомным весам, и соответственно издания отдельной публикации для закрепления приоритета открытия. Произошла своеобразная мутация в концептуальных представлениях, получивших новое содержание, которые логически невозможно свести к существующим. Без этого знания были бы просто тавтологией существующих и никакого развития представлений не происходило. В мозге за инсайт отвечают стимулируемые поиском решения процессы морфогенеза связанные не только с синаптической пластичностью (ассоциативностью, изменением весов связей), но и случайный рост аксонов, их новые связи, возможно даже нейрогенез. Нейронные сети мозга являются принципиально динамическими системами в которых в процессе интенсивного поиска решений изменяются, как сила связи между элементами, так и сама архитектура сети. Такой уровень пока не доступен современной технологии ИНС с ее статичной архитектурой и состоянием после обучения. Процессы морфогенеза активизируются во время сна, процедуры консолидации памяти, и может быть связана со сновидениями - 1, 2, 3, 4, 5.
Так что байка про открытие периодического закона Менделеевым во время сна хотя и не подтверждалась им лично не могло обойтись без него)
Так мозг и большие языковые модели не одинаковы по устройству, но их объединяет ключевой принцип — предсказание следующего слова. Это показывает, что статистические ожидания ИИ удивительно хорошо отражают прогнозирующую стратегию работы мозга при восприятии речи.
Что значит объединяет? ЯМ статистическая предсказательная модель естественного языка. Точнее и эффективнее это делают рекуррентные сети, которые более адекватны прототипу в мозге, но из-за распараллеливания обработки в трансформерах временно свернули на них из-за лучшей аппаратной поддержки не смотря большие затраты энергии и другие недостатки. Предиктивная парадигма (байесовский мозг/разум) уже, как лет двадцать с лишним, доминирует в когнитивных науках, см. перевод с дополнениями. Подобные эксперименты с предсказаниями речи проводят уже давно - 1, 2, 3.
За то что обратил внимание на тему когнитивных исследований и ссылку спасибо!
Все фундаментальные открытия приведшие к новым теориям таким, как КМ или ТО, были сделаны неожиданно, даже просто случайно, как в случае с радиоактивностью. Это относится к открытию линейчатых спектров, неожиданных результатов опытов Майкельсона-Морли, в которых было эмпирически установлено постоянство ск. света, или неожиданные, противоречащие теории тяготения Ньютона результаты наблюдений смещения перигелия Меркурия, и некоторые другие факты. Все они фактически вписываются в один сценарий - искали одно, нашили другое, нечто совершенно новое, не предсказываемое существующими теориями. А как еще должна проявлять себя неизведанная реальность? Только так.
Конечно при условии, что возможности экспериментальных технологий созрели для открытия таких ее новых проявлений. Как использование фотопроцесса в исследованиях, который позволил фиксировать продукты радиораспада, увеличение оптической чувствительности спектрометров, которое позволило увидеть линейчатость спектров, использование технологии интерофотометрии в исследованиях, которая позволила зафиксировать неизменность скорости света от направлений движения Земли. Оставалось только, чтобы кто-то, пусть случайно применил эти экспериментальные технологии в нужном контексте. Везло тем, кто занимался близкими задачами, как Беккерелю, который искал невидимые излучения, как Фраунгоферу, который занимался оптическими исследованиями, как Майкельсону и Морли, которые искали подтверждение теории эфира.
Поэтому исследования ТМ и ТЭ нужно вести во всех направлениях, по возможности проверять самые невероятные предположения, самыми разными доступными методами, если на них выделяют средства) Совершенно неожиданно кому повезет, и он в шуме увидит новое, что никак не предсказывалось никакими теориями и гипотетическими предположениями. И это станет толчком к новым теоретическим представлениям, которые не сводятся полностью к уже существующим. Как концепции квантованности и корпускулярно-волнового дуализма, которые потребовались для объяснения свойств линейчатых спектров и проблем с ними в классике, приведшие к КМ. Как делимость атом, точнее его ядра, в противоречии с его неделимостью по античным представлениям, приведшая к атомной и ядерной физике современности. Как концепция пространственно-временного континуума в виде пространства Минковского, для введения в физику конечности ск. распространения любых физических взаимодействий, приведшая к СТО. Или в более общем виде этой концепции, как псевдориманова многообразия, для объяснения аномалий во вращении Меркурия, приведшей к ОТО.
Действительно ждем новостей из физических и других лабораторий, надеемся, что кому-то повезет и он проявит серендипность) в хаосе эмпирических данных. Как Беккерель который увидел в этом шуме нечто новое, реально существующее явление, и сделал его достоянием физического сообщества, а не выбросил фотопластину в мусор.
Еще из истории серендипности в физике. Первым линейчатые спектры поглощения увидел Волластон. Увидел и решил, что это не достойный внимания шум прибора, упомянул об этом в своих записях, но поскольку он повторялся нашел ему нелепое объяснение, как границ цветовых диапазонов непрерывного ньютоновского спектра. В общем не проявил серендипности, возможно был уже стар, нелюбопытен и твердым приверженцем ньютоновской спектральной теории. А вот Фраунгофер любопытство проявил поняв, что это что-то новое, описал и сделал достоянием физического сообщества. Таких примеров в истории было не мало, кто упустил первенство открытия не придав ему значение, тот же С. Томсон, который также наткнулся на радиоактивность, но тоже не придал этому явлению достойного внимания. А сколько просто не обратили внимание на новое? Однако ситуация с тех пор сильно изменилась. Исследованиями занимаются не единицы а целые коллективы, эксперименты превратились в целые предприятия типа БАКа, или телескопов и детекторов частиц различного базирования, и объемы данных они генерируют не сметно. Одному человеку разобраться в них и найти новое уже не под силу. На помощь приходят суперкопы для анализа данных, но они ищут в них нужные паттерны, и набирают по ним статистику. А что же шумы? Их анализ пока не под силам. Хотя на сцене появился новый игрок - ИИ. Вот уже обнадеживающая новость такой ИИ что-то нашел в шуме БАКа. Осталось понять что? Распад или глюк)
Физическое познание видимо закончится, когда все шумы всех экспериментов получат свое объяснение.
О концептуальных. Об элементах множества «чувства»
Так они и не определи, что это за элементы множества. Если как элементарные, далее не делимые, то эти "чувства" должны соответствовать числу рецепторов. Если модальностям ощущений, то другой уровень, и другое число. Если архаичному делению Аристотеля, то их пять по основным органам чувств. Их вывод об оптимальности 7 чувств к чему относится? Как это применить к человеку? Прошел он этот оптимум в своем развитии, или еще нет?
Оказывается, максимум достигается, когда размерность концептуального пространства равна семи. Из этого исследователи делают вывод, что семь — это оптимальное количество чувств.
О каких чувствах идет речь? Пять насчитал в античности Аристотель - зрительные, слуховые, обонятельные, вкусовые и тактильные. Это грубое деление, считается по типам рецепторов, о которых он ничего не знал - короче.
«Наш вывод, конечно, носит чисто спекулятивный характер в применении к человеческим чувствам, хотя никогда не знаешь: может быть, люди будущего разовьют чувство радиации или магнитного поля.
Это может быть проделано с помощью нейроинтерфейсов - небольшой обзор исследований и технологий.
Получается в ядре галактик целый пул вложеных вселенных? ЧД сливаются, что происходит со всеми вложенными вселенными? ЧД сливаясь укрупняются, все сольются в одну? Сомнительно, что на этом уровне работает обычная линейная логика вложенных структур устройства нашей Вселенной. Мозг заполняет пустоту незнания знакомыми формами. Тот же Кант утверждал, что пространство и время лишь формы организации нашего восприятия и мышления, а не свойства реальности, а разум постоянно путается в неразрешимой игре конечного и бесконечного, делимого и неделимого, и тп. И потому ждем неожиданных открытий из физических и других лабораторий, которые в корне противоречат устоявшимся физическим представлениям. Как это произошло с неожиданными открытиями линейчатых спектров и радиоактивности положивших начало наук о микромире, или неожиданного факта постоянства скорости света в опытах Майкельсона-Морли, а также ничем необъяснимо факта смещения перигелия Меркурия, которые в совокупности с другими фактами, привели к СТО и ОТО. А пока щелкаем семечки экстравагантных гипотез)
Спасибо, интересно. Как-то баловался подобными идеями) Но реальность и ее познание сложнее устроены, как минимум изучаем теорию познания Канта - 1, 2, 3
Может, но дело в другом, дело в принципе, что человек может обобщить процедуры вычисления при обучении на конечном числе примеров, а ЯМ с существующей архитектурой нет. См. подробнее выше.
По вашему утверждению выходит, что школяр способен умножить 15580146 на 550624703 без калькулятора и не ошибиться ни в одной из цифр.
В принципе столбиком может сложить и умножить любые числа на бумаге с ручкой, если освоил процедуру. Обратите внимание в принципе всегда, т.к человек сделал, первое, обобщение, и второе, оно действует, как навык, человеку не нужно каждый раз инструктировать, когда и как его применять. Ошибки могут возникать только из-за невнимания, т.е. случайно, это биология, но человек может их сам исправить в соответствии с процедурой. Есть конечно уникумы, которые делают подобное в уме, для них даже проводятся чемпионаты. Вычисления на мысленных абаках показывают еще более впечатляющие результаты, но это все специальные техники. Речь именно о символических вычислениях.
Что с ЯМ? Дело в принципе. Могут они обобщить счет на конечном числе примеров, или нет? Ответ - пока нет! И точно вычислять, какие бы установки для них делали, естественно предполагается установка "жадного" режима сэмплирования, тоже нет. Какие обобщения могут делать ЯМ с учетом их текущей архитектуры? Только аппроксимации, нейронные сети универсальные аппроксиматоры, думаю вы в курсе. Если для обобщения требуется конечное число примеров, как в примере здесь (в разделе "Ну а что там со сложением-то?"), то может произойти их полное обобщение, там даже подобранная формула для аппроксимации приведена. Если нет, т.е. требуется очень большое число примеров, а операции с числами несчетное множество, для вещественных континуум, то только приближенная аппроксимация, и соответственно обобщение. Именно поэтому ЯМ часто дают ответы близкие к правильным значениям в вычислениях с большими числами. Чем больше примеров в обучающей выборке, тем точнее аппроксимация, тем больше точных ответов и близких к правильным. Но всегда будут ошибочные. Это архитектурное ограничение прямых трансформерных сетей ЯМ! У калькуляторов, и в мат. пакетах такого ограничения нет, т.к. выполнение алгоритмов вычисления символических чисел в процессоре позволяет делать, в принципе, любое число циклов. В ЯМ это доступно только через внешний авторегрессионный цикл. И в том случае, если хотим заставить выполнять эти операции по инструкциям, коль скоро аппроксимации дают ошибки. При этом цикличность операций разворачивается в линейную последовательность шагов, где-то подобное на Хабре демонстрировалось. Их число будет конечным из-за ограничений объема контекстного окна, и следовательно, опять будут возникать ошибки. Конечно можно проверять их результаты, инструктировать в промптах исправлять ошибки, использовать разные оптимизации, и тд. Сорри, но это не ИИ будущего в моих представлениях.
Резюмируя в чем разница. Школьник на конечном числе примеров может сделать обобщение этих операций, и использовать их самостоятельно. Ошибки при вычислениях могут быть связаны с когнитивными ограничениями, в основном недостатком внимания, но он сам может проверять и исправлять их. ЯМ в принципе не могут сделать такое обобщение на конечном числе примеров, в силу специфики задачи, и ограничений архитектуры. Их ошибки связаны либо с ошибками аппроксимации, либо при инструкциях с ограничениями объема памяти контекстного окна. Ирония в том что само железо на котором "крутится" ЯМ при прямом программировании такие точные вычисления делать может, а вот мозг наоборот, прямые вычисления может делать ограниченно, только с использование специальных техник, как это делают феноменальные счетчики.
У человек также имеется нативная аппроксимационная процедура оценки численности и операций с ними, доставшаяся нам эволюционно. Она правильно работает только до 3-4, дальше вероятностные оценки подчиняющиеся закону Вебера (отношение разброса оценки к самому числу константа). Символическое представление чисел и операций с ними выработалась и базируется на этой системе. К абстрактно-символической мы прибегаем, когда есть время на точный счет, если нет, особенно в опасных ситуациях, то оцениваем и вычисляем с помощью нативной системы приближенно. И это позволяет, как правило, выживать, и животным, и человеку.
Это не одна проблема с обобщением, подобных выявилось не мало в процессе эксплуатации ЯМ в последнее время, поэтому начинается новый цикл осмысления их архитектуры, и ЯМ и агентов - 1, 2, 3. На мой взгляд конечным решением будет переход на нейроморфные архитектуры. У них преимущества по динамике, асинхронности выполнения, непрерывности обучения, вычислениям в памяти, и главное, в энергоэффективности.
По 1 ссылке как раз противоположное говорится, что модели могут это сделать.
Сорру, правильная ссылка на комент, ниже ссылка на другой пример.
Люди собирали статистику, им больше доверия. По логике, если ЯМ используют CoT, то точность будет зависеть от объема контекстного окна. У вас примеры простые с целыми числами, речь о любых. Проверьте с вещественные стозначные и со сто знаков после запятой сгенерированные случайно с набором статистики. Если проверять, то корректно. Да, на практике такие числа практически не встречаются, но это дело принципа, сравнения с возможностями человека, как мотив для развития ЯМ. Когда-то и такие числа могут быть востребованы, и что это будет за ИИ, который не может правильно обучиться достаточно простой для человеческого интеллекта задаче обобщения? Таких процедур не мало, если эволюция отвела для них даже отдельный вид памяти.
В чем вообще проблема. Символическое сложение и умножение циклические процедуры. Со школы обучившись этой процедуре на примерах и объяснениях учителей навык оседает в процедурной памяти, как, например, и навык вождения авто после обучения. Проводились даже исследование таких навыков с визуализацией активности мозга, где и как, и такая цикличность была зафиксирована. В мозге связи рекуррентные. В ЯМ с трансформерной архитектурой, а сами они прямые сети, организовать цикличность можно только через внешний авторегрессионный цикл, и в этом проблема, из-за конечности размера окна.
Спасибо за примеры генерации. У меня их тоже полно, правда где-то годовой давности, и там ошибок немало. Не раз обсуждал эту тему - ветка с многими примерами, пример, правда, со степенями, ветка о причинах ошибок. Но приведенные примеры возможно несколько устарели, и уже правильно вычисляются в новых моделях, обучающие выборки растут в объеме и числе параметров моделей. Но все примеры с числами в выборках все равно не охватить.
Но как быть с бесконечностями? Здесь вступает в игру перенормировка - один из самых непонятых, но фундаментальных инструментов теоретической физики.
Суть в следующем: бесконечности, возникающие в расчётах, не являются физическими. Они - артефакт того, что мы пытаемся описать взаимодействие на всех масштабах сразу, включая нереалистично малые расстояния. Перенормировка позволяет "переопределить" наблюдаемые величины - массу и заряд электрона - через их эффективные значения, измеренные при определённых условиях. Всё, что не наблюдается напрямую, поглощается в эти параметры.
Это не "подгонка", как иногда думают. Это строгая математическая процедура, доказанная Дайсоном: в КЭД все бесконечности можно последовательно устранить, и результат остаётся конечным и предсказуемым.
Костыль от того, что он достаточно точный, не перестает быть костылем. Его суть в экспериментальном устранении расходимостей, которая зависит от точности измерений, в данном случае, массы и заряда электрона. Чем точнее эти измерения, тем точнее результаты подпраленной ручками теории.
Наличие сингулярностей в формальном аппарате физических теории признак незавершенности теорий. Насколько он распространен? Вспомним классику, бесконечности в законах гравитации Ньютона и электростатики Кулона при радиусе стремящимся к нулю. Каким костылем это объясняли тогда? Конечностью размера неделимого атома, еще демокритовского. До тех пор пока не выяснилось, что атом делим, точнее его ядро, и это было началом новой атомной и ядерной физики. А ультрафиолетовая катастрофа связанная с бесконечной энергией спектра при стремлении длины волны к нулю? Привела к идее костыля квантования, Планк долго стеснялся о нем сообщать физическому сообществу, но развитие этой идеи привело к новой науке - КМ. Сингулярность во втором законе Ньютона a = F / m , при m стремящей к нулю приводит к бесконечному ускорению. Чем закрывали? Тем же костылем неделимого атома с конечной массой. Оказалось нет, проблема в другом, в ограниченной скорости распространения взаимодействий, которая была установлена в опытах Майкельсона-Морли. К чему это привело, в совокупности с другими факторами? К новой механике в виде СТО. Эта же сингулярность в законе тяготения Ньютона в совокупности с СТО привела к обобщению в виде новой теории гравитации - ОТО. Но и в ней сингулярности не исчезли. Эйнштейн считал обнаружение сингулярных решений ОТО большим недостатком теории. Пока одно из них в применении к эволюции Вселенной не было подтверждено наблюдениями Хабла, и впоследствии стало основой для теории БВ. Позже было подтверждено другое сингулярное решение в виде обнажения ЧД. Сингулярности просто орут о новом, неизвестном) Ищите здесь новые горизонты реальности, отбрасывая костыли! Как эти подтвержденные сингулярности ОТО объяснить? Пока не известно, имеются только предположения, теоретические костыли. Один из них, призванный навсегда закрыть проблему размеров частиц, теория струн. Но, увы. Результативных экспериментов по закрытию этих сингулярностей еще не было и многие уже не надеется это. Почему? ТС чисто математический экзерсис на который было потрачено немало сил и ресурсов. Проявления новых горизонтов реальности абсолютно не предсказуемо! Имеется в виду вне известных теорий. Все перечисленные выше экспериментальные результаты были получены случайно, как правило, в стиле искали одно, нашли другое. Так было с открытием линейчатых спектров, радиоактивности, не ожидаемого негативного результата опытов М-М, и тд. Костыли в теориях просто так не уходят, для этого необходимо созревание многих условий, первую очередь, появления новых экспериментальных технологий, и тогда открытие становится делом везения. В случае с открытием линейчатых спектров такой новой технологией было резкое повышение чувствительности спектроскопов, радиоактивности - открытие фотографического процесса, опытов М-М появление интерферометрии.
Вот так дыры в формальных моделях физических теорий, говорящие о их ограничениях, приводят к костылям для их закрытия, теоретическим и опытным, борьба с которыми приводит к новых экспериментальным открытиям фундаментального уровня, и к теориям новой физики, которая эти дыры корректно закрывают. И, увы, открывают другие, новые, более глубокие и трудные для понимания. И как утверждал старик Кант в своей теории познания конца этому не видно - реальность "вещей в себе" до конца не познаваема)
Отличный анализ, обзор архитектур ИНС, и их перспектив, спасибо! Странно, что мало откликов читателей. Похоже только когда лопнет пузырь чисто трансформерных ЯМ только тогда бонзы от индустрии, и массы обратят внимание на подобные архитектурные решения, более приближенные к когнитивной. Как то делал собственный прогноз, и предполагал такой возврат к рекуррентности - Mamba частично использует ее. Следующий этап возможно переход к энергоэффективным, истинно рекуррентным, нейроморфным решениям. В этой же нейроморфной парадигме возможно решение самой продвинутый возможности мозга, особенно при решении творческих задач - морфогенеза, когда нейросети могут менять свою архитектуру под воздействием трудной решаемой задачи, т.е. меняет не только веса связей синапсов (аналог STDP) по ходу ее решения, но и строит новые и уничтожает некоторые старые синаптические связи (аналог синаптогенеза), и возможно подключать новые нейроны (аналог нейрогенеза), т.е. на полную использовать аналог нейропластичности мозга на всех уровнях. Как-то так на примере открытия периодического закона Менделеевым)
Чистая математика здесь только потому что модельные представления БВ переносятся на реальность. Другой информации пока нет. Времени там еще нет, как длительности, а графики, что там было, рисуем) Просто это провал в нашем понимании, как и любая другая сингулярность в мат. модели физических теорий связанная с их эмпирической недоопределенностью. Но полет воображения потрясает!
Сорри, не проверил после переноса из файла в котором редактировал в комент. ИИ тут не причем, на такой анализ ЯМ еще не способны) Правильные
Статьи Бажанова - 1, 2, другие полезные на его странице.
Теория когнитивного ядра на вики, агентность.
Теория общих магнитуд - 1
Исследование клеток решеток - 1, 2.
Недоступные можно найти на сайхабе.
Еще раз, не нужно употреблять нейробиологов и специалистов в области когнитивных исследований, да и философов тоже, в контексте того, что вы написали, это вводит в заблуждение, они занимаются другим, тем чем написал и дал ссылки на публикации. Работаю в лабе такого профиля и участвую в разработке приложений.
Тогда не понял смысла этот пассажа из приведенной цитаты
Как раз эти специалисты, которых называете "операционными философами", находят воплощения элементов схематизма познания Канта в конкретных механизмах на всех уровнях мозга, его структурах и функциях. Существуют целые кантианские программы исследования в различных науках, первую очередь когнитивных. Идейно они воплотились в теоретических представлениях теории о когнитивном ядре познания (обзор), включающего такую составляющую, как чувство агентности. А также родственной, более низкоуровневой, теории общих магнитуд, в которой априорными считаются базовые физические и математические способности - 1, 2, 3 (можно найти на сайхабе). Как примеры исследования на уровне сетей мозга открытие клеток места, направления и сетки - 1, 2, за которое авторы получили нобель по физиологии и медицине 2014 г. В обеих статьях подчеркивается, что это открытие подтверждает предсказание Канта об априорном характере пространства, своеобразном чувстве, или скорее интуиции пространства.
Без этого этапа адаптация этих механизмов для практического применениях в том же ИИ вряд ли возможна. Конечно разработчики ИИ что-то придумывают сами, пробуют, или могут угадать такие схемы, или как правило, со временем меняют их на биологически более правдоподобные. Как такового своего пути у ИИ нет, это распространенная иллюзия возникающая из-за не знания положения дел в этих областях исследований, см. тут подробнее.
Удачи в поисках!
Спасибо за статью, интересные поиски.
Некоторые замечания.
Существует экспериментальная философия, которая занимается проверкой на практике философский идей в виде опросов и другими способами, и поэтому операционализирующаю ее - 1, 2, 3.
Однако общепринятой платформой операционализации проблем сознания, и других ментальных явлений, считается философия познания Канта (сжато), по мнению многих являющейся фактически больше натуралистической, нежели философской теорией. Это неиссякаемый источник идей для когнитивных подходов (методологии) и исследований - предиктивного, доминирующего сейчас подхода в когнитивных науках, воплощенного подхода, нейрофеменологии, и др. Все дело в ее схематизме, эпистемеологии - знаниях, которые определяют по-знание и со-знание. Знания можно рассматривать, как вид информации, и поэтому это источник ко всем информационным подходам к этим проблемам. Это неизбежно затрагивает проблематику ИИ - 1, 2, 3, 4, 5.
Сингулярностей в математических моделях физических теорий полно, они были всегда начиная с механики Ньютона, см. комент на эту тему. Это признак незавершенности теорий, их эмпирической недоопределенности, и по видимому, это не устранимо окончательно. Если устранятся все, то процесс физического познания должен завершиться, дыр в теориях не останется. Самой загадочная "сингулярность" в таком смысле является не физической, а сознание самого человека)
Неплохо объяснено в статьях на вики - 1, 2. Некоторые исследования на эту тему - 1, 2. Аттракторы, нелинейная динамика, метастабильные состояния и критические режимы основные кандидаты в объяснение и моделирование нейродинамики в мозге - 1, 2, 3, 4, 5, 6, 7 ... Не случайно их пытаются возродить на новом уровне - 1, 2, 3. Трансформеры тоже имеют прототип в мозге в сетях гиппокампа, это специализированная структура мозга.
Однако в дальней перспективе это переход к нейроморфным технологиям, которые решают многие проблемы современных ИНС.
Статистические закономерности возможны, но прямо уравнения вряд ли. Появление самих великих открытий и изобретений скорее культурные мутации (инсайты) с родни генетическим. Как и генетические, некоторые из которых приводят к появлению новых возможностей и видов, они также не предсказуемы. Однако для этого должны созреть подходящие условия, как и для великих открытий в науке.
Это можно проследить на примере открытия Менделеевым периодического закона его имени. Ходят упорные слухи, что он приснился ему во время дремы на рабочем месте)
Сплошной креатив автора комента об открытии Меделеева
Известно, что необходимая информация об атомных весах и других свойствах элементов к тому времени была уже доступна, и другие ученые высказывали похожие идеи используя обобщение (производя эмпирическую индукцию) по этим свойствам. Собственно, исходно Менделеев также произвел подобное обобщение видимо из-за того что писал учебник по химии, и это имело больше дидактический смысл. Произвел формальный вывод на основе известных свойств, то что сейчас могут делать и ЯМ. Однако Менделеев пошел дальше логического вывода и представил это в виде нового концептуального представления, не сводящегося к предыдущим знаниям. Он сформулировал его в виде периодического закона позволявшего предсказывать свойства еще не открытых элементов. В чем разница? На первый взгляд это дальнейшее обобщение размещения по свойствам. Внешне так и представляется. Однако нет. Индукция — индукцией, особенно эмпирической, в обыденной жизни люди постоянно видят закономерности в повторениях и схожих ситуациях, однако на практике могут быть исключения из таких кажущихся связей. Концептуальная формулировка периодического закона отражает интуитивное представление предвосхитившее связь атомных весов элементов с устройством атомов, их ядер, с величиной их заряда, что в последствии подтвердилось. Знаний которых в помине не было в то время. Этот скачкообразный переход, который произошел через некоторое время (периода инкубации) после публикации первоначального варианта таблицы в учебнике, зафиксирован в биографии Менделеева, как осознание (озарение) важности самого принципа периодичности для классификации элементов по атомным весам, и соответственно издания отдельной публикации для закрепления приоритета открытия. Произошла своеобразная мутация в концептуальных представлениях, получивших новое содержание, которые логически невозможно свести к существующим. Без этого знания были бы просто тавтологией существующих и никакого развития представлений не происходило. В мозге за инсайт отвечают стимулируемые поиском решения процессы морфогенеза связанные не только с синаптической пластичностью (ассоциативностью, изменением весов связей), но и случайный рост аксонов, их новые связи, возможно даже нейрогенез. Нейронные сети мозга являются принципиально динамическими системами в которых в процессе интенсивного поиска решений изменяются, как сила связи между элементами, так и сама архитектура сети. Такой уровень пока не доступен современной технологии ИНС с ее статичной архитектурой и состоянием после обучения. Процессы морфогенеза активизируются во время сна, процедуры консолидации памяти, и может быть связана со сновидениями - 1, 2, 3, 4, 5.
Так что байка про открытие периодического закона Менделеевым во время сна хотя и не подтверждалась им лично не могло обойтись без него)
Что значит объединяет? ЯМ статистическая предсказательная модель естественного языка. Точнее и эффективнее это делают рекуррентные сети, которые более адекватны прототипу в мозге, но из-за распараллеливания обработки в трансформерах временно свернули на них из-за лучшей аппаратной поддержки не смотря большие затраты энергии и другие недостатки. Предиктивная парадигма (байесовский мозг/разум) уже, как лет двадцать с лишним, доминирует в когнитивных науках, см. перевод с дополнениями. Подобные эксперименты с предсказаниями речи проводят уже давно - 1, 2, 3.
За то что обратил внимание на тему когнитивных исследований и ссылку спасибо!
Только мне кажется, что темные камни на фотке по форме напоминают засохшие какашки? Похоже жизнь там точно была и оставила следы.
Все фундаментальные открытия приведшие к новым теориям таким, как КМ или ТО, были сделаны неожиданно, даже просто случайно, как в случае с радиоактивностью. Это относится к открытию линейчатых спектров, неожиданных результатов опытов Майкельсона-Морли, в которых было эмпирически установлено постоянство ск. света, или неожиданные, противоречащие теории тяготения Ньютона результаты наблюдений смещения перигелия Меркурия, и некоторые другие факты. Все они фактически вписываются в один сценарий - искали одно, нашили другое, нечто совершенно новое, не предсказываемое существующими теориями. А как еще должна проявлять себя неизведанная реальность? Только так.
Конечно при условии, что возможности экспериментальных технологий созрели для открытия таких ее новых проявлений. Как использование фотопроцесса в исследованиях, который позволил фиксировать продукты радиораспада, увеличение оптической чувствительности спектрометров, которое позволило увидеть линейчатость спектров, использование технологии интерофотометрии в исследованиях, которая позволила зафиксировать неизменность скорости света от направлений движения Земли. Оставалось только, чтобы кто-то, пусть случайно применил эти экспериментальные технологии в нужном контексте. Везло тем, кто занимался близкими задачами, как Беккерелю, который искал невидимые излучения, как Фраунгоферу, который занимался оптическими исследованиями, как Майкельсону и Морли, которые искали подтверждение теории эфира.
Поэтому исследования ТМ и ТЭ нужно вести во всех направлениях, по возможности проверять самые невероятные предположения, самыми разными доступными методами, если на них выделяют средства) Совершенно неожиданно кому повезет, и он в шуме увидит новое, что никак не предсказывалось никакими теориями и гипотетическими предположениями. И это станет толчком к новым теоретическим представлениям, которые не сводятся полностью к уже существующим. Как концепции квантованности и корпускулярно-волнового дуализма, которые потребовались для объяснения свойств линейчатых спектров и проблем с ними в классике, приведшие к КМ. Как делимость атом, точнее его ядра, в противоречии с его неделимостью по античным представлениям, приведшая к атомной и ядерной физике современности. Как концепция пространственно-временного континуума в виде пространства Минковского, для введения в физику конечности ск. распространения любых физических взаимодействий, приведшая к СТО. Или в более общем виде этой концепции, как псевдориманова многообразия, для объяснения аномалий во вращении Меркурия, приведшей к ОТО.
Действительно ждем новостей из физических и других лабораторий, надеемся, что кому-то повезет и он проявит серендипность) в хаосе эмпирических данных. Как Беккерель который увидел в этом шуме нечто новое, реально существующее явление, и сделал его достоянием физического сообщества, а не выбросил фотопластину в мусор.
Еще из истории серендипности в физике. Первым линейчатые спектры поглощения увидел Волластон. Увидел и решил, что это не достойный внимания шум прибора, упомянул об этом в своих записях, но поскольку он повторялся нашел ему нелепое объяснение, как границ цветовых диапазонов непрерывного ньютоновского спектра. В общем не проявил серендипности, возможно был уже стар, нелюбопытен и твердым приверженцем ньютоновской спектральной теории. А вот Фраунгофер любопытство проявил поняв, что это что-то новое, описал и сделал достоянием физического сообщества. Таких примеров в истории было не мало, кто упустил первенство открытия не придав ему значение, тот же С. Томсон, который также наткнулся на радиоактивность, но тоже не придал этому явлению достойного внимания. А сколько просто не обратили внимание на новое? Однако ситуация с тех пор сильно изменилась. Исследованиями занимаются не единицы а целые коллективы, эксперименты превратились в целые предприятия типа БАКа, или телескопов и детекторов частиц различного базирования, и объемы данных они генерируют не сметно. Одному человеку разобраться в них и найти новое уже не под силу. На помощь приходят суперкопы для анализа данных, но они ищут в них нужные паттерны, и набирают по ним статистику. А что же шумы? Их анализ пока не под силам. Хотя на сцене появился новый игрок - ИИ. Вот уже обнадеживающая новость такой ИИ что-то нашел в шуме БАКа. Осталось понять что? Распад или глюк)
Физическое познание видимо закончится, когда все шумы всех экспериментов получат свое объяснение.
Так они и не определи, что это за элементы множества. Если как элементарные, далее не делимые, то эти "чувства" должны соответствовать числу рецепторов. Если модальностям ощущений, то другой уровень, и другое число. Если архаичному делению Аристотеля, то их пять по основным органам чувств. Их вывод об оптимальности 7 чувств к чему относится? Как это применить к человеку? Прошел он этот оптимум в своем развитии, или еще нет?
О каких чувствах идет речь? Пять насчитал в античности Аристотель - зрительные, слуховые, обонятельные, вкусовые и тактильные. Это грубое деление, считается по типам рецепторов, о которых он ничего не знал - короче.
Это может быть проделано с помощью нейроинтерфейсов - небольшой обзор исследований и технологий.
Все может быть проще и сложнее одновременно, каждый индивид живет в собственной симуляции)
Получается в ядре галактик целый пул вложеных вселенных? ЧД сливаются, что происходит со всеми вложенными вселенными? ЧД сливаясь укрупняются, все сольются в одну? Сомнительно, что на этом уровне работает обычная линейная логика вложенных структур устройства нашей Вселенной. Мозг заполняет пустоту незнания знакомыми формами. Тот же Кант утверждал, что пространство и время лишь формы организации нашего восприятия и мышления, а не свойства реальности, а разум постоянно путается в неразрешимой игре конечного и бесконечного, делимого и неделимого, и тп. И потому ждем неожиданных открытий из физических и других лабораторий, которые в корне противоречат устоявшимся физическим представлениям. Как это произошло с неожиданными открытиями линейчатых спектров и радиоактивности положивших начало наук о микромире, или неожиданного факта постоянства скорости света в опытах Майкельсона-Морли, а также ничем необъяснимо факта смещения перигелия Меркурия, которые в совокупности с другими фактами, привели к СТО и ОТО. А пока щелкаем семечки экстравагантных гипотез)
Спасибо, интересно. Как-то баловался подобными идеями) Но реальность и ее познание сложнее устроены, как минимум изучаем теорию познания Канта - 1, 2, 3
Может, но дело в другом, дело в принципе, что человек может обобщить процедуры вычисления при обучении на конечном числе примеров, а ЯМ с существующей архитектурой нет. См. подробнее выше.
В принципе столбиком может сложить и умножить любые числа на бумаге с ручкой, если освоил процедуру. Обратите внимание в принципе всегда, т.к человек сделал, первое, обобщение, и второе, оно действует, как навык, человеку не нужно каждый раз инструктировать, когда и как его применять. Ошибки могут возникать только из-за невнимания, т.е. случайно, это биология, но человек может их сам исправить в соответствии с процедурой. Есть конечно уникумы, которые делают подобное в уме, для них даже проводятся чемпионаты. Вычисления на мысленных абаках показывают еще более впечатляющие результаты, но это все специальные техники. Речь именно о символических вычислениях.
Что с ЯМ? Дело в принципе. Могут они обобщить счет на конечном числе примеров, или нет? Ответ - пока нет! И точно вычислять, какие бы установки для них делали, естественно предполагается установка "жадного" режима сэмплирования, тоже нет. Какие обобщения могут делать ЯМ с учетом их текущей архитектуры? Только аппроксимации, нейронные сети универсальные аппроксиматоры, думаю вы в курсе. Если для обобщения требуется конечное число примеров, как в примере здесь (в разделе "Ну а что там со сложением-то?"), то может произойти их полное обобщение, там даже подобранная формула для аппроксимации приведена. Если нет, т.е. требуется очень большое число примеров, а операции с числами несчетное множество, для вещественных континуум, то только приближенная аппроксимация, и соответственно обобщение. Именно поэтому ЯМ часто дают ответы близкие к правильным значениям в вычислениях с большими числами. Чем больше примеров в обучающей выборке, тем точнее аппроксимация, тем больше точных ответов и близких к правильным. Но всегда будут ошибочные. Это архитектурное ограничение прямых трансформерных сетей ЯМ! У калькуляторов, и в мат. пакетах такого ограничения нет, т.к. выполнение алгоритмов вычисления символических чисел в процессоре позволяет делать, в принципе, любое число циклов. В ЯМ это доступно только через внешний авторегрессионный цикл. И в том случае, если хотим заставить выполнять эти операции по инструкциям, коль скоро аппроксимации дают ошибки. При этом цикличность операций разворачивается в линейную последовательность шагов, где-то подобное на Хабре демонстрировалось. Их число будет конечным из-за ограничений объема контекстного окна, и следовательно, опять будут возникать ошибки. Конечно можно проверять их результаты, инструктировать в промптах исправлять ошибки, использовать разные оптимизации, и тд. Сорри, но это не ИИ будущего в моих представлениях.
Резюмируя в чем разница. Школьник на конечном числе примеров может сделать обобщение этих операций, и использовать их самостоятельно. Ошибки при вычислениях могут быть связаны с когнитивными ограничениями, в основном недостатком внимания, но он сам может проверять и исправлять их. ЯМ в принципе не могут сделать такое обобщение на конечном числе примеров, в силу специфики задачи, и ограничений архитектуры. Их ошибки связаны либо с ошибками аппроксимации, либо при инструкциях с ограничениями объема памяти контекстного окна. Ирония в том что само железо на котором "крутится" ЯМ при прямом программировании такие точные вычисления делать может, а вот мозг наоборот, прямые вычисления может делать ограниченно, только с использование специальных техник, как это делают феноменальные счетчики.
У человек также имеется нативная аппроксимационная процедура оценки численности и операций с ними, доставшаяся нам эволюционно. Она правильно работает только до 3-4, дальше вероятностные оценки подчиняющиеся закону Вебера (отношение разброса оценки к самому числу константа). Символическое представление чисел и операций с ними выработалась и базируется на этой системе. К абстрактно-символической мы прибегаем, когда есть время на точный счет, если нет, особенно в опасных ситуациях, то оцениваем и вычисляем с помощью нативной системы приближенно. И это позволяет, как правило, выживать, и животным, и человеку.
Это не одна проблема с обобщением, подобных выявилось не мало в процессе эксплуатации ЯМ в последнее время, поэтому начинается новый цикл осмысления их архитектуры, и ЯМ и агентов - 1, 2, 3. На мой взгляд конечным решением будет переход на нейроморфные архитектуры. У них преимущества по динамике, асинхронности выполнения, непрерывности обучения, вычислениям в памяти, и главное, в энергоэффективности.
Сорру, правильная ссылка на комент, ниже ссылка на другой пример.
Люди собирали статистику, им больше доверия. По логике, если ЯМ используют CoT, то точность будет зависеть от объема контекстного окна. У вас примеры простые с целыми числами, речь о любых. Проверьте с вещественные стозначные и со сто знаков после запятой сгенерированные случайно с набором статистики. Если проверять, то корректно. Да, на практике такие числа практически не встречаются, но это дело принципа, сравнения с возможностями человека, как мотив для развития ЯМ. Когда-то и такие числа могут быть востребованы, и что это будет за ИИ, который не может правильно обучиться достаточно простой для человеческого интеллекта задаче обобщения? Таких процедур не мало, если эволюция отвела для них даже отдельный вид памяти.
В чем вообще проблема. Символическое сложение и умножение циклические процедуры. Со школы обучившись этой процедуре на примерах и объяснениях учителей навык оседает в процедурной памяти, как, например, и навык вождения авто после обучения. Проводились даже исследование таких навыков с визуализацией активности мозга, где и как, и такая цикличность была зафиксирована. В мозге связи рекуррентные. В ЯМ с трансформерной архитектурой, а сами они прямые сети, организовать цикличность можно только через внешний авторегрессионный цикл, и в этом проблема, из-за конечности размера окна.
Спасибо за примеры генерации. У меня их тоже полно, правда где-то годовой давности, и там ошибок немало. Не раз обсуждал эту тему - ветка с многими примерами, пример, правда, со степенями, ветка о причинах ошибок. Но приведенные примеры возможно несколько устарели, и уже правильно вычисляются в новых моделях, обучающие выборки растут в объеме и числе параметров моделей. Но все примеры с числами в выборках все равно не охватить.
Костыль от того, что он достаточно точный, не перестает быть костылем. Его суть в экспериментальном устранении расходимостей, которая зависит от точности измерений, в данном случае, массы и заряда электрона. Чем точнее эти измерения, тем точнее результаты подпраленной ручками теории.
Наличие сингулярностей в формальном аппарате физических теории признак незавершенности теорий. Насколько он распространен? Вспомним классику, бесконечности в законах гравитации Ньютона и электростатики Кулона при радиусе стремящимся к нулю. Каким костылем это объясняли тогда? Конечностью размера неделимого атома, еще демокритовского. До тех пор пока не выяснилось, что атом делим, точнее его ядро, и это было началом новой атомной и ядерной физики. А ультрафиолетовая катастрофа связанная с бесконечной энергией спектра при стремлении длины волны к нулю? Привела к идее костыля квантования, Планк долго стеснялся о нем сообщать физическому сообществу, но развитие этой идеи привело к новой науке - КМ. Сингулярность во втором законе Ньютона a = F / m , при m стремящей к нулю приводит к бесконечному ускорению. Чем закрывали? Тем же костылем неделимого атома с конечной массой. Оказалось нет, проблема в другом, в ограниченной скорости распространения взаимодействий, которая была установлена в опытах Майкельсона-Морли. К чему это привело, в совокупности с другими факторами? К новой механике в виде СТО. Эта же сингулярность в законе тяготения Ньютона в совокупности с СТО привела к обобщению в виде новой теории гравитации - ОТО. Но и в ней сингулярности не исчезли. Эйнштейн считал обнаружение сингулярных решений ОТО большим недостатком теории. Пока одно из них в применении к эволюции Вселенной не было подтверждено наблюдениями Хабла, и впоследствии стало основой для теории БВ. Позже было подтверждено другое сингулярное решение в виде обнажения ЧД. Сингулярности просто орут о новом, неизвестном) Ищите здесь новые горизонты реальности, отбрасывая костыли! Как эти подтвержденные сингулярности ОТО объяснить? Пока не известно, имеются только предположения, теоретические костыли. Один из них, призванный навсегда закрыть проблему размеров частиц, теория струн. Но, увы. Результативных экспериментов по закрытию этих сингулярностей еще не было и многие уже не надеется это. Почему? ТС чисто математический экзерсис на который было потрачено немало сил и ресурсов. Проявления новых горизонтов реальности абсолютно не предсказуемо! Имеется в виду вне известных теорий. Все перечисленные выше экспериментальные результаты были получены случайно, как правило, в стиле искали одно, нашли другое. Так было с открытием линейчатых спектров, радиоактивности, не ожидаемого негативного результата опытов М-М, и тд. Костыли в теориях просто так не уходят, для этого необходимо созревание многих условий, первую очередь, появления новых экспериментальных технологий, и тогда открытие становится делом везения. В случае с открытием линейчатых спектров такой новой технологией было резкое повышение чувствительности спектроскопов, радиоактивности - открытие фотографического процесса, опытов М-М появление интерферометрии.
Вот так дыры в формальных моделях физических теорий, говорящие о их ограничениях, приводят к костылям для их закрытия, теоретическим и опытным, борьба с которыми приводит к новых экспериментальным открытиям фундаментального уровня, и к теориям новой физики, которая эти дыры корректно закрывают. И, увы, открывают другие, новые, более глубокие и трудные для понимания. И как утверждал старик Кант в своей теории познания конца этому не видно - реальность "вещей в себе" до конца не познаваема)