Нет, не случайно. Тут есть числовые закономерности, связанные с четными и нечетными числами. Про них тут неплохо расписано https://lah.ru/ichzin-text/
И это еще не все, исследователи находили кучу закономерностей, которые получаются при анализе с помощью геометрии, но там под вопросом, было ли это задумано так, или какие-то из этих закономерностей просто случайно получились.
С четными же и нечетными, как по ссылке - точно не случайное совпадение.
Отличие прежде всего в области применения. BitNet для больших нейронок используют (для LLM, например), а этот метод для небольших сетей.
UBQ квантует и веса, и активации, а BitNet только веса.
UBQ — это про умное и стабильное обучение. Метод постоянно оценивает, насколько сеть уверена в знаке каждого веса, и в зависимости от этого выбирает более осторожную (гладкую) или агрессивную стратегию обновления.
BitNet — это про простоту и масштабируемость, он предназначен для огромных нейронок.
Алгоритм UBQ значительно сложнее устроен. Ну и если UBQ работает с полностью бинарными сетями, то BitNet работает с тремя состояниями (+1, -1, 0).
В релизе я написал на основе содержания статьи на эту тему:
"Эксперименты показали, что новый метод превосходит прежние при работе с небольшими сетями и демонстрирует сопоставимые результаты с методом прямой оценки для больших сетей. "
Про классическую механику конечно знаю. А еще в геометрическую алгебру отлично укладываются электромагнетизм (вся система уравнений Максвелла превращается в одно небольшое уравнение на комплексный кватернион), теория относительности (4-векторы всякие и т.п.), современная теория поля (как квантовая, так и классическая).
С помощью геометрической алгебры можно даже оптику рассчитывать.
Вот только не видел как ОТО уложить, но наверное как-то можно.
Ну там вся фундаментальность для физики в том, чтобы использовать для описания спиноров векторы из двух элементов вместо матриц 2 на 2 с комплексными числами. Для этого весь огород и городили с конкретными матрицами.
Однако при таком подходе, особенно когда не рассказывают, откуда это всё взялось, формулы выглядят совершенно загадочными.
Нет, там написано, какие данные новые. Совпадение энтальпии лишь показывает, что метод правильно её измеряет. И это не курсовая работа, она финансировалась РНФ.
Гамма-матрицы - это универсальный способ писать матричные представления для алгебр Клиффорда. Там сначала матрицы 2 на 2, потом блочные из таких матриц делаются 4 на 4, и так далее. У Широкова из ВШЭ в лекциях есть про это на странице 32 https://www.mi-ras.ru/noc/11_12/cllifalg10.12.11.pdf , причем довольно просто и доступно. А вот в книгах для физиков ничего внятного по этому поводу, к сожалению, не найти.
Да, спиноры Вейля только для пространств четной размерности.
Подозреваю, написано в хороших англоязычных источниках. Например, даже если просто википедию посмотреть по этим темам, на английском намного больше конкретной информации.
Я комментарий написал к вашей статье, где обозначил эту связь. К сожалению, физикам преподают сразу готовый формализм. То есть на уровне: вот есть конкретные матрицы Паули, спиноры - это векторы, в гамильтониан засовываем так, энергию получаем вот так.
Тут надо с матрицами связать. В квантовой механике оператор обычно описывается как x*σ1+y*σ2+z*σ3, а спинор как вектор. Суть в том, что
(1/2)(1 + σ₃) = [[1, 0], [0, 0]]
Итак, S = Cl₃ * p , где p = (1/2)(1 + σ₃)
Тогда
Ψ = M P = [[a, b], [c, d]] * [[1, 0], [0, 0]] = [[a, 0], [c, 0]]
Независимо от того, какую матрицу M мы брали, у результирующей матрицы Ψ второй столбец всегда равен нулю. Это означает, что вся информация о нашем спиноре Ψ содержится исключительно в его первом столбце.
Тогда удобно писать спинор не матрицей, а одним столбцом.
Тогда
Первый базисный спинор (матрица): Ψ_up = [[1, 0], [0, 0]]
Второй базисный спинор (матрица): Ψ_down = [[0, 0], [1, 0]]
В вашей статье про спиноры нет понятной связи с тем, как это в физике используется. Там спиноры - это векторы (матрицы 2 на 1), а операторы - это комплексные матрицы 2 на 2.
То, что вы там описали - это спиновое (проективное) разложение пространств. Но в общем понять, как от этого перейти к тому, что используется в физике - не так просто.
Да, я ошибся, посмотрел устаревшую информацию. Эти две используют Flow Matching, опираясь на описанное еще в статье 2022-го года https://arxiv.org/abs/2209.03003 . Это обычный RF, без более поздних улучшений, которые были предложены в различных академических статьях. Но многие другие еще не используют.
На данный момент ни одна из самых известных генеративных нейросетей (Midjourney, Stable Diffusion, DALL-E 3, Кандинский) не использует Optimal Flow Matching (OFM), OT-CFM или Rectified Flows (RF) в качестве своей основной, базовой архитектуры.
Все они построены на другом, хотя и идейно связанном, принципе — диффузионных моделях (Diffusion Models), а точнее, на их более эффективной версии, латентных диффузионных моделях (Latent Diffusion Models, LDM).
По сути, OFM, OT-CFM и RF — это технологии следующего поколения, которые обещают радикально ускорить генерацию, сохранив высокое качество.
Да. На эту тему на Хабре была очень подробная статья Термоядерный синтез: водород и бор вместо дейтерия и трития / Хабр
Нет, не случайно. Тут есть числовые закономерности, связанные с четными и нечетными числами. Про них тут неплохо расписано https://lah.ru/ichzin-text/
И это еще не все, исследователи находили кучу закономерностей, которые получаются при анализе с помощью геометрии, но там под вопросом, было ли это задумано так, или какие-то из этих закономерностей просто случайно получились.
С четными же и нечетными, как по ссылке - точно не случайное совпадение.
Отличие прежде всего в области применения. BitNet для больших нейронок используют (для LLM, например), а этот метод для небольших сетей.
UBQ квантует и веса, и активации, а BitNet только веса.
UBQ — это про умное и стабильное обучение. Метод постоянно оценивает, насколько сеть уверена в знаке каждого веса, и в зависимости от этого выбирает более осторожную (гладкую) или агрессивную стратегию обновления.
BitNet — это про простоту и масштабируемость, он предназначен для огромных нейронок.
Алгоритм UBQ значительно сложнее устроен. Ну и если UBQ работает с полностью бинарными сетями, то BitNet работает с тремя состояниями (+1, -1, 0).
В релизе я написал на основе содержания статьи на эту тему:
"Эксперименты показали, что новый метод превосходит прежние при работе с небольшими сетями и демонстрирует сопоставимые результаты с методом прямой оценки для больших сетей. "
Про классическую механику конечно знаю. А еще в геометрическую алгебру отлично укладываются электромагнетизм (вся система уравнений Максвелла превращается в одно небольшое уравнение на комплексный кватернион), теория относительности (4-векторы всякие и т.п.), современная теория поля (как квантовая, так и классическая).
С помощью геометрической алгебры можно даже оптику рассчитывать.
Вот только не видел как ОТО уложить, но наверное как-то можно.
Переход в матрицам показан для того, чтобы продемонстрировать, как работает общепринятый формализм в физике. Там же просто матрицы эти пишут.
"возможно, матричное представление для матриц Паули не является фундаментальным и лучше сразу мыслить в терминах e1 e2 e3 c их свойствами. "
Разумеется, оно не фундаментальное. Но вопрос, лучше ли - неоднозначен.
Ну там вся фундаментальность для физики в том, чтобы использовать для описания спиноров векторы из двух элементов вместо матриц 2 на 2 с комплексными числами. Для этого весь огород и городили с конкретными матрицами.
Однако при таком подходе, особенно когда не рассказывают, откуда это всё взялось, формулы выглядят совершенно загадочными.
Ответ на этот вопрос известен давно. Передать информацию с помощью запутанности невозможно.
Нет, там написано, какие данные новые. Совпадение энтальпии лишь показывает, что метод правильно её измеряет. И это не курсовая работа, она финансировалась РНФ.
Гамма-матрицы - это универсальный способ писать матричные представления для алгебр Клиффорда. Там сначала матрицы 2 на 2, потом блочные из таких матриц делаются 4 на 4, и так далее. У Широкова из ВШЭ в лекциях есть про это на странице 32 https://www.mi-ras.ru/noc/11_12/cllifalg10.12.11.pdf , причем довольно просто и доступно. А вот в книгах для физиков ничего внятного по этому поводу, к сожалению, не найти.
Да, спиноры Вейля только для пространств четной размерности.
Подозреваю, написано в хороших англоязычных источниках. Например, даже если просто википедию посмотреть по этим темам, на английском намного больше конкретной информации.
Я тут написал переход от Вашей статьи к курсу физики https://habr.com/ru/articles/949788/ .
Про связь с Фурье имело бы смысл написать отдельную статью.
Вообще-то есть формула для размерности спиноров Вейля.
Пусть пространство имеет размерность n = 2*x или 2*x+1
Тогда у спинора Вейля размерность 2^x.
Соответственно, для 5+1 и 6+1 будет один и тот же ответ. Это 8.
Я комментарий написал к вашей статье, где обозначил эту связь. К сожалению, физикам преподают сразу готовый формализм. То есть на уровне: вот есть конкретные матрицы Паули, спиноры - это векторы, в гамильтониан засовываем так, энергию получаем вот так.
Тут надо с матрицами связать. В квантовой механике оператор обычно описывается как x*σ1+y*σ2+z*σ3, а спинор как вектор. Суть в том, что
(1/2)(1 + σ₃) = [[1, 0], [0, 0]]
Итак, S = Cl₃ * p , где p = (1/2)(1 + σ₃)
Тогда
Ψ = M P = [[a, b], [c, d]] * [[1, 0], [0, 0]] = [[a, 0], [c, 0]]
Независимо от того, какую матрицу M мы брали, у результирующей матрицы Ψ второй столбец всегда равен нулю. Это означает, что вся информация о нашем спиноре Ψ содержится исключительно в его первом столбце.
Тогда удобно писать спинор не матрицей, а одним столбцом.
Тогда
Первый базисный спинор (матрица): Ψ_up = [[1, 0], [0, 0]]
Второй базисный спинор (матрица): Ψ_down = [[0, 0], [1, 0]]
ψ_down = e₁ * (1/2)(1 + e₃) = (1/2)(e₁ + e₁e₃)
Таким образом,
Ψ_up = P
Ψ_down = σ₁ * P
В вашей статье про спиноры нет понятной связи с тем, как это в физике используется. Там спиноры - это векторы (матрицы 2 на 1), а операторы - это комплексные матрицы 2 на 2.
То, что вы там описали - это спиновое (проективное) разложение пространств. Но в общем понять, как от этого перейти к тому, что используется в физике - не так просто.
Да, я ошибся, посмотрел устаревшую информацию. Эти две используют Flow Matching, опираясь на описанное еще в статье 2022-го года https://arxiv.org/abs/2209.03003 . Это обычный RF, без более поздних улучшений, которые были предложены в различных академических статьях. Но многие другие еще не используют.
Еще тут https://huggingface.co/docs/diffusers/index есть реализации и пайплайны.
На данный момент ни одна из самых известных генеративных нейросетей (Midjourney, Stable Diffusion, DALL-E 3, Кандинский) не использует Optimal Flow Matching (OFM), OT-CFM или Rectified Flows (RF) в качестве своей основной, базовой архитектуры.
Все они построены на другом, хотя и идейно связанном, принципе — диффузионных моделях (Diffusion Models), а точнее, на их более эффективной версии, латентных диффузионных моделях (Latent Diffusion Models, LDM).
По сути, OFM, OT-CFM и RF — это технологии следующего поколения, которые обещают радикально ускорить генерацию, сохранив высокое качество.
Это всё очень близкие методы: c-RF постепенно выпрямляет траектории, а OT-CFM и OFM строят прямые линии с самого начала.
В крупные известные модели вроде пока не имплементировали. Про метод подробнее тут
https://www.themoonlight.io/en/review/optimal-flow-matching-learning-straight-trajectories-in-just-one-step
https://openreview.net/forum?id=kqmucDKVcU&referrer=[the profile of Alexander Korotin](%2Fprofile%3Fid%3D~Alexander_Korotin2)
https://liner.com/review/optimal-flow-matching-learning-straight-trajectories-in-just-one-step
https://arxiv.org/html/2403.13117v2
https://proceedings.neurips.cc/paper_files/paper/2024/file/bc8f76d9caadd48f77025b1c889d2e2d-Paper-Conference.pdf
https://www.youtube.com/watch?v=7NNxK3CqaDk
В статье есть ссылка на гитхаб https://github.com/Jhomanik/Optimal-Flow-Matching , там есть и исходный код, и бенчмарк.