Гамма-матрицы - это универсальный способ писать матричные представления для алгебр Клиффорда. Там сначала матрицы 2 на 2, потом блочные из таких матриц делаются 4 на 4, и так далее. У Широкова из ВШЭ в лекциях есть про это на странице 32 https://www.mi-ras.ru/noc/11_12/cllifalg10.12.11.pdf , причем довольно просто и доступно. А вот в книгах для физиков ничего внятного по этому поводу, к сожалению, не найти.
Да, спиноры Вейля только для пространств четной размерности.
Подозреваю, написано в хороших англоязычных источниках. Например, даже если просто википедию посмотреть по этим темам, на английском намного больше конкретной информации.
Я комментарий написал к вашей статье, где обозначил эту связь. К сожалению, физикам преподают сразу готовый формализм. То есть на уровне: вот есть конкретные матрицы Паули, спиноры - это векторы, в гамильтониан засовываем так, энергию получаем вот так.
Тут надо с матрицами связать. В квантовой механике оператор обычно описывается как x*σ1+y*σ2+z*σ3, а спинор как вектор. Суть в том, что
(1/2)(1 + σ₃) = [[1, 0], [0, 0]]
Итак, S = Cl₃ * p , где p = (1/2)(1 + σ₃)
Тогда
Ψ = M P = [[a, b], [c, d]] * [[1, 0], [0, 0]] = [[a, 0], [c, 0]]
Независимо от того, какую матрицу M мы брали, у результирующей матрицы Ψ второй столбец всегда равен нулю. Это означает, что вся информация о нашем спиноре Ψ содержится исключительно в его первом столбце.
Тогда удобно писать спинор не матрицей, а одним столбцом.
Тогда
Первый базисный спинор (матрица): Ψ_up = [[1, 0], [0, 0]]
Второй базисный спинор (матрица): Ψ_down = [[0, 0], [1, 0]]
В вашей статье про спиноры нет понятной связи с тем, как это в физике используется. Там спиноры - это векторы (матрицы 2 на 1), а операторы - это комплексные матрицы 2 на 2.
То, что вы там описали - это спиновое (проективное) разложение пространств. Но в общем понять, как от этого перейти к тому, что используется в физике - не так просто.
Да, я ошибся, посмотрел устаревшую информацию. Эти две используют Flow Matching, опираясь на описанное еще в статье 2022-го года https://arxiv.org/abs/2209.03003 . Это обычный RF, без более поздних улучшений, которые были предложены в различных академических статьях. Но многие другие еще не используют.
На данный момент ни одна из самых известных генеративных нейросетей (Midjourney, Stable Diffusion, DALL-E 3, Кандинский) не использует Optimal Flow Matching (OFM), OT-CFM или Rectified Flows (RF) в качестве своей основной, базовой архитектуры.
Все они построены на другом, хотя и идейно связанном, принципе — диффузионных моделях (Diffusion Models), а точнее, на их более эффективной версии, латентных диффузионных моделях (Latent Diffusion Models, LDM).
По сути, OFM, OT-CFM и RF — это технологии следующего поколения, которые обещают радикально ускорить генерацию, сохранив высокое качество.
Ферромагнитный резонанс используется для работы многих СВЧ-устройств. Например - резонансные вентили, фильтры, параметрические усилители, преобразователи частоты и ограничители мощности
Прямо сейчас ниша у них очень узкая - автомобильная электроника, умные счетчики и программируемые логические контроллеры.
Но развитие систем ИИ, особенно больших языковых моделей и нейронных сетей, сталкивается с принципиальным ограничением, известным как «бутылочное горлышко памяти». Эта проблема заключается в том, что скорость передачи данных между центральным процессором и памятью становится главным ограничителем производительности, превосходящим даже возможности самих процессоров. Более того, постоянная передача данных в высокопроизводительных центрах обработки данных приводит к резкому росту энергопотребления. FeRAM, с его низкой потребляемой мощностью и возможностью хранить данные без питания, предлагает потенциальное решение этой фундаментальной проблемы.
Кроме того, устройства Интернета вещей и периферийные вычислительные узлы становятся все более распространенными. Они требуют быстрой, надежной и энергоэффективной памяти для обработки данных непосредственно у источника, без задержек, связанных с передачей в облако. FeRAM идеально подходит для этой задачи благодаря своей способности к мгновенной записи и минимальному энергопотреблению. Эти свойства позволяют создавать устройства, способные надежно регистрировать и сохранять критические данные даже при непостоянном источнике питания, например, в системах сбора энергии.
Но наиболее перспективные направления применения сегнетоэлектриков для памяти связаны с тем, о чем говорил докладчик:
1) вычисления в памяти для бинарных нейронных сетей
2) использование в качестве искусственных синапсов в нейроморфных системах, которые имитируют работу человеческого мозга
Авторы не описывают внутренний механизм оракула (например, как работает мозг дегустатора). Они описывают его внешнее поведение или интерфейс — что он принимает на вход и что выдает на выходе. Преимущество заключается не в оракуле, а в алгоритме, который может эффективно работать, имея доступ только к такому примитивному оракулу. Вот ключевые прорывы их метода:
А. Он вообще работает (и работает эффективно)
Проблема: Классические алгоритмы (вроде градиентного спуска) здесь бесполезны. Им нужен градиент, которого нет.
Решение авторов: Они придумали, как "обмануть" систему. Они интегрировали Порядковый Оракул в метод координатного спуска (coordinate descent) с помощью линейного поиска (line search).
Как это работает (упрощенно):
Алгоритм выбирает одно направление для улучшения, например, "давай попробуем изменить только количество сахара" (это одна координата).
Далее ему нужно решить, насколько сильно изменить количество сахара. Для этого он использует линейный поиск.
Он "просит" Порядкового Оракула сравнить несколько вариантов: "Какой кофе лучше: с 1 ложкой сахара или с 1.5 ложками?", "А если сравнить 1.5 и 1.7?".
С помощью серии таких простых сравнений (статья упоминает метод золотого сечения) алгоритм находит оптимальный шаг в выбранном направлении, не зная ни точных значений "вкуса", ни градиента!
Б. Он обеспечивает УСКОРЕНИЕ (главный результат статьи)
Это и есть ответ на вопрос, вынесенный в заголовок "Acceleration Exists!".
Контекст: Методы, использующие Порядковый Оракул, существовали и раньше. Но они были "медленными", не ускоренными.
Преимущество: Авторы статьи впервые в мире представили ускоренный алгоритм оптимизации (названный ими OrderACDM), который работает исключительно на сравнениях. "Ускоренный" — это технический термин, означающий, что он сходится к оптимальному решению значительно быстрее, чем его не ускоренные аналоги.
Наглядное доказательство: На Рисунке 2 (страница 9) это показано очень четко. Линия их ускоренного метода (OrderACDM, фиолетовая) уходит вниз (то есть находит лучшее решение) гораздо быстрее, чем все остальные методы, включая классические не ускоренные аналоги.
В. Он адаптивный
За счет использования линейного поиска на каждом шаге, их алгоритм (OrderRCD) автоматически подбирает оптимальный размер шага. Ему не нужно заранее сообщать параметры функции (например, константу гладкости), что делает его более простым в применении на практике.
Недавно появился активный интерес у специалистов в области оптимизации к алгоритмам, которые избегают вычисления значений функции, но могут сравнивать их между собой.
Гамма-матрицы - это универсальный способ писать матричные представления для алгебр Клиффорда. Там сначала матрицы 2 на 2, потом блочные из таких матриц делаются 4 на 4, и так далее. У Широкова из ВШЭ в лекциях есть про это на странице 32 https://www.mi-ras.ru/noc/11_12/cllifalg10.12.11.pdf , причем довольно просто и доступно. А вот в книгах для физиков ничего внятного по этому поводу, к сожалению, не найти.
Да, спиноры Вейля только для пространств четной размерности.
Подозреваю, написано в хороших англоязычных источниках. Например, даже если просто википедию посмотреть по этим темам, на английском намного больше конкретной информации.
Я тут написал переход от Вашей статьи к курсу физики https://habr.com/ru/articles/949788/ .
Про связь с Фурье имело бы смысл написать отдельную статью.
Вообще-то есть формула для размерности спиноров Вейля.
Пусть пространство имеет размерность n = 2*x или 2*x+1
Тогда у спинора Вейля размерность 2^x.
Соответственно, для 5+1 и 6+1 будет один и тот же ответ. Это 8.
Я комментарий написал к вашей статье, где обозначил эту связь. К сожалению, физикам преподают сразу готовый формализм. То есть на уровне: вот есть конкретные матрицы Паули, спиноры - это векторы, в гамильтониан засовываем так, энергию получаем вот так.
Тут надо с матрицами связать. В квантовой механике оператор обычно описывается как x*σ1+y*σ2+z*σ3, а спинор как вектор. Суть в том, что
(1/2)(1 + σ₃) = [[1, 0], [0, 0]]
Итак, S = Cl₃ * p , где p = (1/2)(1 + σ₃)
Тогда
Ψ = M P = [[a, b], [c, d]] * [[1, 0], [0, 0]] = [[a, 0], [c, 0]]
Независимо от того, какую матрицу M мы брали, у результирующей матрицы Ψ второй столбец всегда равен нулю. Это означает, что вся информация о нашем спиноре Ψ содержится исключительно в его первом столбце.
Тогда удобно писать спинор не матрицей, а одним столбцом.
Тогда
Первый базисный спинор (матрица): Ψ_up = [[1, 0], [0, 0]]
Второй базисный спинор (матрица): Ψ_down = [[0, 0], [1, 0]]
ψ_down = e₁ * (1/2)(1 + e₃) = (1/2)(e₁ + e₁e₃)
Таким образом,
Ψ_up = P
Ψ_down = σ₁ * P
В вашей статье про спиноры нет понятной связи с тем, как это в физике используется. Там спиноры - это векторы (матрицы 2 на 1), а операторы - это комплексные матрицы 2 на 2.
То, что вы там описали - это спиновое (проективное) разложение пространств. Но в общем понять, как от этого перейти к тому, что используется в физике - не так просто.
Да, я ошибся, посмотрел устаревшую информацию. Эти две используют Flow Matching, опираясь на описанное еще в статье 2022-го года https://arxiv.org/abs/2209.03003 . Это обычный RF, без более поздних улучшений, которые были предложены в различных академических статьях. Но многие другие еще не используют.
Еще тут https://huggingface.co/docs/diffusers/index есть реализации и пайплайны.
На данный момент ни одна из самых известных генеративных нейросетей (Midjourney, Stable Diffusion, DALL-E 3, Кандинский) не использует Optimal Flow Matching (OFM), OT-CFM или Rectified Flows (RF) в качестве своей основной, базовой архитектуры.
Все они построены на другом, хотя и идейно связанном, принципе — диффузионных моделях (Diffusion Models), а точнее, на их более эффективной версии, латентных диффузионных моделях (Latent Diffusion Models, LDM).
По сути, OFM, OT-CFM и RF — это технологии следующего поколения, которые обещают радикально ускорить генерацию, сохранив высокое качество.
Это всё очень близкие методы: c-RF постепенно выпрямляет траектории, а OT-CFM и OFM строят прямые линии с самого начала.
В крупные известные модели вроде пока не имплементировали. Про метод подробнее тут
https://www.themoonlight.io/en/review/optimal-flow-matching-learning-straight-trajectories-in-just-one-step
https://openreview.net/forum?id=kqmucDKVcU&referrer=[the profile of Alexander Korotin](%2Fprofile%3Fid%3D~Alexander_Korotin2)
https://liner.com/review/optimal-flow-matching-learning-straight-trajectories-in-just-one-step
https://arxiv.org/html/2403.13117v2
https://proceedings.neurips.cc/paper_files/paper/2024/file/bc8f76d9caadd48f77025b1c889d2e2d-Paper-Conference.pdf
https://www.youtube.com/watch?v=7NNxK3CqaDk
В статье есть ссылка на гитхаб https://github.com/Jhomanik/Optimal-Flow-Matching , там есть и исходный код, и бенчмарк.
Васильев тут упомянут. А так верно, тут можно дальше углубиться в историю.
Ферромагнитный резонанс используется для работы многих СВЧ-устройств. Например - резонансные вентили, фильтры, параметрические усилители, преобразователи частоты и ограничители мощности
Точнее, 7 часов. Я по свежим следам описал процесс создания программы тут
Да.
Наоборот, определение оракула подразумевает, что не вычисляет.
Gemini весь код написал на Питоне. Ушло примерно 6 часов на всё.
Есть в тему интересная новость В Германии собрались возродить производство памяти, но не простой, а DRAM+ - в Германии строят завод, производящий сегнетоэлектрическую память. Вот тут News | Memory Innovation & Industry Insights - больше актуальных новостей.
Есть такая таблица сопоставления свойств
Прямо сейчас ниша у них очень узкая - автомобильная электроника, умные счетчики и программируемые логические контроллеры.
Но развитие систем ИИ, особенно больших языковых моделей и нейронных сетей, сталкивается с принципиальным ограничением, известным как «бутылочное горлышко памяти». Эта проблема заключается в том, что скорость передачи данных между центральным процессором и памятью становится главным ограничителем производительности, превосходящим даже возможности самих процессоров. Более того, постоянная передача данных в высокопроизводительных центрах обработки данных приводит к резкому росту энергопотребления. FeRAM, с его низкой потребляемой мощностью и возможностью хранить данные без питания, предлагает потенциальное решение этой фундаментальной проблемы.
Кроме того, устройства Интернета вещей и периферийные вычислительные узлы становятся все более распространенными. Они требуют быстрой, надежной и энергоэффективной памяти для обработки данных непосредственно у источника, без задержек, связанных с передачей в облако. FeRAM идеально подходит для этой задачи благодаря своей способности к мгновенной записи и минимальному энергопотреблению. Эти свойства позволяют создавать устройства, способные надежно регистрировать и сохранять критические данные даже при непостоянном источнике питания, например, в системах сбора энергии.
Но наиболее перспективные направления применения сегнетоэлектриков для памяти связаны с тем, о чем говорил докладчик:
1) вычисления в памяти для бинарных нейронных сетей
2) использование в качестве искусственных синапсов в нейроморфных системах, которые имитируют работу человеческого мозга
Авторы не описывают внутренний механизм оракула (например, как работает мозг дегустатора). Они описывают его внешнее поведение или интерфейс — что он принимает на вход и что выдает на выходе. Преимущество заключается не в оракуле, а в алгоритме, который может эффективно работать, имея доступ только к такому примитивному оракулу. Вот ключевые прорывы их метода:
А. Он вообще работает (и работает эффективно)
Проблема: Классические алгоритмы (вроде градиентного спуска) здесь бесполезны. Им нужен градиент, которого нет.
Решение авторов: Они придумали, как "обмануть" систему. Они интегрировали Порядковый Оракул в метод координатного спуска (coordinate descent) с помощью линейного поиска (line search).
Как это работает (упрощенно):
Алгоритм выбирает одно направление для улучшения, например, "давай попробуем изменить только количество сахара" (это одна координата).
Далее ему нужно решить, насколько сильно изменить количество сахара. Для этого он использует линейный поиск.
Он "просит" Порядкового Оракула сравнить несколько вариантов: "Какой кофе лучше: с 1 ложкой сахара или с 1.5 ложками?", "А если сравнить 1.5 и 1.7?".
С помощью серии таких простых сравнений (статья упоминает метод золотого сечения) алгоритм находит оптимальный шаг в выбранном направлении, не зная ни точных значений "вкуса", ни градиента!
Б. Он обеспечивает УСКОРЕНИЕ (главный результат статьи)
Это и есть ответ на вопрос, вынесенный в заголовок "Acceleration Exists!".
Контекст: Методы, использующие Порядковый Оракул, существовали и раньше. Но они были "медленными", не ускоренными.
Преимущество: Авторы статьи впервые в мире представили ускоренный алгоритм оптимизации (названный ими OrderACDM), который работает исключительно на сравнениях. "Ускоренный" — это технический термин, означающий, что он сходится к оптимальному решению значительно быстрее, чем его не ускоренные аналоги.
Наглядное доказательство: На Рисунке 2 (страница 9) это показано очень четко. Линия их ускоренного метода (OrderACDM, фиолетовая) уходит вниз (то есть находит лучшее решение) гораздо быстрее, чем все остальные методы, включая классические не ускоренные аналоги.
В. Он адаптивный
За счет использования линейного поиска на каждом шаге, их алгоритм (OrderRCD) автоматически подбирает оптимальный размер шага. Ему не нужно заранее сообщать параметры функции (например, константу гладкости), что делает его более простым в применении на практике.
Недавно появился активный интерес у специалистов в области оптимизации к алгоритмам, которые избегают вычисления значений функции, но могут сравнивать их между собой.