Ферромагнитный резонанс используется для работы многих СВЧ-устройств. Например - резонансные вентили, фильтры, параметрические усилители, преобразователи частоты и ограничители мощности
Прямо сейчас ниша у них очень узкая - автомобильная электроника, умные счетчики и программируемые логические контроллеры.
Но развитие систем ИИ, особенно больших языковых моделей и нейронных сетей, сталкивается с принципиальным ограничением, известным как «бутылочное горлышко памяти». Эта проблема заключается в том, что скорость передачи данных между центральным процессором и памятью становится главным ограничителем производительности, превосходящим даже возможности самих процессоров. Более того, постоянная передача данных в высокопроизводительных центрах обработки данных приводит к резкому росту энергопотребления. FeRAM, с его низкой потребляемой мощностью и возможностью хранить данные без питания, предлагает потенциальное решение этой фундаментальной проблемы.
Кроме того, устройства Интернета вещей и периферийные вычислительные узлы становятся все более распространенными. Они требуют быстрой, надежной и энергоэффективной памяти для обработки данных непосредственно у источника, без задержек, связанных с передачей в облако. FeRAM идеально подходит для этой задачи благодаря своей способности к мгновенной записи и минимальному энергопотреблению. Эти свойства позволяют создавать устройства, способные надежно регистрировать и сохранять критические данные даже при непостоянном источнике питания, например, в системах сбора энергии.
Но наиболее перспективные направления применения сегнетоэлектриков для памяти связаны с тем, о чем говорил докладчик:
1) вычисления в памяти для бинарных нейронных сетей
2) использование в качестве искусственных синапсов в нейроморфных системах, которые имитируют работу человеческого мозга
Авторы не описывают внутренний механизм оракула (например, как работает мозг дегустатора). Они описывают его внешнее поведение или интерфейс — что он принимает на вход и что выдает на выходе. Преимущество заключается не в оракуле, а в алгоритме, который может эффективно работать, имея доступ только к такому примитивному оракулу. Вот ключевые прорывы их метода:
А. Он вообще работает (и работает эффективно)
Проблема: Классические алгоритмы (вроде градиентного спуска) здесь бесполезны. Им нужен градиент, которого нет.
Решение авторов: Они придумали, как "обмануть" систему. Они интегрировали Порядковый Оракул в метод координатного спуска (coordinate descent) с помощью линейного поиска (line search).
Как это работает (упрощенно):
Алгоритм выбирает одно направление для улучшения, например, "давай попробуем изменить только количество сахара" (это одна координата).
Далее ему нужно решить, насколько сильно изменить количество сахара. Для этого он использует линейный поиск.
Он "просит" Порядкового Оракула сравнить несколько вариантов: "Какой кофе лучше: с 1 ложкой сахара или с 1.5 ложками?", "А если сравнить 1.5 и 1.7?".
С помощью серии таких простых сравнений (статья упоминает метод золотого сечения) алгоритм находит оптимальный шаг в выбранном направлении, не зная ни точных значений "вкуса", ни градиента!
Б. Он обеспечивает УСКОРЕНИЕ (главный результат статьи)
Это и есть ответ на вопрос, вынесенный в заголовок "Acceleration Exists!".
Контекст: Методы, использующие Порядковый Оракул, существовали и раньше. Но они были "медленными", не ускоренными.
Преимущество: Авторы статьи впервые в мире представили ускоренный алгоритм оптимизации (названный ими OrderACDM), который работает исключительно на сравнениях. "Ускоренный" — это технический термин, означающий, что он сходится к оптимальному решению значительно быстрее, чем его не ускоренные аналоги.
Наглядное доказательство: На Рисунке 2 (страница 9) это показано очень четко. Линия их ускоренного метода (OrderACDM, фиолетовая) уходит вниз (то есть находит лучшее решение) гораздо быстрее, чем все остальные методы, включая классические не ускоренные аналоги.
В. Он адаптивный
За счет использования линейного поиска на каждом шаге, их алгоритм (OrderRCD) автоматически подбирает оптимальный размер шага. Ему не нужно заранее сообщать параметры функции (например, константу гладкости), что делает его более простым в применении на практике.
Недавно появился активный интерес у специалистов в области оптимизации к алгоритмам, которые избегают вычисления значений функции, но могут сравнивать их между собой.
Система не похожа на модель самосогласованного поля или на модель парных столкновений в газе. Ближе всего к модели с взаимодействием ближайших соседей, но с важными отличиями: для каждого конденсата «ближайшим соседом» для взаимодействия является только один, специально назначенный ему партнер по диаде. Взаимодействия с другими, даже геометрически близкими, конденсатами из соседних диад активно подавляются.
В методе самосогласованного поля каждая частица взаимодействует со средним полем, создаваемым всеми остальными частицами. В работе Седова и Кавокина, напротив, предприняты специальные меры (барьеры), чтобы избежать такого глобального усредненного взаимодействия и сохранить локальность.
Модель столкновений описывает случайные, кратковременные взаимодействия. В поляритонной сети взаимодействия внутри диады являются когерентными, длительными и строго детерминированными, а расположение частиц в решетке — фиксированным.
Таким образом, в работе реализована модель изолированных парных взаимодействий, где каждая пара функционирует как независимый логический элемент. Состояние каждой диады (которая функционирует как бинарный нейрон) можно переключать оптически с помощью дополнительных лазерных импульсов.
Один из авторов статьи работал над стартапом по созданию "умной" кофемашины. Клиент, пробуя два напитка с разным составом, выступает в роли оракула, говоря, какой из них ему нравится больше. Оценка клиента "какой из напитков лучше" - играет роль порядкового оракула. Умная кофемашина, используя оценки клиента, оптимизирует состав кофе.
f(x) и f(y) — это значения целевой функции в точках x и y, которые мы хотим сравнить. Сами эти значения нам неизвестны.
sign[...] — это математическая функция знака. Она возвращает:
+1, если выражение в скобках больше нуля (означает, что f(x) > f(y)).
-1, если выражение меньше нуля (означает, что f(x) < f(y)).
0, если выражение равно нулю (означает, что f(x) = f(y)).
δ(x,y) — это ограниченный шум. Шум означает, что сравнение может быть неточным, но ошибка этого сравнения (δ) не превышает некоторого известного предела.
Таким образом, порядковый оракул — это механизм (черный ящик), который на вход получает две точки x и y и сообщает, какая из них "лучше" (где значение функции меньше или больше), возможно, с небольшой погрешностью.
Это всё очень близкие методы: c-RF постепенно выпрямляет траектории, а OT-CFM и OFM строят прямые линии с самого начала.
В крупные известные модели вроде пока не имплементировали. Про метод подробнее тут
https://www.themoonlight.io/en/review/optimal-flow-matching-learning-straight-trajectories-in-just-one-step
https://openreview.net/forum?id=kqmucDKVcU&referrer=[the profile of Alexander Korotin](%2Fprofile%3Fid%3D~Alexander_Korotin2)
https://liner.com/review/optimal-flow-matching-learning-straight-trajectories-in-just-one-step
https://arxiv.org/html/2403.13117v2
https://proceedings.neurips.cc/paper_files/paper/2024/file/bc8f76d9caadd48f77025b1c889d2e2d-Paper-Conference.pdf
https://www.youtube.com/watch?v=7NNxK3CqaDk
В статье есть ссылка на гитхаб https://github.com/Jhomanik/Optimal-Flow-Matching , там есть и исходный код, и бенчмарк.
Васильев тут упомянут. А так верно, тут можно дальше углубиться в историю.
Ферромагнитный резонанс используется для работы многих СВЧ-устройств. Например - резонансные вентили, фильтры, параметрические усилители, преобразователи частоты и ограничители мощности
Точнее, 7 часов. Я по свежим следам описал процесс создания программы тут
Да.
Наоборот, определение оракула подразумевает, что не вычисляет.
Gemini весь код написал на Питоне. Ушло примерно 6 часов на всё.
Есть в тему интересная новость В Германии собрались возродить производство памяти, но не простой, а DRAM+ - в Германии строят завод, производящий сегнетоэлектрическую память. Вот тут News | Memory Innovation & Industry Insights - больше актуальных новостей.
Есть такая таблица сопоставления свойств
Прямо сейчас ниша у них очень узкая - автомобильная электроника, умные счетчики и программируемые логические контроллеры.
Но развитие систем ИИ, особенно больших языковых моделей и нейронных сетей, сталкивается с принципиальным ограничением, известным как «бутылочное горлышко памяти». Эта проблема заключается в том, что скорость передачи данных между центральным процессором и памятью становится главным ограничителем производительности, превосходящим даже возможности самих процессоров. Более того, постоянная передача данных в высокопроизводительных центрах обработки данных приводит к резкому росту энергопотребления. FeRAM, с его низкой потребляемой мощностью и возможностью хранить данные без питания, предлагает потенциальное решение этой фундаментальной проблемы.
Кроме того, устройства Интернета вещей и периферийные вычислительные узлы становятся все более распространенными. Они требуют быстрой, надежной и энергоэффективной памяти для обработки данных непосредственно у источника, без задержек, связанных с передачей в облако. FeRAM идеально подходит для этой задачи благодаря своей способности к мгновенной записи и минимальному энергопотреблению. Эти свойства позволяют создавать устройства, способные надежно регистрировать и сохранять критические данные даже при непостоянном источнике питания, например, в системах сбора энергии.
Но наиболее перспективные направления применения сегнетоэлектриков для памяти связаны с тем, о чем говорил докладчик:
1) вычисления в памяти для бинарных нейронных сетей
2) использование в качестве искусственных синапсов в нейроморфных системах, которые имитируют работу человеческого мозга
Авторы не описывают внутренний механизм оракула (например, как работает мозг дегустатора). Они описывают его внешнее поведение или интерфейс — что он принимает на вход и что выдает на выходе. Преимущество заключается не в оракуле, а в алгоритме, который может эффективно работать, имея доступ только к такому примитивному оракулу. Вот ключевые прорывы их метода:
А. Он вообще работает (и работает эффективно)
Проблема: Классические алгоритмы (вроде градиентного спуска) здесь бесполезны. Им нужен градиент, которого нет.
Решение авторов: Они придумали, как "обмануть" систему. Они интегрировали Порядковый Оракул в метод координатного спуска (coordinate descent) с помощью линейного поиска (line search).
Как это работает (упрощенно):
Алгоритм выбирает одно направление для улучшения, например, "давай попробуем изменить только количество сахара" (это одна координата).
Далее ему нужно решить, насколько сильно изменить количество сахара. Для этого он использует линейный поиск.
Он "просит" Порядкового Оракула сравнить несколько вариантов: "Какой кофе лучше: с 1 ложкой сахара или с 1.5 ложками?", "А если сравнить 1.5 и 1.7?".
С помощью серии таких простых сравнений (статья упоминает метод золотого сечения) алгоритм находит оптимальный шаг в выбранном направлении, не зная ни точных значений "вкуса", ни градиента!
Б. Он обеспечивает УСКОРЕНИЕ (главный результат статьи)
Это и есть ответ на вопрос, вынесенный в заголовок "Acceleration Exists!".
Контекст: Методы, использующие Порядковый Оракул, существовали и раньше. Но они были "медленными", не ускоренными.
Преимущество: Авторы статьи впервые в мире представили ускоренный алгоритм оптимизации (названный ими OrderACDM), который работает исключительно на сравнениях. "Ускоренный" — это технический термин, означающий, что он сходится к оптимальному решению значительно быстрее, чем его не ускоренные аналоги.
Наглядное доказательство: На Рисунке 2 (страница 9) это показано очень четко. Линия их ускоренного метода (OrderACDM, фиолетовая) уходит вниз (то есть находит лучшее решение) гораздо быстрее, чем все остальные методы, включая классические не ускоренные аналоги.
В. Он адаптивный
За счет использования линейного поиска на каждом шаге, их алгоритм (OrderRCD) автоматически подбирает оптимальный размер шага. Ему не нужно заранее сообщать параметры функции (например, константу гладкости), что делает его более простым в применении на практике.
Недавно появился активный интерес у специалистов в области оптимизации к алгоритмам, которые избегают вычисления значений функции, но могут сравнивать их между собой.
Так я уже ответил на этот вопрос. Никак они это не вычисляют. Смысл модели оракула в алгоритме в том, что они этого вообще не делают.
А если вы хотите применить алгоритм на практике, то возможны все эти описанные в комментариях варианты и многие другие.
Результат сравнения запрашивается у оракула. Операцию "-" никто не делает.
В этом смысл самого термина "оракул".
Система не похожа на модель самосогласованного поля или на модель парных столкновений в газе. Ближе всего к модели с взаимодействием ближайших соседей, но с важными отличиями: для каждого конденсата «ближайшим соседом» для взаимодействия является только один, специально назначенный ему партнер по диаде. Взаимодействия с другими, даже геометрически близкими, конденсатами из соседних диад активно подавляются.
В методе самосогласованного поля каждая частица взаимодействует со средним полем, создаваемым всеми остальными частицами. В работе Седова и Кавокина, напротив, предприняты специальные меры (барьеры), чтобы избежать такого глобального усредненного взаимодействия и сохранить локальность.
Модель столкновений описывает случайные, кратковременные взаимодействия. В поляритонной сети взаимодействия внутри диады являются когерентными, длительными и строго детерминированными, а расположение частиц в решетке — фиксированным.
Таким образом, в работе реализована модель изолированных парных взаимодействий, где каждая пара функционирует как независимый логический элемент. Состояние каждой диады (которая функционирует как бинарный нейрон) можно переключать оптически с помощью дополнительных лазерных импульсов.
Ускорительный комплекс NICA - это российский коллайдер. Он находится в Дубне https://ru.wikipedia.org/wiki/NICA
Потому что они оценивали скорость поиска минимума конкретных видов функций. RLHF всё-таки другая область науки, хотя тут и есть пересечение.
Но в целом это вопрос к авторам, почему они только это сравнение делали.
Один из авторов статьи работал над стартапом по созданию "умной" кофемашины. Клиент, пробуя два напитка с разным составом, выступает в роли оракула, говоря, какой из них ему нравится больше. Оценка клиента "какой из напитков лучше" - играет роль порядкового оракула. Умная кофемашина, используя оценки клиента, оптимизирует состав кофе.
Определение порядкового оракула из статьи
φ(x, y) = sign [f(x) − f(y) + δ(x,y)]
f(x) и f(y) — это значения целевой функции в точках x и y, которые мы хотим сравнить. Сами эти значения нам неизвестны.
sign[...] — это математическая функция знака. Она возвращает:
+1, если выражение в скобках больше нуля (означает, что f(x) > f(y)).
-1, если выражение меньше нуля (означает, что f(x) < f(y)).
0, если выражение равно нулю (означает, что f(x) = f(y)).
δ(x,y) — это ограниченный шум. Шум означает, что сравнение может быть неточным, но ошибка этого сравнения (δ) не превышает некоторого известного предела.
Таким образом, порядковый оракул — это механизм (черный ящик), который на вход получает две точки x и y и сообщает, какая из них "лучше" (где значение функции меньше или больше), возможно, с небольшой погрешностью.
У Нестерова есть похожий алгоритм, так в этой работе они его обогнали по скорости, написано же.