Тема фотонных резервуарных вычислений сейчас довольно популярна в научном мире, но в основном подходят к ней с теоретической точки зрения — существенная часть статей посвящена компьютерному моделированию.
Группа Антона Ковалева в ИТМО взялась за практический аспект, выбрав для серии экспериментов относительно простое физическое устройство — полупроводниковый лазер с оптоэлектронной обратной связью. Система не обладает всеми преимуществами лучших из предложенных теоретических резервуаров, зато за счет своей простоты позволяет приблизиться к глубокому пониманию, почему и как все это работает.
В этой статье расскажем о том, что такое резервуарные вычисления, где они могут быть применимы, и к каким выводам относительно устройств с оптоэлектронной обратной связью пришли в ИТМО.
Что такое резервуарные вычисления
Данных становится все больше, и их становится все сложнее обрабатывать на традиционных персональных компьютерах. Главная проблема «классических» вычислений — в огромном энергопотреблении. С ростом объемов данных вычисления выполняются дольше и требуют больших энергозатрат.
Закон Мура все еще работает — количество транзисторов на схемах продолжает экспоненциально расти. Казалось бы, это должно обеспечивать рост скорости обработки в соответствии с увеличением объемов данных. Но «бутылочное горлышко» возникает в другом месте — для выполнения вычислений требуется обмениваться данными между быстрым процессором и медленной памятью. Параллелизация и разнообразные кэши сокращают влияние этой проблемы, но применяя их, мы в чем‑то выигрываем, а в чем‑то проигрываем.
Еще в конце прошлого века в поисках более эффективных способов обработки данных ученые обратились к примерам из биологии, предложив вдохновленные работой нейронов и мозга нейроморфные вычислительные системы, которые могут обрабатывать данные параллельно и распределенно. Системы резервуарных вычислений относятся к нейроморфным лишь отчасти, но аналогии с реальным миром помогают понять идею, которая лежит в их основе.
Резервуар — это «черный ящик», который позволяет преобразовать некую точку с одним измерением (единичное значение на входе) в точку многокоординатного пространства на выходе.
Зачем это нужно?
Предположим, у нас есть изображения, на которых мы хотим распознать цифру. Или требуется предсказать поведение во времени некой хаотической системы. Используя входные данные «как есть» (не переходя в многомерное пространство), мы вынуждены применять сложную математику, чтобы как‑то разделить выходные данные на классы. Проблема в том, что имея «одномерный» вход, мы можем оперировать только отношением «больше» или «меньше», что недостаточно для сложных задач. А вот в многомерном пространстве решение упрощается — мы можем провести гиперплоскость, которая разделит входные данные нужным образом. Например, можно создать ансамбль гиперплоскостей, при помощи которого определить множество картинок, где действительно изображены определенные цифры. Процесс обучения при этом становится весьма простым по сравнению с рекуррентными нейронными сетями и сводится к обычной линейной регрессии для получения весовых коэффициентов выходного слоя, что является одним из основных преимуществ резервуарных вычислений. Появляется также возможность быстро переобучить резервуар при появлении новых данных.
Работа резервуара может быть основана на самых различных физических принципах. Например, внутри этого «черного ящика» может буквально быть некая емкость с водой [Bucket]. Входной сигнал подается при помощи моторчиков, вызывающих волны на поверхности воды. Волны плещутся и сложным образом взаимодействуют друг с другом и стенками резервуара. Камера снимает узоры, рисуемые светом на дне емкости, после чего изображение обрабатывается простым персептроном. Схожим образом можно использовать фотонные системы — сети волноводов и многомодовые волноводы, где уже оптическое излучение сложным образом отражается от стенок и интерферирует, а считывание выходных значений идет за счет регистрации интенсивности излучения в определенных точках волновода.
Важная характеристика резервуара — консистентность, то есть один и тот же отклик системы на один и тот же входной сигнал. Поэтому физические взаимодействия, на которых основаны принципы его работы, должны быть много сильнее окружающего шума. Тогда мы сможем довольно быстро обучить выходной слой для решения конкретной задачи.
Заметная доля внимания ученых, изучающих резервуарные вычисления, сосредоточена именно на фотонных системах. В отличие от других физических платформ фотоника дает существенное преимущество в скорости и энергоэффективности обработки. Помимо этого, появляется возможность обрабатывать сигналы оптических датчиков напрямую, избежав необходимости переводить их в электронный вид.
Резервуары из систем с запаздывающей обратной связью
Теория и эксперименты показали [Appeltant2011], что в качестве резервуара можно взять нелинейное устройство с обратной связью, длительность которой велика по сравнению с характерным временем отклика самого устройства.
Эта концепция достаточно хорошо применима к фотонике, где легко реализовать резервуары с запаздывающей обратной связью с помощью волноводов и нелинейных устройств, таких как лазеры, модуляторы и микрорезонаторы. Но в данном случае у нас не будет множества физических узлов, с которых можно читать состояния. Координаты в многомерном пространстве получаются при считывании значений с единственного датчика сигнала в определенные промежутки времени, называемые виртуальными узлами.
Запаздывающая обратная связь помогает получить сложный нелинейный отклик — те самые координаты в многомерном пространстве. Как именно это происходит, проще пояснить на модели рекуррентных нейронных сетей.
Предположим, у нас есть модель резервуарных вычислений, построенная на случайной матрице взаимосвязей между нейронами. В эту модель мы можем ввести «затухание», то есть помимо текущего ввода добавлять с некоторым коэффициентом состояние узлов в предыдущие моменты времени. В зависимости от выбранных коэффициентов (силы обратной связи или ее длины), возбуждение от очередного входного значения будет затухать с некоторой скоростью. Между получением входных значений резервуар не всегда будет возвращаться в исходное состояние. Фактически, он будет находиться в некотором переходном процессе, к которому будет добавляться отклик на следующее входное значение. В итоге затухающий сигнал обратной связи влияет не только на следующее выходное значение, но и на несколько последующих, то есть система обладает затухающей памятью.
Затухающая память как характеристика резервуара особенно полезна для предсказания временных рядов. В этом плане физические резервуары, работающие в непрерывном времени, похожи на работающие в дискретном времени компьютерные рекуррентные нейронные сети и эхо‑сети (echo state networks).
Оптическая vs оптоэлектронная обратная связь
Ранние исследования показали, что резервуарные вычисления хорошо работают на границе устойчивости лазерных систем с обратной связью — на границе между стационарным и колебательным режимами их работы. Это связано с тем, что именно на границе отклик системы становится сложнее и позволяет получить более разнообразные координаты в многомерном пространстве. Поэтому последующие работы в данной области были сосредоточены на том, чтобы не только выбрать удачную систему в качестве резервуара, но и подобрать параметры, соответствующие наилучшей производительности.
Эксперименты с фотонными системами начались с оптоэлектронного осциллятора, представляющего собой модулятор Маха‑Цендера с петлей обратной связи (фактически, катушкой волокна с фотоприемником и усилителем). Через модулятор пропускали пучок лазерного излучения, который посредством обратной связи изменял пропускание модулятора, в результате возникали сложные переходные процессы, позволяющие получить те самые координаты в многомерном пространстве. Все это использовалось, чтобы ускорить процесс распознавания речи [Paquot2012, Larger2012, Larger2017] (в работе 2017 года демонстрировалась производительность в миллион слов в секунду).
После первых экспериментов для ускорения обработки данных в качестве резервуаров начали рассматривать полупроводниковые лазеры с обратной оптической связью (когда излучение лазера отражается от зеркала снаружи резонатора лазера и возвращается обратно внутрь). Характерное время отклика такой системы действительно меньше, но установка требует довольно точной юстировки и стабилизации. Малейшие отклонения зеркал из‑за внешних воздействий могут привести к изменению фазы отраженного пучка и отклонениям в ее работе. Поэтому в ИТМО пришли к лазеру с оптоэлектронной обратной связью. Ранее этот сегмент не был исследован, и опубликованная участниками группы работа была первой [Dmitriev2020]. Вероятной причиной такого положения дел является то, что подобные системы работают немного медленнее лазеров с оптической обратной связью. Зато принцип их действия позволяет собрать установку без открытых участков, которая будет намного более устойчива к внешним воздействиям за счет отсутствия влияния фазы оптического поля.
В 2021 году группа получила президентский грант на поддержку исследования спектрально‑зависимых фотонных резервуарных вычислений.
Как выглядит резервуар, созданный в ИТМО
Проект ИТМО вырос из исследований полупроводниковой лазерной системы с оптоэлектронной обратной связью. По мере накопления информации о системе, появилось предположение, что ее можно использовать в качестве резервуара в вычислениях. Моделирование подтвердило, что у полупроводникового лазера с оптоэлектронной обратной связью действительно есть свойства, присущие именно резервуарам.
Установка состоит из лазера, в который вводятся входные данные через модуляцию тока накачки (для этого используется отдельный генератор сигналов). Волоконный выход лазера подключается к фотоприемнику, регистрирующему только интенсивность излучения, отбрасывая фазовую информацию. Сигнал с фотоприемника через два последовательно подключенных усилителя поступает на осциллограф, а также добавляется к входному сигналу лазера, замыкая таким образом петлю обратной связи.
Хотя работа над проектом в ИТМО совместно с коллегами из Франции началась еще в 2019 году, пока экспериментальные исследования системы резервуарных вычислений находятся на начальной стадии. Группа провела теоретическое моделирование работы системы на типовых бенчмарках, которые позволят понять, как и для каких задач можно будет применить систему. Резервуар неплохо предсказывает хаотический временной ряд, состоящий из значений интенсивности газового лазера, работающего в хаотическом режиме (задача Санта Фе). С более сложным тестом — предсказанием последовательности временного ряда нелинейной авторегрессии (задача NARMA10) — резервуар пока не справляется. Однако это не значит, что его нельзя применить для решения некоторых частных задач на практике.
В существующем виде система уже обладает хорошей емкостью памяти и средней вычислительной способностью. Первое свойство описывает, как долго из резервуара при необходимости можно восстановить однажды введенные в него значения. Второе же относится к способности резервуара обобщать близкие и разделять не близкие значения в многомерном пространстве.
Невысокая вычислительная способность, вероятно, связана с тем, что сейчас резервуар обладает слабой нелинейностью. Нелинейность можно увеличить, изменяя режим работы. Но здесь необходима целая серия экспериментов, поскольку очевидного пути нет. При достаточно быстром изменении параметров входного сигнала в лазере возникают релаксационные колебания. Поведение системы при этом похоже на процессы, происходящие с демпфированным маятником. В случае присутствия обратной связи нелинейность появляется за счет взаимодействия множества таких процессов. Но этой нелинейности недостаточно. Также нелинейность возрастает при приближении к нулю интенсивности или усиления излучения (в ситуациях, когда пересекается порог генерации лазера). Однако эти режимы не очень подходят для резервуарных вычислений, поскольку с приближением параметров системы к порогу растет негативное влияние шумов.
Чтобы выбрать оптимальный способ увеличения нелинейности (и повысить в конечном счете вычислительную способность), да и в целом подобрать более оптимальный режим работы, потребуется более глубоко исследовать фундаментальные особенности конкретного резервуара. И каждый шаг в этом направлении дает новые открытия.
Например, усилители, используемые в данном резервуаре на основе лазера с оптоэлектронной обратной связью, имеют фильтр высоких частот, который обрезает постоянный сигнал и ослабляет низкочастотный. Так сложилось исторически — в первых экспериментах по изучению этой системы использовались фотоприемники, которые не регистрировали постоянную составляющую интенсивности, а фиксировали только периодический сигнал. Казалось бы, сужение спектральной полосы обратной связи должно сделать отклик на возмущение более бедным, т. е. ухудшить свойства резервуара. Однако моделирование показало, что сокращение полосы позволяет увеличить емкость памяти системы, практически не изменяя вычислительную способность.
На поиск причинно‑следственных связей — почему происходит именно так — ушло почти 2 года. Оказалось, что свое влияние оказывает соотношение ширины полосы обратной связи и внутренних временных масштабов лазера [Danilenko2023].
Эксперименты должны ответить и на другие вопросы, связанные с практическим применением резервуаров с оптоэлектронной обратной связью. К примеру, показать истинное влияние шумов источников питания, регистрирующей системы.
Потенциальные применения
Резервуар — это не универсальный вычислитель, который можно выполнить в форм‑факторе платы расширения и установить в персональный компьютер, например, для моделирования поведения атомов или реализации сильного искусственного интеллекта. У резервуара есть некоторые нейроморфные признаки, но не более того. Это относительно эффективный аппаратный предсказатель и классификатор — то есть устройство для обработки информации до ее передачи дальше.
Оптоэлектронная система позволяет обрабатывать данные со скоростью порядка нескольких десятков мегасимволов в секунду. Это намного меньше, чем могла бы обеспечить система с оптической обратной связью. Но такой скорости вполне достаточно, чтобы обрабатывать информацию, например, с камеры наблюдения. Прибавим сюда простоту настройки и получим инструмент, который в перспективе может быть применим при обработке данных с датчиков «в поле». С этой точки зрения, резервуарные вычисления прекрасно подходят для реализации концепции машинного обучения на периферии (edge machine learning). На вход резервуара можно подавать значение временного ряда, цифру, букву или даже произнесенное слово (в некоторых случаях может потребоваться предобработка, но ее легко выполнить с помощью ПЛИС). А резервуар будет энергоэффективно обрабатывать эти данные.
Реализованная в ИТМО установка собрана в «лабораторном» варианте. Это значит, что для промышленного применения ее необходимо настроить на определенный режим работы, исключив использование точного измерительного оборудования для ввода данных и считывания выходного сигнала. Так ее можно будет минимизировать, выполнив во встраиваемом варианте — в виде компоненты датчика, беспилотника. Ее преимущество именно в низком энергопотреблении, позволяющем выполнять сложные вычисления с высокой степенью автономности. Суммарно, сам резервуар (без учета подсистем ввода‑вывода) в пилотных экспериментах потреблял 0,2 Вт.
Однако о готовом устройстве говорить пока рано. Потребуется еще много различных экспериментов прежде чем разработка дойдет до промышленности.
Источники, упоминаемые в статье:
[Bucket] Fernando C., Sojakka S. Pattern Recognition in a Bucket. Pattern Recognition in a Bucket. Advances in Artificial Life. ECAL 2003. Lecture Notes in Computer Science, vol. 2801 (2003). https://doi.org/10.1007/978–3–540–39 432–7_63
[Appeltant2011] Appeltant, L., Soriano, M., Van der Sande, G. et al. Information processing using a single dynamical node as complex system. Nature Communications, vol. 2, 468 (2011). https://doi.org/10.1038/ncomms1476
[Paquot2012] Paquot Y., Duport F., Smerieri A. et al. Optoelectronic Reservoir Computing. Scientific Reports, vol. 2, 287 (2012). https://doi.org/10.1038/srep00 287
[Larger2012] Larger L., Soriano M. C., Brunner D. et al. Photonic information processing beyond Turing: an optoelectronic implementation of reservoir computing. Optics Express, vol. 20, 3241–3249 (2012). https://doi.org/10.1364/OE.20.003 241
[Larger2017] Larger L., Baylón‑Fuentes A., Martinenghi R. et al. High‑Speed Photonic Reservoir Computing Using a Time‑Delay‑Based Architecture: Million Words per Second Classification. Physical Review X, vol. 7, 011 015 (2017). https://doi.org/10.1103/PhysRevX.7.011 015
[Dmitriev2020] Dmitriev P. S., Kovalev A. V., Locquet A., Rontani D., and Viktorov E. A. Asymmetrical performance of a laser‑based reservoir computer with optoelectronic feedback. Optics Letters, vol. 45, 6150–6153 (2020). https://doi.org/10.1364/OL.405 177
[Danilenko2023] Danilenko G. O., Kovalev A. V., Viktorov E. A., et al. Impact of filtering on photonic time‑delay reservoir computing. Chaos, vol. 33, 013 116 (2023). https://doi.org/10.1063/5.0 127 661
