Нейросеть в стекле. Не требует электропитания, распознаёт цифры

Автор оригинала: hackaday.com
  • Перевод
image

Все мы знакомы с такой способностью нейронных сетей, как распознавание рукописного текста. Основы этой технологии существуют уже много лет, но, лишь относительно недавно, скачок в области компьютерных мощностей и параллельной обработки данных позволили сделать из этой технологии очень практичное решение. Тем не менее, это практичное решение, в основе своей, будет представлено в виде цифрового компьютера многократно изменяющего биты, точно так же, как и при выполнении любой другой программы. Но в случае с нейронной сетью, разработанной исследователями из университетов Wisconsin, MIT, и Columbia, дело обстоит по-другому. Они создали стеклянную панель, не требующую собственного электропитания, но при этом способную распознавать рукописные цифры.

Это стекло содержит точно расположенные включения, такие как пузырьки воздуха, примеси графена и других материалов. Когда свет падает на стекло, возникают сложные волновые паттерны, в результате которых на одной из десяти областей свет становится более интенсивным. Каждая из этих областей соответствует какому-либо числу. Например, ниже указаны два примера, показывающие как распространяется свет при распознавании числа «два».

image

При обучающем сете в 5000 изображений, нейросеть способна корректно распознать 79% из 1000 входных изображений. Команда считает, что они могли бы улучшить результат, если бы смогли обойти ограничения вызванные процессом производства стекла. Они начали с очень ограниченного дизайна устройства, чтобы получить рабочий прототип. Далее они планируют продолжить изучение различных способов повышения качества распознавания, при этом, стараясь не усложнять чрезмерно технологию, чтобы её потом можно было использовать в производстве. У команды также есть планы по созданию трехмерной нейросети в стекле.
Поделиться публикацией

Комментарии 99

    –2

    По сути это конечный автомат в стекле чтоли?

      +9
      Нейросеть выдает результат в виде вероятности (в данном случае, яркости зон, отображающих результат), поэтому это не конечный автомат.
        +41
        Фактически аналоговый компьютер (гидравлический интегратор), только не на воде, а на электромагнитных волнах :) Круто.
        • НЛО прилетело и опубликовало эту надпись здесь
          +6
          Конечный автомат подразумевает память. Вряд ли это заложено в куске стекла.
            +1

            А можно ли сделать триггер на ReLU (они, насколько я понял, реализовали ReLU)?
            Не силён в оптике, но если реализовать в стекле логические элементы 2И-НЕ или 2ИЛИ-НЕ, то можно сделать и триггер на них. Хотя, так как мы пока не видим оптических компьютеров повсюду, это, наверно, непросто.

              +8
              Очень вряд ли там в принципе есть «не» или усилители — модулировать один световой луч другим пока никто не умеет.
                +1
                Как так? Усилитель — это активная среда лазера в сверхлюминесцентном режиме. А оптический переключатель — это трансфазор.

                Для образования основных логических элементов И, ИЛИ и НЕ в оптических компьютерах можно использовать бистабильные оптические устройства. Такое устройство представляет собой резонатор Фабри-Перо, заполненный нелинейным веществом (например антимонид индия — InSb). Показатель преломления данного вещества зависит от интенсивности падающего пучка, поэтому на выходе можно получить два стабильных состояния, одно из которых условно принимается за «0», а другое за «1».


                Всё это давно есть. И даже были попытки сделать простой процессор — получилось, но очень сложно.
                  +3
                  Упомянутое вами — оптоэлектроника, здесь же похоже чистая оптика, неочевидно даже, как активация делается. Если это не однослойный персептрон.
                    +2
                    Нет, это чистая оптика. Никакой электроники (за исключением ламп накачки активного тела для усилителя. А трансфазор полностью оптический и питания не требует.
                    Кстати, вот: zhurnalko.net/=nauka-i-tehnika/tehnika-molodezhi/1990-10--num12
                      0
                      А трансфазор полностью оптический

                      Вот здесь вижу другое, но не суть.
                      А суть, что в конкретно данном эксперименте нелинейные оптические устройства похоже, не использовались, или использовались достаточно простые, годные для активации но не для инверторов.
                        0
                        Вот здесь вижу другое, но не суть.


                        А где там написано это самое «другое»? Трансфазор — полностью оптический переключатель. Никакого электричества ему не нужно даром.

                        А суть, что в конкретно данном эксперименте


                        В каком? Который в журнале? Там же написано про оптически-управляемый элемент. Он чисто оптический. Никакой электроники. Лазер только полупроводниковый и фотоприёмник результата работы процессора — это всё.
                    0
                    А в чём хотя бы теоретическое преимущество? Меньше энергии потребляет? Быстрей работает?
                      +3
                      Вероятно более высокая стойкость, как минимум к температурная, вибрационная и радиационная. Для вояк просто подарок.
                        0
                        На оптических эффектах, помнится, делали перемножения матриц в процессорах. Израиль вроде выпускал такое.
                        +4
                        А в чём хотя бы теоретическое преимущество? Меньше энергии потребляет? Быстрей работает?

                        <irony>
                        «Настоящая наука — не отвечает на вопрос „почему“.
                        Настоящая наука отвечает на вопрос „почему бы и нет??!!“»

                        Кейв Джонсон
                    0
                    в смысле ReLU, что подразумевается отрицательным световым сигналом? А так модулировать можно было бы интерференцией
                    0
                    конечный автомат бывает и без памяти. Просто сейчас он применяется пореже, чем раньше.
                      +2
                      Состояние КА и есть память.
                        +1
                        Без магазинной памяти (стека)
                          +2
                          Даже простейший КА — триггер — сам по себе является однобитной ячейкой памяти.
                          Система без памяти — это когда состояние системы зависит только от текущих входных сигналов, и не зависит от предыдущих.
                          КА — система, где текущее состояние определяется как текущими входными сигналами, так и предыдущими состояниями. А учет предыдущих состояний подразумевает понятие «память».
                        –2
                        Обычная голограмма по сути, только не на плоской плёнке, а в объемной стекляшке.
                          0
                          Помнится лет 15 назад читал я Уоссермана «Нейрокомпьютеры». Как концепции на будущее там предлагались модели когнитрона и неокогнитрона. Я тогда прикидывал, что для распознавания патерна 100х100 пикселей нужно примерно 3 ТБ памяти. И вот это будущее наступило ))). Судя по описания это и есть когнитрон.
                          +7

                          Достаточно очевидная идея — реализовать НС на оптике. Круто, что у них получилось.


                          Забавно, что вместо того "ИИ", что описан в фантастических рассказах (который боятся и ждут), мы можем сперва получить стёкла, распознающие объекты и выполняющие различные вычисления, которые и интеллектом-то не назовёшь.

                            +2
                            Ну, отчего же — не назовёшь? Под определение очень даже попадает. Ведь что такое интеллект? Согласно определению Ника Бострома — «реализуемый на физическом объекте алгоритм».
                              +2
                              Ну, это все-таки слишком узкое понимание интеллекта.
                                +1
                                Обычно все же у интеллекта подразумевается способность к обучению. Готовый алгоритм в стекле ничему научиться не сможет.
                                  0
                                  Это смотря какое стекло.
                                    0
                                    А если вместе со стеклом идут манипуляторы и способность изготавливать копии своей машинерии с «абгрейдом кода»?
                                  +2
                                  они не могут обучаться. только лишь быстро и дешево(надеюсь) выполнять поставленную однажды задачу.
                                    0
                                    кусок твердого стекла да. но теоретически подобная система сможет обучаться, если сможет изменять свою структуру (например, слой жидкости вместо куска стекла) и получит обратную связь.
                                  +1
                                  А в старых книжках также есть описания систем оптического распознавания на основе голографических технологий. Например, рассыпаны металлические детали, система определяла их координаты, даже если детали повернуты, перекрывают друг друга и видны частично.
                                    +14

                                    Если вспомнить, что нейронная сеть любой глубины может всегда может быть заменена на один слой, и что нейронная сеть из одного слоя — это всего лишь чистая функция из f(a1,...,aN)->[r1,...,rM] (a — аргумент, r — результат), то получается, что реализовали аппаратную функцию на аналоговом устройстве.


                                    Что не отменяет офигенность результата.


                                    Только представьте себе оптическую нейронную сеть в стекле, способную, например, различить пол человека или отличить собаку от кошки, например, давая отражения только кошек (но не собак). Это будет феерический wtf.

                                      +6

                                      А можно доказательство, что сеть любой глубины может всегда может быть заменена на один слой?

                                        +4
                                        С одной стороны да, а с другой — нет. С точки зрения математики — нейронная сеть, состоящая всего из трех (не одного) слоев — входной, выходной и скрытый между ними — это универсальный аппроксиматор, который может представить собой любую функцию с любой наперед заданной точностью (доказательство теоремы — 18 ссылка на Вики). Однако, ничего не говорится о том, сколько параметров потребуется такой сети — их число может превзойти любое разумное, и обучать такие сети мы тоже не умеем. Также не известен конструктивный способ сведения обученных глубоких сетей к такой трехслойной — иначе бы никто и не заморачивался с глубокими сетями. В общем — эта теорема важна только для теоретических изысканий, на практике применений никаких нет.
                                          0
                                          А свёрточные слои тоже сюда включены?
                                            +1
                                            Разумеется, свёрточные слои — частный случай полносвязных.
                                          0
                                          del — выше уже ответили
                                          +15
                                          Так вот почему вампиры в зеркале не отражаются…
                                            +1

                                            Такая технология довольно ограничена, свет при прохождении через стекло теряется, поэтому произвольное распознавание реализовать не получится. Подойдет только для белых символов на черном фоне, и если их немного. Не факт что даже черные на белом будет распознавать.

                                              0
                                              Ну можно же сделать несколько разных стекол, связанных между собой фотодиодами и светодиодами. В данном случае на выходе стекла можно сделать 10 фотодиодов с компараторами и светодиодами на выходе. Это и фильтрация, и усиление. А дальше можно ещё стекло поставить.
                                                0
                                                Так потеряется фаза волны. А она может быть важна.
                                              +21
                                              … а ещё через лет пять будет DeepNude в стекле — те самые раздевающие шпионские очки из детства.
                                                0
                                                Сейчас детишкам уже не нужны такие очки. Интересный контент проще науглить :)
                                                0
                                                не всегда. Не заменяется на один слой при нелинейной функции активации. 79% это вообще то низкий результат на стекле, а так да за оптическими компами будущее, коенчно не на лучах света как тут а на отдельных фотонах, только подсчитать сколько фотонов летает и сколько мат. операций они сделают.
                                                  0
                                                  давая отражения только кошек (но не собак)

                                                  Или, например, зеркало для распознавание вампиров

                                                    0
                                                    нейронная сеть любой глубины может всегда может быть заменена на один слой

                                                    Разве не на 2 слоя с нелинейными функциями активации?

                                                      +2
                                                      … или Пацака от Чатланина…
                                                      0
                                                      Очень интересно. Жаль, что нет никаких подробностей. И, конечно, непонятно можно ли это будет применять на практике.
                                                        +5
                                                        Напомнило фрактальные солнечные часы, кажется в книге Мандельброта про них читал подробнее. Не смог найти первоисточник.
                                                          +3
                                                          Вот здесь было аналогичное, более подробно
                                                            –19

                                                            Ахаха. "Они создали" ))) оптическое распознавание БПФ было ещё в 60-е, у военных, для распознавания целей.
                                                            А вы наверное просто патенты рассекреченные почитали. Как раз время подошло — 50 лет прошло )), смешно да… Программисты открывают мир.))

                                                              +1
                                                              Оно в стекле было?
                                                                +1
                                                                БПФ -это про Фурье? Если так, то идея в принципе понятна. Например, линза в фокальной плоскости выполняет пространственное преобразование Фурье.
                                                                +7
                                                                А вы наверное просто патенты рассекреченные почитали.

                                                                Засекреченных патентов не бывает.
                                                                  +2
                                                                  Собственно, слово патент буквально и означает «открытый, публичный».
                                                                    –2
                                                                    Я тут недавно видел сверхсекретные карты Генштаба — там нет Америки.
                                                                0
                                                                Парадоксальной кажется мысль о том, что для рассчета этого оптического аппарата, наверняка использовался искусственный интеллект.


                                                                А основываясь на этой идее можно много чего придумать. Можно сделать преобразующую функцию и для акустических задач, где песня будет пропускаться через активный фильтр (сложная звуковолновая композиция), а на выходе мы получим значение соответствующее какому-то жанру музыки.

                                                                Вообще не уверен правильно ли это называть нейросетью. Нейросеть ведь она обучается. А тут мы имеем дело с уже обученой под конкретную задачу сетью, которую «отлили» в определенной среде.
                                                                Устройства для распознавания ведь можно сделать на чем угодно. Да хоть и на полупроводниках. Любую программную функцию можно реализовать в железе.

                                                                Существует много разных устройств для распознавания. Например, устройство для распознавания поддельных купюр, работающее на ультрафиолете. Это тоже нейросеть? А лакмусовая бумажка? Это химическая нейросеть для распознавания уровня кислотности? Нет ведь. Просто устройство для распознавания. Вот и в данном случае я не могу назвать это нейросетью.

                                                                P.S.
                                                                Тут в комментариях спрашивали про практическое применение — конечно специальное зеркало, чтобы распознавать вампиров ;)
                                                                  0
                                                                  Тут в комментариях спрашивали про практическое применение — конечно специальное зеркало, чтобы распознавать вампиров ;)

                                                                  Только если они Ласомбра, если Вы понимаете, о чём я...

                                                                    0
                                                                    Но для них хватит и обычного зеркала.
                                                                  0
                                                                  Блин. Это очень круто. Примерно чего-то такого я уже давно ждал.
                                                                    +2
                                                                    Интересно было бы увидеть из примера распознание другого числа на той-же ячейке. К примеру, 5-ки.
                                                                      +2
                                                                      По сути ASIC но на стекле.
                                                                        0

                                                                        Я думаю прикол в том, что судя по всему нейронные сети — это принципиально другой механизм обработки данных, по сравнению с классическими технологиями CPU или FPGA.
                                                                        Соответственно народ сейчас экспериментирует — а не будет ли технология X более быстродействующей, чем классика, и появляются нестандартные решения типа данного стекла.


                                                                        На заре электроники было тоже много аналогичных решений, как уже упоминавшееся здесь БПФ, а также ПАВ, ФЭУ, аналоговые фильтры и прочие вещи, которые как-то не сильно прижились. Не, одна технология прижилась и на долго — это лампы и заменившие их транзисторы, как аналоговые усилители.

                                                                          +1
                                                                          а не будет ли технология X более быстродействующей

                                                                          Технология, о которой речь в этой статье, работает со скоростью распространения света в стекле, быстрее даже теоретически не получится.
                                                                            0
                                                                            Почему это? Свет вне стекла может распространяться быстрее, чем в стекле.
                                                                              +1
                                                                              Может, но сам принцип работы этого устройства основан на волновых эффектах при распространении света в неоднородной оптической среде. Вы можете выбрать среду с меньшим показателем преломления, но это потребует увеличения геометрических размеров устройства, и в результате получите примерно то же время распространения света от входа до выхода.
                                                                          +3
                                                                          Слушайте, это реально круто!!!
                                                                          Главный прикол в том, что скорость работы такой сети не зависит от количества нейронов на слое!!! То есть что 100 нейронов что 10000000000000000 будут обрабатываться за одинаковое время, Возможно скорость обработки будет зависеть от количества слоев, так как скорость света в стекле меньше чем в вакууме. Но это всеравно гораздо быстрее чем современные NPU.

                                                                          Если к этому еще и дабавить возможность менять конфигурацию нейросети путем «программирования» такого стекла, ну например как это делается для компенсации искажений атмосферы в современных оптических телескопах, то получится поистине крутейшая OpticalNPU.
                                                                            +5
                                                                            Главный прикол в том, что скорость работы такой сети не зависит от количества нейронов на слое!!! То есть что 100 нейронов что 10000000000000000 будут обрабатываться за одинаковое время, Возможно скорость обработки будет зависеть от количества слоев, так как скорость света в стекле меньше чем в вакууме. Но это всеравно гораздо быстрее чем современные NPU.

                                                                            Ну я бы не так сильно радовался. В ПЛИСах тоже все можно делать параллельно и скорость распространения сигнала тоже, по сути ограничена скоростью света. При этом минимальный размер нейрона там наверняка меньше, чем сейчас возможно в стекле. А сама скорость света — это на самом весьма большой ограничивающий фактор.


                                                                            В общем вы описываете оптическую ПЛИС, заточенную под нейросети.

                                                                              0
                                                                              Конечно это круто если упадет цена производства этого девайса.
                                                                              Можно выдавать полицейским очки заточенные под лица определенных преступников или deepNude за имплементить, или иного рода «волшебные очки»
                                                                              image
                                                                                0
                                                                                На обычных компьютерах скорость тоже не совсем зависит от количества слоёв и нейронов. В стекле при увеличении количества слоёв мы увеличиваем его толщину (и, соответственно, стоимость). Аналогично и в обычных вычислениях мы можем «увеличить толщину» за счёт трёхмерного расположения процессоров.

                                                                                Далее — количество нейронов. В стекле для увеличения количества нейронов приходится либо увеличивать площадь стекла, либо уменьшать техпроцесс. Всё тоже самое можно сделать и с обычными процессорами. Естественно, чем больше площадь стекла или процессора, тем они дороже. В общем, в итоге, кардинальных различий нет.

                                                                                Но могут быть константные различия. Нейрон в стекле может занимать большую или меньшую площадь, чем в процессоре. Также из-за отсутствия тепловыделения их можно располагать компактно, что значительно дешевле. В итоге нужны расчёты, чтобы сравнить стоимость.

                                                                                PS. Надо понимать, что перед стеклом может быть монитор, а за стеклом видеокамера. Такой вот аналоговый компьютер. Но как я сказал выше, что дешевле — неочевидно. Алгоритмическая сложность (масштабирование) у них, имхо, примерно аналогично. Да, чем больше процессоров, тем больше надо отводить тепла, но стоимость этого отведения пропорциональна мощности, и может быть как дешевле производства стекла такой же мощности, так и дороже.
                                                                                0
                                                                                Это уже было у Ализара©
                                                                                habr.com/ru/post/418847
                                                                                  +1
                                                                                  Там используется другая технология (многослойное стекло), но оно также основано на оптике, да.
                                                                                  0
                                                                                  Вот такое можно оставлять потомкам.
                                                                                  Представляете, после какого нибудь БП, полудикие племена наткнутся на такое. Чистой воды магия.
                                                                                    0
                                                                                    del
                                                                                      +1
                                                                                      В полном соответствии с третьим законом Кларка для полудиких племён любая современная технология будет неотличима от магии.
                                                                                        0
                                                                                        потомки скажут… аа это типа нашего многослойного сита с разным размером сот, через которое мы горох по размеру сортируем?
                                                                                          0
                                                                                          Тоже об этом подумал.

                                                                                          Только вот есть мысль, что после «БП» такие стекляшки будут скорее как красивый материал для бус восприниматься.
                                                                                          0
                                                                                          А что если… Взять задачу коммивояжера, расположить зеркала под разными углами и/или с разной степенью отражения… Или с разной степенью плотности среды между ними… Вкачать лазерный луч — и получить оптимум (в конце одно пятно c максимумом, сдвигаемся к предыдущему и т.д.). Фотонов много, все так или иначе пройдут через все пути.

                                                                                          Проблема: а как быть с тем, что максимум в конце может быть за счет света из нескольких точек? Или путем многократного переотражения от одних и тех же зеркал?.. Надо еще думать…
                                                                                            0
                                                                                            Так это будет решение конкретной задачи коммивояжера, для конкретного расположения точек. А нужна возможность решать задачи в общем. Ну либо очень легко и быстро перемещать точки в соответствии с вводными данными.
                                                                                              0
                                                                                              Сложность NP-полных задач типа задачи коммивояжера именно в экспоненциальном росте, который нельзя побороть просто увеличивая количество проверенных путей — в вашем случае фотонов. Вот смотрите, яркая лампа излучает ~10^30 фотонов в секунду. Допустим, для решения задачи размера n вам нужно попробовать 2^n путей. Тогда, если даже считать что каждый фотон эффективно «проверит» один путь, за секунду можно будет решить задачу размера n=100, за сутки n=116, за 10 лет n=129. В общем, проблема никуда не ушла, и размер задачи не особо-то вырос по сравнению с обычными компьютерами.
                                                                                                –1
                                                                                                ты путаешь сложность NP и exp. NP это полиноминальная с неизвестной оптимизацией.
                                                                                                2^n это в эксп. Хотя твой коммент натолкнул на мысль что 3Д оптический грид выполнял бы алгоритмы на графах с физическим распаралеливанием
                                                                                                  +1
                                                                                                  Что за «полиномиальная с неизвестной оптимизацией»? Класс NP — это задачи, у которых за полиномиальное время можно проверить, является ли данное значение ответом. Пока общего способа находить ответ существенно быстрее, чем за экспоненциальное время (грубо говоря, перебирать возможные значения и проверять их), неизвестно.
                                                                                              +4
                                                                                              Вы слышали о «мыльном компьютере»?
                                                                                              Когда компьютеры были большими (или их не было вообще), а задача построения дорог стояла остро — применяли так называемый «мыльный компьютер». На большую доску приклеивали обычную бумажную карту. В места населённых пунктов вбивали гвоздики/булавки. После опускали конструкцию в мыльный раствор и поднимали. Мыльная пена соединяется по кратчайшему, энергетически наиболее выгодному пути. В результате нескольких моканий и перерисовывая соединения пены получалась оптимальная сеть дорог.
                                                                                              Мне кажется это одно из простых и гениальных решений задачи коммивояжёра.
                                                                                              P.S. сорри не туда ответил. Это ответ Ergistael habr.com/ru/post/460353/#comment_20405109
                                                                                                0
                                                                                                Спасибо, не слышал. Интересно!
                                                                                                  +2
                                                                                                  Решается не совсем задача коммивояжёра, потому что в ЗК дорожная сеть задана априори, а мыльные пузыри стыкуются в т.ч. между городами.
                                                                                                    0
                                                                                                    Это так, но мне в принципе интересны аналоговые компьютеры, способные «решить» задачу за счет взаимодействия огромного количества «самостоятельных» частиц. Здесь я увидел интересную идею и пофантазировал, заодно получил интересную информацию (интересно, идеи на «мозговых штурмах» тоже минусуются без объяснения причин?).
                                                                                                      0
                                                                                                      это скорее minimum spanning tree а так самая интересная фантазия это например броунский компьютер
                                                                                                    +1
                                                                                                    Имеет смысл только при плоской местности, но там и без этого дороги просто рисовать.
                                                                                                      0
                                                                                                      Почему только при плоской?
                                                                                                        +1
                                                                                                        Потому что горы и реки надо объезжать, иногда надо строить тоннели и мосты.
                                                                                                      0
                                                                                                        0

                                                                                                        Где про это можно почитать? На английском SOAP всё забивает

                                                                                                      +2
                                                                                                      Мне кажется тут чуть ли не самое интересное — как они нужный рисунок внутри стекла воспроизводили.
                                                                                                        +2
                                                                                                        Очень похоже на синтезированную голограмму. Но, здесь свет распространяется в плоскости стекла. Не совсем понятно (из оригинала тоже) как они подают в плоский торец картинку. Похоже, что они подают строки развертки из квадратика 20*20.
                                                                                                        А вот для подготовки явно использована нейросеть, результаты которой впечатаны в стекло.
                                                                                                        Развитие направления: скошенная стопка листиков, где каждый листик для одной функции.
                                                                                                        Или аналог пузырчатых сувенирных кубиков. Вопрос лишь в вычислительной мощности и точности лазеров. Ну а если научатся печатать такие пластинки как когда-то компакт диски, то вопрос только в том какие «функции» нужно растиражировать в таких количествах. (с)
                                                                                                          +1
                                                                                                          Я правильно понимаю, что если посветить в выходную ячейку, на входе высветится изображение соответствующей цифры?
                                                                                                            +2

                                                                                                            Скорее всего, на выходе получится смесь всех известных изображений соответствующей цифры с небольшой примесью всех остальных.

                                                                                                            +1
                                                                                                            Внимательно читайте оригинал, ни о какой физической реализации в куске стекла речи нет, пока это только расчёт. Предполагаю, что с изготовлением будут сложности, учитывая, что размер пластины всего 80 длин волн — в видимом диапазоне не больше 60 мкм, внутри которых нужно создать очень точную структуру. Погрешности при изготовлении, скорее всего, ещё снизят качество работы устройства. Но тема, безусловно, интересная, с нетерпением будем ждать первой реализации.

                                                                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                                            Самое читаемое