Комментарии 26
Я вначале в Word писал, а потом отскринил.
Я тут ничего не могу сказать, перед тем как писать я посмотрел статьи на киберленинке и в гугле гуглил, но так и не нашел статей про сети работающие на основе ряда Фурье. Буду благодарен если Вы приведете ссылку на работу по этой теме.
https://www.tensorflow.org/api_docs/python/math_ops/complex_number_functions
Отсюда не следует, что сети в Tensorflow работают с комплексными числами. Например, если комплексное число разбивается на пару (Re,Im) и подается на сетку двумя скалярными переменными, тогда это не работа сети с комплексными числами.
Комплексные числа сводятся линейно к вещественным.
1. Почему вы показываете нам бесконечный ряд, когда ваша сеть обладает конечным набором параметров?
2. Где доказательство, что коэффициенты сойдутся к коэффициентам ряда Фурье? (Подсказка: не сойдутся)
3. Почему в статье полно формул, которые вообще ничего не значат и нет ни одной важной, например формулы инициализации весов?
У вашей сети и ряда Фурье из общего только значёк экспоненты. По факту это традиционный однослойный перцептрон с очень плохой функцией активации. К слову, комплекснозначная сеть полностью аналогична такой же вещественнозначной в два раза большего размера. А привычная CNN решила бы вашу задачу распознавания на 99%.
1) CNN нужно около 1000 образов на класс, так же CNN не имеет расчетных формул и ее архитектура подбирается эмпирически.
2) Если расписать уравнение этой сети, то Вы получите ряд Фурье для многих переменных.
3) Так же я писал, что сеть не доработана. И сейчас я занимаюсь ее доработкой.
4) Сигмоидальная функция в другой модификации, а в первой ее нет. И первая работает так же как и ряд Фурье.
(почему я, а не вы сделали эту картинку?)
Вот разложение функции в ряд Фурье в L2:
Где коэффициенты, к слову, определяются единственным образом как скалярное произведение функции на элементы базиса. Если честно, даже отдалённого сходства не вижу.
Но… даже если бы сходство было… У вас сумма конечная, у ряда Фурье — бесконечная. К каким именно по счёту членам ряда сойдутся ваши коэффициенты? К первым? Почему? Почему не к сорок второму? Почему в ходе оптимизации коэффициенты сойдутся к аналитическим? Похожесть (и даже одинаковость) формул этого не гарантирует и не может гарантировать.
там уже есть все необходимые функции.
Извините, а откуда следует TRS-инвариантность, если мы используем классическую матрицу с квадратным пикселом? Насколько я знаю, совсем наоборот (Glenn D. Boreman "Modulation Transfer Function in Optical and ElectroOptical Systems", SPIE, 2001)
Комплексная нейронная сеть на основе ряда Фурье от функции многих переменных