Биполярные морфологические сети: нейрон без умножения

    В наши дни трудно найти задачу, которую еще не предлагают решать нейронными сетями. А во многих задачах другие методы уже даже не рассматриваются. В такой ситуации логично, что в погоне за “серебряной пулей” исследователи и технологи предлагают все новые и новые модификации нейросетевых архитектур, которые должны принести прикладникам “счастье для всех, даром, и пусть никто не уйдет обиженным!” Впрочем, в индустриальных задачах чаще оказывается, что точность модели в основном зависит от чистоты, размера и структуры обучающей выборки, а от нейросетевой модели требуется разумность интерфейса (например, неприятно, когда ответом по логике должен быть список переменной длины).


    Другое дело — производительность, быстродействие. Здесь зависимость от архитектуры прямая и вполне предсказуемая. Впрочем, не всем ученым интересная. Куда приятнее мыслить столетиями, эпохами, мысленно целиться в век, когда волшебным образом вычислительные мощности будут невообразимыми, а энергия добываться из воздуха. Однако и людей приземленных тоже хватает. И им важно, чтобы нейросети были компактнее, быстрее и энергоэффективнее уже сейчас. Например, это важно при работе на мобильных устройствах и во встроенных системах, где нет мощной видеокарты или нужно экономить аккумулятор. В этом направлении сделано немало: тут и малобитные целочисленные нейронные сети, и удаление избыточных нейронов, и тензорные декомпозиции сверток, и многое другое.


    Нам же удалось убрать умножения из вычислений внутри нейрона, заменив их сложениями и взятием максимума, хотя мы и оставили возможность использовать умножения и нелинейные операции в функции активации. Предложенную модель мы назвали биполярной морфологической моделью нейрона.



     


    Любопытно, что и в работах по повышению быстродействия, и в алхимических работах о “более лучших” архитектурах базовая модель Маккаллока-Питтса почти никогда не подвергается ревизии. Это та самая модель, согласно которой реакция нейрона определяется взвешенной суммой входов, а определение синаптических весов и составляет процесс обучения. На первый взгляд в сохранении этой части нет ничего удивительного. С одной стороны, здесь не видно резервов для оптимизации. С другой стороны, кардинальная замена математики нейрона может породить модель, для которой все наработанные методы обучения окажутся неподходящими, и весь путь выстраивания технологических приемов придется проходить заново.


    Если же взглянуть внимательнее, то центральные, графические и даже специализированные тензорные процессоры, на которых сейчас гоняются классические сети, большую часть ресурсов тратят на умножение. При этом в вентильной реализации умножение дольше и сложнее сложения, поэтому если бы удалось заменить умножение на менее ресурсоемкую операцию, тензорные процессоры можно было бы значительно оптимизировать. Есть за что бороться. Ну а технологическими сложностями нас не запугать. Labor omnia vīcit improbus et dūrīs urgēns in rēbus egestās.


    Тем более, что мы — не первые. В 90-х был предложен морфологический нейрон [1, 2]. Эта модель во многом апеллирует к биологическим свойствам нейронов. Дальнейшим развитием этой идеи являются дендритные морфологические нейроны, которые позволяют отдельно моделировать процессы возбуждения и торможения [3], и обобщение предложенной модели в терминах алгебры на решетке [4]. Морфологическая нейронная сеть, как правило, представляет собой однослойный перцептрон. Для обучения такой нейронной сети используют эвристические алгоритмы [5], которые могут быть дополнены стохастическим градиентным спуском [6]. Однако, такие сети плохо масштабируются на задачи глубокого обучения и не позволяют достичь высокого качества во многих стандартных на сегодня задачах. Поэтому они представляют в первую очередь академический интерес.


    Мы же хотели добиться достаточного качества распознавания в задачах классификации и распознавания, и предложили свою модель, которая не просто использует морфологические операции, но и аппроксимирует классический нейрон, что потенциально позволяет адаптировать современные нейросетевые архитектуры к этой модели.


    Биполярный морфологический нейрон


    Классический нейрон выполняет вот такую операцию:


    $ y(\mathbf{x}, \mathbf{w}) = \sigma \left (\sum_{i=1}^N w_i x_i + w_{N+1} \right) $


    То есть, он считает линейную комбинацию входных сигналов $x$ с весами $w$, прибавляет постоянный член и далее берет нелинейную функцию активацию $\sigma$.


    Мы предложили биполярный морфологический нейрон (БМ-нейрон), который аппроксимирует обычный нейрон без умножений внутри нейрона. Покажем, как он получился. Для начала, сумма произведений в классическом нейроне может быть представлена в виде 4 слагаемых, отличающихся по знаку весов и входов:


    $ \sum_{i=1}^N x_i w_i = \sum_{i=1}^N p_i^{00} x_i w_i - \sum_{i=1}^N p_i^{01} x_i |w_i| - \sum_{i=1}^N p_i^{10} |x_i| w_i + \sum_{i=1}^N p_i^{11} |x_i| |w_i|, $


    где


    $ p_i^{kj} = \begin{cases} 1 , \mbox{ если } (-1)^k x_i > 0 \mbox{ and } (-1)^j w_i > 0\\ 0 , \mbox{ иначе} \end{cases} $


    Дальше рассмотрим каждое слагаемое отдельно. Обозначим:


    $ M = \max_j (x_j w_j) \\ k = \frac{\sum \limits_{i=1}^N x_i w_i}{M} -1 $


    и выполним такую аппроксимацию:


    $ \sum_{i=1}^N x_i w_i = \exp \lbrace \ln \sum_{i=1}^N x_i w_i \rbrace = \exp \left \{ \ln M (1 + k) \right \} =(1 + k)\exp \ln M = \\ = (1 + k) \exp \left \{ \ln(\max_j (x_j w_j))\right \} = (1 + k)\exp \max_j \ln (x_j w_j) = \\ = (1 + k)\exp \max_j (\ln x_j + \ln w_j) = (1 + k)\exp \max_j (y_j + v_j) \approx \exp \max_j (y_j + v_j), $


    где $y_j$ — новые входы, $v_j = \ln w_j$ — новые веса. Очевидно, что она корректна, когда $k \ll 1$. Так как $0 \leq k \leq N - 1$, лучший случай наступает, если сумма содержит только одно ненулевое слагаемое ($k = 0$), а худший — в случае суммы равных слагаемых ($k = N-1$). В худшем случае настоящая величина суммы будет в $N$ раз больше приближенной. Не то чтобы это можно было назвать хорошей аппроксимацией, однако сеть может это компенсировать за счет наличия нелинейностей между слоями — мы не можем заранее сказать, сломает эта аппроксимация все или нет. Например, нейронные сети с малобитными целочисленными коэффициентами нельзя напрямую конвертировать из классических, зато с использованием специальных методов — можно получить качество, сравнимое с оригинальным. Поэтому мы сочли БМ-нейрон перспективным.


    Схема БМ-нейрона приведена на Рис. 1. С помощью ReLU мы создаем 4 вычислительных ветки: для положительных и отрицательных входов и положительных и отрицательных весов. Далее считается логарифм входов и выполняется собственно морфологическая операция внутри нейрона. Наконец, результаты потенцируются и вычитаются для получения выхода нейрона.


    Операции вычисления логарифма и экспоненты выполняются над набором входов и выходов слоя, поэтому их можно считать частью сложной функции активации и выполнять по одному разу на слой, а не для каждого нейрона. Как правило, вклад функции активации в общую вычислительную сложность сети достаточно мал, поэтому некоторое усложнение её структуры не должно представлять проблемы. В дальнейшем для ускорения можно попробовать заменить эти операции на их приближения (например, кусочно-линейное), а для сети с квантованными коэффициентами — на предподсчитанные таблицы.



    Рис. 1. Схема биполярного морфологического нейрона.


    Итого, БМ-нейрон считает вот такую величину:


    $ \mbox{BM}(x, w) = \exp{\max_j (\ln \mbox{ReLU}(x_j) + v^{0}_j)} - \exp{\max_j (\ln \mbox{ReLU}(x_j) + v^{1}_j)} - \\ - \exp{\max_j (\ln \mbox{ReLU}(-x_j) + v^{0}_j)} + \exp{\max_j (\ln \mbox{ReLU}(-x_j) + v^{1}_j)}, $


    где


    $ v_j^{k} = \begin{cases} \ln |w_j| , \mbox{ если } (-1)^k w_j > 0\\ -\infty , \mbox{ иначе} \end{cases} $


    Кстати, мы назвали наш нейрон биполярным морфологическим не просто так. Слово биполярный относится к парам вычислительных веток для положительных и отрицательных сигналов, имитирующих возбуждение и торможение. В биологии такие нейроны обычно отвечают за восприятие, например, нейроны сетчатки глаза.


    Обучение


    Разумеется, идеальным вариантом было бы создать конвертер, который просто берет уже обученную классическую сеть, преобразует ее и вуаля: быстрая точная БМ-сетка готова! Однако, прямо так сделать не получилось и мы слегка ослабили требования к методу обучения. Мы конвертировали сеть послойно и дообучали только оставшиеся классические слои (метод 1) или всю сеть (метод 2). Зачем так сложно? При конвертации одного слоя качество не падает до нуля, и сеть не обязательно учить с нуля на большом массиве данных. Это может быть крайне полезно, если классическая сеть сама по себе требует нескольких недель на обучение.


    Еще на самом деле не очевидно, как должна учиться БМ-сеть: из-за того, что нейроны считают максимум, на каждом шаге может обновляться только один вес в БМ-слое, а некоторые веса могут вообще не вносить вклад в результат, если они инициализировались особо неудачно. У нас не получилось просто взять и обучить БМ-сеть стандартными методами на основе градиентного спуска: качество было приемлемым, но все же ниже, чем другими методами, о которых мы сейчас расскажем.


    Глобально, подход, который мы использовали, основан на incremental learning — мы постепенно адаптируем модель к новым данным или новой структуре, но при этом она не теряет уже полученной информации. Мы двигаемся послойно и преобразуем текущий слой к БМ виду. Веса БМ-слоя инициализируются так, чтобы он аппроксимировал оригинальный слой. После этого либо дообучается “хвост” — оставшиеся классическими слои (метод 1), — либо дообучается вся сеть (метод 2). Слово “дообучение” здесь означает, что сеть уже инициализирована разумными значениями и нуждается в не слишком большом уточнении коэффициентов, а не обучении с нуля. Таким образом, мы уходим от необходимости подбирать инициализацию сети или отдельного БМ-слоя, а также можем надеяться, что сеть обучится градиентным спуском, несмотря на трудности этого процесса для БМ-нейрона.


    Эксперименты


    MNIST


    MNIST — это открытая выборка для обучения, состоящая из 60000 серых изображений рукописных цифр размера 28 на 28. Еще 10000 изображений составляют тестовую выборку. Мы использовали 10% для валидации, а остальные — для обучения. Примеры изображений из выборки приведены на Рис. 2.



    Рис. 2. Примеры символов из выборки MNIST.


    Введем следующие обозначения для слоев сети:


    conv(n, w_x, w_y) — сверточный слой с n фильтрами размера w_x на w_y;
    fc(n) — полносвязный слой с n нейронами;
    maxpool(w_x, w_y) — слой max-pooling с окном w_x на w_y;
    dropout(p) — слой dropout с вероятностью пропуска связи p;
    relu — функция активации ${\mbox{ReLU}(x) = \max(x, 0)}$;
    softmax — функция активации softmax.


    Для классификации на MNIST мы обучили две простых сверточных нейронных сети:


    CNN1: conv1(30, 5, 5) — relu1 — dropout1(0,2) — fc1(10) — softmax1.


    CNN2: conv1(40, 5, 5) — relu1 — maxpool1(2, 2) — conv2(40, 5, 5) — relu2 — fc1(200) — relu3 — dropout1(0,3) — fc2(10) — softmax1.


    Затем мы начали последовательно конвертировать их слои в биполярный морфологический вид. Результаты приведены в Таблице 1. При этом прочерк в графе “преобразовано” отвечает исходной непреобразованной сети. А еще мы показываем качество сразу после конвертации и после конвертации (К) и дообучения (Д).


    Таблица 1. Качество распознавания нейронных сетей в зависимости от преобразованной к биполярному морфологическому виду части на MNIST. К — качество после конвертации, Д — качество после дообучения.


    Сеть Преобразовано Метод 1, К Метод 1, К+Д Метод 2, К Метод 2, К+Д
    CNN1 - 98,72 - 98,72 -
    CNN1 conv1 42,47 98,51 38,38 98,76
    CNN1 conv1 — relu1 — dropout1 — fc1 26,89 - 19,86 94,00
    CNN2 - 99,45 - 99,45 -
    CNN2 conv1 94,90 99,41 96,57 99,42
    CNN2 conv1 — relu1 — maxpool1 — conv2 21,25 98,68 36,23 99,37
    CNN2 conv1 — relu1 — maxpool1 — conv2 — relu2 — fc1 10,01 74,95 17,25 99,04
    CNN2 conv1 — relu1 — maxpool1 — conv2 — relu2 — fc1 — dropout1 — relu3 — fc2 12,91 - 48,73 97,86

    Когда мы не пытались обучать БМ-слои, качество падало уже на свертках, а на полносвязных БМ-слоях сеть практически прекращала распознавать. Кроме того, результат для сетки с двумя сверточными БМ-слоями не лучше, чем для сети лишь из оставшихся полносвязных слоев. Это говорит о том, что качество аппроксимации так себе и конвертировать сети без обучения не получится.


    С дообучением конвертированных слоев картина уже значительно лучше: свертки преобразовались практически без потерь. Снижение качества на полносвязных слоях на наш взгляд связано с несовершенством метода обучения и не обязательно говорит о том, что они не могут работать в принципе. Однако даже текущий результат хорош: основное время в нейронных сетях считаются именно свертки и их-то и хочется в первую очередь ускорить.


    Символы MRZ


    Дальше мы решили использовать нашу внутреннюю выборку из символов MRZ-строки документов, удостоверяющих личность (см. Рис. 3). У нас было 280 000 полутоновых изображений размера 21 на 17 пикселей с 37 символами MRZ, полученных из изображений реальных документов.



    Рис. 3. Примеры символов MRZ зоны.


    CNN3: conv1(8, 3, 3) — relu1 — conv2(30, 5, 5) — relu2 — conv3(30, 5, 5) — relu3 — dropout1(0,25) — fc1(37) — softmax1.


    CNN4: conv1(8, 3, 3) — relu1 — conv2(8, 5, 5) — relu2 — conv3(8, 3, 3) — relu3 — dropout1(0,25) — conv4(12, 5, 5) — relu4 — conv5(12, 3, 3) — relu5 — conv6(12, 1, 1) — relu6 — fc1(37) — softmax1.


    Результаты преобразования приведены в Таблице 2. При этом прочерк в графе “преобразовано” отвечает исходной непреобразованной сети. Мы опять показываем качество сразу после конвертации и после конвертации (К) и дообучения (Д).


    Картина такая же, как и на MNIST: если не обучать БМ-слои, то качество заметно падает, особенно на полносвязных слоях. При обучении БМ-слоев свертки преобразовались почти без потерь, а вот полносвязные слои все-таки пострадали.


    Таблица 2. Качество распознавания нейронных сетей в зависимости от преобразованной к биполярному морфологическому виду части на MRZ. К — качество после конвертации, Д — качество после дообучения.


    Сеть Преобразовано Метод 1, К Метод 1, К+Д Метод 2, К Метод 2, К+Д
    CNN3 - 99,63 - 99,63 -
    CNN3 conv1 97,76 99,64 83,07 99,62
    CNN3 conv1 — relu1 — conv2 8,59 99,47 21,12 99,58
    CNN3 conv1 — relu1 — conv2 — relu2 — conv3 3,67 98,79 36,89 99,57
    CNN3 conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — fc1 12,58 - 27,84 93,38
    CNN4 - 99,67 - 99,67 -
    CNN4 conv1 91,20 99,66 93,71 99,67
    CNN4 conv1 — relu1 — conv2 6,14 99,52 73,79 99,66
    CNN4 conv1 — relu1 — conv2 — relu2 — conv3 23,58 99,42 70,25 99,66
    CNN4 conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — conv4 29,56 99,04 77,92 99,63
    CNN4 conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — conv4 — relu4 — conv5 34,18 98,45 17,08 99,64
    CNN4 conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — conv4 — relu4 — conv5 — relu5 — conv6 5,83 98,00 90,46 99,61
    CNN4 conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — conv4 — relu4 — conv5 — relu5 — conv6 -relu6 — fc1 4,70 - 27,57 95,46

    Заключение


    Итак, мы предложими модель биполярного морфологического нейрона, приближающую классический нейрон. Также мы показали, как преобразовать классическую сеть к БМ-структуре и дообучить ее. Наш подход продемонстрировал конвертацию сверточных слоев практически без потерь на MNIST и нашей выборке символов MRZ.


    Был ли смысл так заморачиваться? С одной стороны, на современных центральных и видео- процессорах умножение и сложение практически не отличаются по времени. С другой стороны, на устройствах специального назначения подобная модель при должной доработке (например, квантовании и использовании оптимизаций логарифма и экспоненты) способна дать реальное преимущество. С учетом того, что техническое развитие идет в сторону создания отдельных устройств для исполнения нейронных сетей — нейропроцессоров или специализированных схем типа TPU, эта идея выглядит еще более интересной.


    Но до этого еще много работы, но первый шаг мы сделали, и продолжим исследовать нашу модель: на глубоких сетках, в плане методов обучения и возможностей квантования.


    PS. Публикация сделана по материалам доклада на международной конференции по машинному зрению ICMV 2019:
    E. Limonova, D. Matveev, D. Nikolaev and V. V. Arlazarov, “Bipolar morphological neural networks: convolution without multiplication,” ICMV 2019, 11433 ed., Wolfgang Osten, Dmitry Nikolaev, Jianhong Zhou, Ed., SPIE, Jan. 2020, vol. 11433, ISSN 0277-786X, ISBN 978-15-10636-43-9, vol. 11433, 11433 3J, pp. 1-8, 2020, DOI: 10.1117/12.2559299.


    Литература


    1. G. X. Ritter and P. Sussner, “An introduction to morphological neural networks,” Proceedings of 13th International Conference on Pattern Recognition 4, 709–717 vol.4 (1996).
    2. P. Sussner and E. L. Esmi, Constructive Morphological Neural Networks: Some Theoretical Aspects and Experimental Results in Classification, 123–144, Springer Berlin Heidelberg, Berlin, Heidelberg (2009).
    3. G. X. Ritter, L. Iancu, and G. Urcid, “Morphological perceptrons with dendritic structure,” in The 12th IEEE International Conference on Fuzzy Systems, 2003. FUZZ ’03., 2, 1296–1301 vol.2 (May 2003).
    4. G. X. Ritter and G. Urcid, “Lattice algebra approach to single-neuron computation,” IEEE Transactions on Neural Networks 14, 282–295 (March 2003).
    5. H. Sossa and E. Guevara, “Efficient training for dendrite morphological neural networks,” Neurocomputing 131, 132–142 (05 2014).
    6. E. Zamora and H. Sossa, “Dendrite morphological neurons trained by stochastic gradient descent,” in 2016 IEEE Symposium Series on Computational Intelligence (SSCI), 1–8 (Dec 2016).
    Smart Engines
    Обработка изображений, распознавание в видеопотоке

    Комментарии 7

      0
      В итоге то как, прирост к скорости вычислений сети компенсирует ухудшение сходимости?
        +1
        Очень зависит от архитектуры вычислителя. Наиболее жестко вопрос ускорения стоит на центральных процессорах (особенно ARM и MIPS) и ПЛИСах. На ЦП используются арифметико-логические устроства общего назначениия, на них чаще всего сложение и умножение в вещественных числах занимают близкое или даже одинаковое время, различие есть только для целочисленных данных. А вот на ПЛИС разница между сложением и умножением уже заметна, для целочисленных типов она, например, ~n, где n — разрядность типа данных. Сейчас ниша применения нейросетевого распознавания на ПЛИС достаточно узкая и специфичная. Однако уже проектируются и создаются нейроморфные чипы для исполнения нейронных сетей, на которых есть возможность сделать специализированные устройства для сложения, умножения, максимума, и ускорение там должно быть заметным. Поэтому в большей степени эта работа — задел на будущее, поскольку, с учетом распространения технологий распознавания, приход таких чипов в обиход — лишь вопрос времени.
        0
        Вот тут в статье просто заменяют в свёртке умножение на вычитание arxiv.org/abs/1912.13200. Скор вроде бы не сильно просел.
          0
          Эта работа в том же направлении, которая показывает, что вопрос что-то поменять в классической модели нейрона все же назрел. Результаты по падению качества там сходны с нашими. Однако:
          — в этой работе также заменяются только операции внутри свертки, а затем добавляется BatchNorm, в котором есть умножения;
          — для обучения предложен backprop с модифицированным градиентом, с не до конца исследованными свойствами и который требует специальной настройки системы обучения, в то время как мы ориентируемся в первую очередь на конвертацию и использование стандартных подходов и инструментария.

          Похоже мы находимся на пороге нового большого направления исследований нейросетевых моделей.
          0
          Кстати, мы назвали наш нейрон биполярным морфологическим не просто так. Слово биполярный относится к парам вычислительных веток для положительных и отрицательных сигналов, имитирующих возбуждение и торможение. В биологии такие нейроны обычно отвечают за восприятие, например, нейроны сетчатки глаза.

          Савельева на вас нет )). Вот что такое биполярный нейрон:
          Биполярные нейроны, или биполярные нервные клетки — нейроны, имеющие один аксон и один дендрит. Эти отростки отходят от противоположных концов клетки,

          Почему было не назвать, например, Multiplication Less Morphological Neural Network (MLMNN)? Вся суть нового подхода в названии и без ввода ещё одного заблуждения с реальным нейроном.

          Кстати, ингибиторные синапсы есть у всех нейронов, а не только у биполярных. И это не вычитание. И те же «morphological neural networks» тоже притянутое название, так как морфология нейрона — это 99% его дендритное дерево, моделирование которого там никак не производится.
            0
            Попробуем ответить по порядку. Для начала мы не понимаем, которого Савельева и почему именно на нас нет. Если Сергея Вячеславовича, то с ним мы с большим удовольствием можем обсудить морфологию эпифиза и многие другие интересные темы. А если бы нам вдруг понадобилась консультация по биполярам сетчатки, мы бы обратились к Елене Михайловне Максимовой, благо ходить недалеко.
            Название «биполярный» связано с тем, что наши нейроны ходят парами, кодируя положительный и отрицательный отклик раздельно, подобно on- и off- биполярам в сетчатке. Более точных метафор парного кодирования зрительных сигналов из биологии мы, к сожалению, не знаем. А вычитание на выбор названия никак не влияло, мы тут полностью на вашей стороне.
            Теперь про ваш вариант названия. Он, к сожалению, не очень хорош, поскольку моделей с малым числом умножений уже известно некоторое количество, да и мы останавливаться не собираемся. А вот парность нейронов и раздельное кодирование в нашей модели появилось впервые, именно это – ее отличительное свойство.
            Кроме того, «морфологический» — это уже «с малым числом умножений». Тавтология получается. Любая модель с максимумом и плюсом, но без умножения – морфологическая в обработке изображений (см., напр., wiki.technicalvision.ru/index.php/%D0%9C%D0%BE%D1%80%D1%84%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D0%B8_%D0%BD%D0%B0_%D0%BF%D0%BE%D0%BB%D1%83%D1%82%D0%BE%D0%BD%D0%BE%D0%B2%D1%8B%D1%85_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F%D1%85) и тропическая в алгебре. Наша сеть – «биполярная морфологическая» или «биполярная тропическая», на выбор. Но если обезопаситься от биологов, то климатологи и географы с астрономами уж точно пристукнут.
            Мы – математики. «Дорогая, ты у меня компактная, в смысле – замкнутая и ограниченная». А «искусственные нейронные сети» давно уже не являются имитационными моделями биологических нейронов ни в каком смысле. Сеть в целом еще является феноменологической моделью биологической нейросети, да и то только в смысле «как вообще можно решать сложные задачи неалгоритмически». В частности, обучение ИНС не имеет целью моделирование какой-либо реального биологического процесса.
            0
            наши нейроны ходят парами, кодируя положительный и отрицательный отклик раздельно, подобно on- и off- биполярам в сетчатке.

            А «искусственные нейронные сети» давно уже не являются имитационными моделями биологических нейронов ни в каком смысле.

            Именно по этой причине я считаю, что делать любые отсылки к биологическому нейрону, — вводить в заблуждение.

            Ваш метод ничего не берёт от реального биполярного нейрона. Поэтому отсылка на него ложная.
            Я понимаю, что вы — математики, и нейробиология очень далеко от вас. Поэтому специально привёл вырезку из вики, почему нейрон, на который вы ссылаетесь, называется биполярным. Это не потому, что у него on/off рецептивные поля (которых, к слову в вашем методе тоже нет), а потому что у него две дендритные ветки идут в диаметральных от сомы направлениях. То есть, связь ровно как с биполярным транзистором — никакая.

            Вы вправе назвать свой метод как желаете. «Биполярный» вполне к месту, но не делайте, пожалуйста, ложных пояснительных отсылок на биологию.

            UPD. раздельное кодирование на двух путях можно было назвать Dual Path MNN.

            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

            Самое читаемое