Комментарии 7
В итоге то как, прирост к скорости вычислений сети компенсирует ухудшение сходимости?
Очень зависит от архитектуры вычислителя. Наиболее жестко вопрос ускорения стоит на центральных процессорах (особенно ARM и MIPS) и ПЛИСах. На ЦП используются арифметико-логические устроства общего назначениия, на них чаще всего сложение и умножение в вещественных числах занимают близкое или даже одинаковое время, различие есть только для целочисленных данных. А вот на ПЛИС разница между сложением и умножением уже заметна, для целочисленных типов она, например, ~n, где n — разрядность типа данных. Сейчас ниша применения нейросетевого распознавания на ПЛИС достаточно узкая и специфичная. Однако уже проектируются и создаются нейроморфные чипы для исполнения нейронных сетей, на которых есть возможность сделать специализированные устройства для сложения, умножения, максимума, и ускорение там должно быть заметным. Поэтому в большей степени эта работа — задел на будущее, поскольку, с учетом распространения технологий распознавания, приход таких чипов в обиход — лишь вопрос времени.
Вот тут в статье просто заменяют в свёртке умножение на вычитание arxiv.org/abs/1912.13200. Скор вроде бы не сильно просел.
Эта работа в том же направлении, которая показывает, что вопрос что-то поменять в классической модели нейрона все же назрел. Результаты по падению качества там сходны с нашими. Однако:
— в этой работе также заменяются только операции внутри свертки, а затем добавляется BatchNorm, в котором есть умножения;
— для обучения предложен backprop с модифицированным градиентом, с не до конца исследованными свойствами и который требует специальной настройки системы обучения, в то время как мы ориентируемся в первую очередь на конвертацию и использование стандартных подходов и инструментария.
Похоже мы находимся на пороге нового большого направления исследований нейросетевых моделей.
— в этой работе также заменяются только операции внутри свертки, а затем добавляется BatchNorm, в котором есть умножения;
— для обучения предложен backprop с модифицированным градиентом, с не до конца исследованными свойствами и который требует специальной настройки системы обучения, в то время как мы ориентируемся в первую очередь на конвертацию и использование стандартных подходов и инструментария.
Похоже мы находимся на пороге нового большого направления исследований нейросетевых моделей.
Кстати, мы назвали наш нейрон биполярным морфологическим не просто так. Слово биполярный относится к парам вычислительных веток для положительных и отрицательных сигналов, имитирующих возбуждение и торможение. В биологии такие нейроны обычно отвечают за восприятие, например, нейроны сетчатки глаза.
Савельева на вас нет )). Вот что такое биполярный нейрон:
Биполярные нейроны, или биполярные нервные клетки — нейроны, имеющие один аксон и один дендрит. Эти отростки отходят от противоположных концов клетки,
Почему было не назвать, например, Multiplication Less Morphological Neural Network (MLMNN)? Вся суть нового подхода в названии и без ввода ещё одного заблуждения с реальным нейроном.
Кстати, ингибиторные синапсы есть у всех нейронов, а не только у биполярных. И это не вычитание. И те же «morphological neural networks» тоже притянутое название, так как морфология нейрона — это 99% его дендритное дерево, моделирование которого там никак не производится.
Попробуем ответить по порядку. Для начала мы не понимаем, которого Савельева и почему именно на нас нет. Если Сергея Вячеславовича, то с ним мы с большим удовольствием можем обсудить морфологию эпифиза и многие другие интересные темы. А если бы нам вдруг понадобилась консультация по биполярам сетчатки, мы бы обратились к Елене Михайловне Максимовой, благо ходить недалеко.
Название «биполярный» связано с тем, что наши нейроны ходят парами, кодируя положительный и отрицательный отклик раздельно, подобно on- и off- биполярам в сетчатке. Более точных метафор парного кодирования зрительных сигналов из биологии мы, к сожалению, не знаем. А вычитание на выбор названия никак не влияло, мы тут полностью на вашей стороне.
Теперь про ваш вариант названия. Он, к сожалению, не очень хорош, поскольку моделей с малым числом умножений уже известно некоторое количество, да и мы останавливаться не собираемся. А вот парность нейронов и раздельное кодирование в нашей модели появилось впервые, именно это – ее отличительное свойство.
Кроме того, «морфологический» — это уже «с малым числом умножений». Тавтология получается. Любая модель с максимумом и плюсом, но без умножения – морфологическая в обработке изображений (см., напр., wiki.technicalvision.ru/index.php/%D0%9C%D0%BE%D1%80%D1%84%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D0%B8_%D0%BD%D0%B0_%D0%BF%D0%BE%D0%BB%D1%83%D1%82%D0%BE%D0%BD%D0%BE%D0%B2%D1%8B%D1%85_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F%D1%85) и тропическая в алгебре. Наша сеть – «биполярная морфологическая» или «биполярная тропическая», на выбор. Но если обезопаситься от биологов, то климатологи и географы с астрономами уж точно пристукнут.
Мы – математики. «Дорогая, ты у меня компактная, в смысле – замкнутая и ограниченная». А «искусственные нейронные сети» давно уже не являются имитационными моделями биологических нейронов ни в каком смысле. Сеть в целом еще является феноменологической моделью биологической нейросети, да и то только в смысле «как вообще можно решать сложные задачи неалгоритмически». В частности, обучение ИНС не имеет целью моделирование какой-либо реального биологического процесса.
Название «биполярный» связано с тем, что наши нейроны ходят парами, кодируя положительный и отрицательный отклик раздельно, подобно on- и off- биполярам в сетчатке. Более точных метафор парного кодирования зрительных сигналов из биологии мы, к сожалению, не знаем. А вычитание на выбор названия никак не влияло, мы тут полностью на вашей стороне.
Теперь про ваш вариант названия. Он, к сожалению, не очень хорош, поскольку моделей с малым числом умножений уже известно некоторое количество, да и мы останавливаться не собираемся. А вот парность нейронов и раздельное кодирование в нашей модели появилось впервые, именно это – ее отличительное свойство.
Кроме того, «морфологический» — это уже «с малым числом умножений». Тавтология получается. Любая модель с максимумом и плюсом, но без умножения – морфологическая в обработке изображений (см., напр., wiki.technicalvision.ru/index.php/%D0%9C%D0%BE%D1%80%D1%84%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D0%B8_%D0%BD%D0%B0_%D0%BF%D0%BE%D0%BB%D1%83%D1%82%D0%BE%D0%BD%D0%BE%D0%B2%D1%8B%D1%85_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F%D1%85) и тропическая в алгебре. Наша сеть – «биполярная морфологическая» или «биполярная тропическая», на выбор. Но если обезопаситься от биологов, то климатологи и географы с астрономами уж точно пристукнут.
Мы – математики. «Дорогая, ты у меня компактная, в смысле – замкнутая и ограниченная». А «искусственные нейронные сети» давно уже не являются имитационными моделями биологических нейронов ни в каком смысле. Сеть в целом еще является феноменологической моделью биологической нейросети, да и то только в смысле «как вообще можно решать сложные задачи неалгоритмически». В частности, обучение ИНС не имеет целью моделирование какой-либо реального биологического процесса.
наши нейроны ходят парами, кодируя положительный и отрицательный отклик раздельно, подобно on- и off- биполярам в сетчатке.
А «искусственные нейронные сети» давно уже не являются имитационными моделями биологических нейронов ни в каком смысле.
Именно по этой причине я считаю, что делать любые отсылки к биологическому нейрону, — вводить в заблуждение.
Ваш метод ничего не берёт от реального биполярного нейрона. Поэтому отсылка на него ложная.
Я понимаю, что вы — математики, и нейробиология очень далеко от вас. Поэтому специально привёл вырезку из вики, почему нейрон, на который вы ссылаетесь, называется биполярным. Это не потому, что у него on/off рецептивные поля (которых, к слову в вашем методе тоже нет), а потому что у него две дендритные ветки идут в диаметральных от сомы направлениях. То есть, связь ровно как с биполярным транзистором — никакая.
Вы вправе назвать свой метод как желаете. «Биполярный» вполне к месту, но не делайте, пожалуйста, ложных пояснительных отсылок на биологию.
UPD. раздельное кодирование на двух путях можно было назвать Dual Path MNN.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Биполярные морфологические сети: нейрон без умножения