Search
Write a publication
Pull to refresh
8
0
Send message

Нейросети без градиентов: спектральное моделирование и построение решений

Level of difficultyHard
Reading time19 min
Views6.6K

В статье предлагается альтернативный подход к построению нейронных сетей без использования алгоритма обратного распространения ошибки. Вместо оптимизации весов с помощью градиентов рассматривается прямой спектральный синтез решений, основанный на анализе гармонического содержания сигналов. На примере логических функций XOR, AND и OR показано, как линейные и нелинейные преобразования влияют на спектр входных данных и как эти преобразования можно использовать для ручной сборки нейросетевых структур. Отдельное внимание уделяется роли функций активации как спектральных операторов. В завершение обсуждаются ограничения классического подхода к обучению и обозначаются перспективы использования частотного кодирования, которое будет рассмотрено в следующей статье.

Читать далее

Кодируем как по проводу: как представить категориальные данные для нейросети

Level of difficultyEasy
Reading time12 min
Views1.1K

Что общего между нейросетью и радиопередатчиком? В этой статье я рассматриваю кодирование категориальных признаков как процесс передачи информации через сигнальные каналы — с гармониками, фазами, QAM-созвездиями и функциями активации, превращающими данные в управляемые сигналы.

Читать далее

Information

Rating
715-th
Registered
Activity