Добрый день, уважаемые хабровчане. Возможно многие из вас зададутся вопросом: «А где же описание основного алгоритма?».
Так вот, ниже будут указанны ссылки на источники, и переписывать основной алгоритм не буду.
Сразу объяснюсь. Данная статья — это результат моей исследовательской работы, а в дальнейшем и тема моего диплома.
Но хватит вводных слов. Поехали!

1. Искусственные нейронные сети

ИНС представляют собой попытку использования процессов, происходящих в нервных системах живых существ для создания новых информационных технологий.
Основным элементом нервной системы является нервная клетка, сокращенно называемая нейроном. Как и у любой другой клетки, у нейрона имеется тело, называемое сомой, внутри которого располагается ядро, а наружу выходят многочисленные отростки — тонкие, густо ветвящиеся дендриты, и более толстый, расщепляющийся на конце аксон (рис. 1).

Рис.1. Упрощенная структура биологической нервной клетки

Входные сигналы поступают в клетку через синапсы, выходной сигнал передается аксоном через его нервные окончания (колатералы) к синапсам других нейронов, которые могут находиться как на дендритах, так и непосредственно на теле клетки.

2. Многослойный персептрон

Рассмотрим его как основную используемую модель многослойной НС прямого распространения. Многослойная сеть состоит из нейронов, расположенных на разных уровнях, когда, помимо входного и выходного слоев, имеется еще, как минимум, один промежуточный (скрытый) слой. Обобщенная структура двухслойной НС приведена на (рис.2).

Рис. 2. Обобщенная структура двухслойной НС (с одним скрытым слоем)

Выходной сигнал i-го нейрона скрытого слоя можно записать как

а выходные сигналы

Для выделения сигналов источников S(t), содержащихся в смеси сигналов, используем структуру адаптивного фильтра на основе однослойной ИНС (рис. 3), предложенной в 80х годах Херольтом и Джуттеном, где X – матрица векторов наблюдаемых сигналов, образуемая в соответствии с уравнением (1) с помощью неизвестной матрицы смешивания А, W – матрица весов нейронной сети.

X = AS (1)

Рис. 3. Блок-схема работы адаптивного фильтра на ИНС

3. Использование геометрических алгоритмов обучения ИНС

Итак, как известно, любая нейронная сеть требует обучения.
Существуют различные алгоритмы обучения, с учителем, без учителя, комбинированные.
В данной работе был рассмотрен довольно необычный алгоритм обучения ИНС — геометрический.
Для начала рассмотрим его основные отличия:

Интуитивная понятность и наглядность
Высокая скорость обработки данных
Возможность использования для неквадратных матриц смешивания (только в случае супергауссовых распределений)
Простота в программировании

В работе была исследованна следующая ситуация.
На вход поступает смесь из различных сигналов (заранее подчеркну, что количество сигналов уже известно).
Необходимо было разработать такой алгоритм обучения нейросети, который позволил бы разделять сигналы из смеси с максимальной точностью.

На рис.4а изображены сигналы источников. Заметно, что четко выделяются 2 независимых компоненты, каждая из которых описывает сигнал.
На рис.4б изображены смеси сигналов. Сигналы кореллируют друг с другом, и становится довольно трудно различить их (попробуйте наложить одно изображение на другое).

Рис.4. Геометрическая интерпретация умножения на матрицу А
( а) — сигналы источников, б) — сигналы смесей)

Из (1) ясно, что смесь сигналов получается в результате перемножения сигналов источников на матрицу смешивания A:

,
которая в свою очередь представляется в виде матрицы поворота:

.

Из этой довольно простой идеи и родился геометрический алгоритм обучения ИНС — histGEO.

4. Алгоритм histGEO для случая супергауссовых распределений.

Задача этапа восстановления матрицы смешивания — отыскать
углы α1 и α2 матрицы поворота. В общем случае количество углов равно числу независимых компонент,
участвующих в смешивании.
Кратко схему функционирования histGEO для обработки
супергауссовых сигналов можно описать следующим образом:

строится диаграмма рассеяния компонент матрицы X;
рассчитывается распределение плотности вероятностей как функция от угла φ: f=f(φ);
полученное распределение обрабатывается с помощью усредняющего программного фильтра для сглаживания поверхности полученной функции, с сохранением расположения экстремумов;
грубо определяются места возможной локализации минимумов функции g=-f(φ), где f(φ) — «сглаженная» g(φ));
используя алгоритм градиентного спуска, уточняются координаты углов φ_i(рис.5.)

Рис.5. Поиск углов φ_i методом градиентного спуска.

рассчитываются коэффициенты восстанавливающей матрицы M

где n — количество независимых компонент в смеси;
на этапе тестирования алгоритма, полученные значения углов φ; наносятся на диаграмму рассеяния и сравниваются с α (рис. 6.1-6.2)

Рис.6.1. Результаты оценки смешивающей матрицы для 2х аудиосигналов
(а — geoica, б -fastgeo, в — histgeo)

Рис. 6.2. Результаты оценки смешивающей матрицы для 3х аудиосигналов.
Случай переполненного базиса
(а — geoica, б — fastgeo, в — histgeo)

Обработка аудиосигналов

Практические исследования работы рассматриваемых алгоритмов проводили в системе
математического моделирования Matlab 7.5 с использованием пакетов расширений
fastICA, geoICA, ICALab (расширения для обуче.
Работа была разделена на две части с возрастанием сложности разделения:

Оценка матрицы смешивания в задаче с квадратной матрицей, сигналы источников S – речь, шум, музыка(рис.7.1-7.4)
Оценка матрицы смешивания в задаче с переполненным базисом, сигналы источников S – речь, шум, музыка

Рис.7.1. Характеристики исходных сигналов: форма исходных сигналов

Рис.7.2. Характеристики исходных сигналов: частотные спектры

Рис.7.3. Характеристики исходных сигналов: вероятностные распределения

Рис.7.4. Характеристики исходных сигналов: диаграммы рассеяния

5. Алгоритм histGEO для случая субгауссовых распределений.

Помимо часто-встречающегося супергауссового распределения (аудиосигналы, изображения, видеосигнал и т.п.),
существуют т.н. субгауссовы сигналы (различного рода шумы, статистические величины, конкуренция особей одного вида в природе).
И отделить сигналы такого типа порой становиться невообразимо сложно, т.к. они представленны в неявном виде и сильно усложняют картину распределения.
Как ни странно, довольно простые геометрические алгоритмы оказались способны решить эту проблему.
Достаточно лишь правильно выбрать геометрический признак, характеризующий независимую компоненту.

Cигналы на выходах ИНС будут иметь вид

Y=WX (2)

т.е. задача линейной фильтрации сводится к поиску верных значений коэффициентов
матрицы весов нейронной сети W.

Из сравнения диаграмм рассеяния исходных источников и полученных смесей X
(рис.8) можно сделать вывод, что умножение на матрицу смешивания А эквивалентно
повороту независимых компонент на некоторые углы α1 и α2 в плоскости x1Ox2.

Рис.8. Геометрическая интерпретация умножения на матрицу смешивания A
(а – сигналы источников, б – сигналы смесей)

Для преобразования данных в удобный для работы вид было необходимо
провести процедуру декорреляции набора сигналов («отбеливание»),
которая переводит их совместную корреляционную матрицу в
диагональную форму, элементами которой являются дисперсии этих
сигналов (рис.9). И искомым геометрическим признаком оказались диагонали квадрата:

Рис.9. Декореллированные («отбеленные») сигналы X1 и X2.
(а – поиск подходящего геометрического признака, б – построение гистограммы распределения)

Из условий попадания точек в сектор окружности — заведомо большей
по площади, чем площадь анализируемого распределения (рис.9б) –
было рассчитано распределение плотности точек в секторе как
функция от угла φ (рис.10):

Рис.10. Поиск углов φ_i в алгоритме histgeo

f=f(φ)
g(φ)=f*(φ),
где f*(φ) – f(φ), «сглаженная» при помощи фильтра.

Для уменьшения погрешности был сформирован массив значений отклонения всех 4х диагоналей относительно исходных диагоналей соответственно (45^о, 135^о, 225^о, 315^о) (рис.11), далее было найдено среднее значение отклонений.

Рис.11. Поиск углов отклонения диагоналей от заданных углов.

Зная угол, на который повернуты диагонали, а так же то, что пересекаются диагонали в центре квадрата, можно повернуть все точки относительно этого центра на этот угол в сторону соответствующих диагоналей. Для этого необходимо вычислить восстанавливающую матрицу:

Получившееся распределение графически совпадает с исходным, что
наглядно показано на рис.12:

Рис.12. Сравнение эталонного распределения S (а) и восстановленного Y (б).

Для нахождения матрицы смешивания A’, необходимо использовать
процедуру, обратную процедуре декорелляции. Получившаяся матрица
имеет вид:

Ошибка взаимного влияния матриц А и А’:

Таблица 1. Значения коэффициентов эксцесса для матриц S, X, Y:

	S	X	Y
kurt1	-0.8365	-0.7582	-0.8379
kurt2	-0.8429	-0.8341	-0.8465

Коэффициент эксцесса:

6. Выводы

Проверенна возможность применения геометрического алгоритма histGEO к классу субгауссовых распределений.
Несмотря на кажущуюся простоту, геометрические алгоритмы представляют собой эффективный механизм обучения ИНС в задачах адаптивной фильтрации.
Разработанный оптимизированный вариант алгоритма histGEO применим к сигналам как супергауссового, так и субгауссового типа.
С увеличением количества источников, входящих в смесь, делать правильную оценку матрицы смешивание становится труднее, т.к. экстремумы функции g(φ) становятся менее выраженными и не исключено попадание решения в один из локальных минимумов.
Эффективность алгоритма в случае разделения сигналов с переполненным базисом (варианты неквадратной матрицы смешивания) требует проведения дополнительных исследований.

На данном этапе нельзя сказать, что алгоритм универсален и применим в случае неквадратных матриц смешивания для любого класса распределений, но с уверенностью можно отметить, что в случае квадратных матриц этот алгоритм справляется со своей задачей.

Список литературы:

Хайкин С. Нейронные сети: полный курс / С. Хайкин. – М.: Издательский дом «Вильямс», 2006. – 1104 с.
Бормонтов Е.Н., Клюкин В.И., Тюриков Д.А. Геометрические алгоритмы обучения в задаче анализа независимых компонент / Е. Н. Бормонтов, В. И. Клюкин, Д. А. Тюриков – Вестник ВГТУ, т.6, №7. – Воронеж: ВГТУ, 2010.
A. Jung, F.J. Theis, C.G. Puntonet E.W. Lang. Fastgeo — a histogram based approach to linear geometric ICA. Proc. of ICA 2001, pp. 418–423, 2001.
F.J. Theis. A geometric algorithm for overcomplete linear ICA. B. Ganslmeier, J. Keller, K.F. Renk, Workshop ReportI of the Graduiertenkolleg, pages 67-76, Windberg, Germany, 2001.
Г. Ф. Малыхина, А. В. Меркушева Робастные методы для разделения смеси сигналов и анализа независимых компонент при зашумленных данных / Г. Ф. Малыхина, А. В. Меркушева НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2011, том 21, № 1, c. 114–127
XIX Международная научно-техническая конференция «Радиолокация, навигация, связь» (RLNC-2013) Секция 1. Оптимизация геометрического алгоритма обучения ИНС при анализе независимых компонент. Е. Н. Бормонтов, В. И. Клюкин, Д. А. Тюриков — 2013

Оптимизация геометрического алгоритма обучения ИНС при анализе независимых компонент