Здравствуйте, хабраобщество.
У меня в универе начался курс по нейронным сетям и хочу поделиться информацией с вами, заодно и сам буду лучше воспринимать информацию, а значит выигравшими будут все. Поехали.
1. Ben Krose, Valter van de Smagt: Introduction to neural networks.
2. Р. Каллан, Введение в нейронные сети.
3. Саймон Хайкин, Нейронные сети полный курс.
4. Gupta Jin Homma, Statical and Dynamical neural networks.
Первые 2 книги хороши для вступления, первая лучше всего, но она на английском, вторая также, чуть хуже изложена, но на русском.
// тема отдана на самостоятельную обработку.
Теория искусств нейронных сетей появилась, как попытка смоделировать ЦНС (ЦНС — центральная нервная система) высших млекопитающих в 50х годах прошлого столетия.
Выяснилось, что модели искусственных нейронных сетей (Далее ИНС, НС) слишком просты и современные модели нейрофизиологии по сложности на порядок превышает модели НС. Вместе с тем выяснилось, что теория ИНС является прекрасным инструментом для решения сугубо математических задач особенно к класам трудноформализируемых задач.
Под не формализуемыми задачами мы будем понимать задачи, для которых задачу сформулировать невозможно.
К числу таких задач относятся (пример):
Под трудно формализуемыми задачами мы будем подразумевать такие задачи для которых формулировка существует, но детерминированный алгоритм нахождения точного решения либо неизвестен, либо слишком затратный по ресурсам.
Чем выше размерность задачи, тем лучше работает нейронные сети и тем хуже классическая математика.
1) ЦНС высших млекопитающих состоит из клеток — нейрон связанных друг с другом из всевозможными клетками рецепторами (зрительные, слуховые, тд). Общее количество таких клеток порядка 10^10.
Связь между нейронами осуществляется с помощью контактов — сИнапсы.
Сила связи между двумя нейронами пропорциональна концентрации вещества — нейромедиатр.
Деятельность головного мозга высших млекопитающих представляет собой пребывание в возбуждённом состоянии.
Нейрон становиться активным, тогда. когда количество активных нейронов связанных синапсами превышает определенный порог.
2) Концепция обучения.
В процессе обучения с помощью резких внешних стимулов существенно корректируется картина мира записанная в голове.
Таким образом для осуществления обучения мы должны иметь набор векторов характеризующих картину мира и все возможные реакции на нашу действительность.
Такой набор векторов получил название — обучающая выборка.
Чем более адекватная картина мира записанная в нейронах головного мозга, тем меньше истинная реакция окружающей среды будет отличаться от реакции предсказания.
С нейрофизиологической точки зрение обучение может происходить двояко, это отмирание связей и изменение силы связи.
Нейроном называется математический объект, который имеет n-входов и 1 выход.
Входы предназначены для передачи числовой информации, равно как и выходная.
Входная информация обозначается Xi.
Входы связывают искусственный нейрон (ИС) с другими или с внешним источником информации и носят название связей.
С каждой связью связано число, которое называют весами и обозначается — Wi. (i — номер связи)
Поступающая через вход информация обрабатывается в нейроне в 2 этапа:
На этом первая лекция закончилась.
Думаю было интересно.
До новых встреч!
У меня в универе начался курс по нейронным сетям и хочу поделиться информацией с вами, заодно и сам буду лучше воспринимать информацию, а значит выигравшими будут все. Поехали.
Литература
1. Ben Krose, Valter van de Smagt: Introduction to neural networks.
2. Р. Каллан, Введение в нейронные сети.
3. Саймон Хайкин, Нейронные сети полный курс.
4. Gupta Jin Homma, Statical and Dynamical neural networks.
Первые 2 книги хороши для вступления, первая лучше всего, но она на английском, вторая также, чуть хуже изложена, но на русском.
Биологические основания нейронных сетей
.// тема отдана на самостоятельную обработку.
Теория искусств нейронных сетей появилась, как попытка смоделировать ЦНС (ЦНС — центральная нервная система) высших млекопитающих в 50х годах прошлого столетия.
Выяснилось, что модели искусственных нейронных сетей (Далее ИНС, НС) слишком просты и современные модели нейрофизиологии по сложности на порядок превышает модели НС. Вместе с тем выяснилось, что теория ИНС является прекрасным инструментом для решения сугубо математических задач особенно к класам трудноформализируемых задач.
Под не формализуемыми задачами мы будем понимать задачи, для которых задачу сформулировать невозможно.
К числу таких задач относятся (пример):
- классификация
- кластеризации
- прогнозирования
Под трудно формализуемыми задачами мы будем подразумевать такие задачи для которых формулировка существует, но детерминированный алгоритм нахождения точного решения либо неизвестен, либо слишком затратный по ресурсам.
Чем выше размерность задачи, тем лучше работает нейронные сети и тем хуже классическая математика.
Концепции
1) ЦНС высших млекопитающих состоит из клеток — нейрон связанных друг с другом из всевозможными клетками рецепторами (зрительные, слуховые, тд). Общее количество таких клеток порядка 10^10.
Связь между нейронами осуществляется с помощью контактов — сИнапсы.
Сила связи между двумя нейронами пропорциональна концентрации вещества — нейромедиатр.
Деятельность головного мозга высших млекопитающих представляет собой пребывание в возбуждённом состоянии.
Нейрон становиться активным, тогда. когда количество активных нейронов связанных синапсами превышает определенный порог.
2) Концепция обучения.
В процессе обучения с помощью резких внешних стимулов существенно корректируется картина мира записанная в голове.
Таким образом для осуществления обучения мы должны иметь набор векторов характеризующих картину мира и все возможные реакции на нашу действительность.
Такой набор векторов получил название — обучающая выборка.
Чем более адекватная картина мира записанная в нейронах головного мозга, тем меньше истинная реакция окружающей среды будет отличаться от реакции предсказания.
С нейрофизиологической точки зрение обучение может происходить двояко, это отмирание связей и изменение силы связи.
Понятие искусственного нейрона
Нейроном называется математический объект, который имеет n-входов и 1 выход.
Входы предназначены для передачи числовой информации, равно как и выходная.
Входная информация обозначается Xi.
Входы связывают искусственный нейрон (ИС) с другими или с внешним источником информации и носят название связей.
С каждой связью связано число, которое называют весами и обозначается — Wi. (i — номер связи)
Поступающая через вход информация обрабатывается в нейроне в 2 этапа:
- На первом этапе вычисляется взвешенная сумма: S = W1X1+W2X2+...+WnXn + O.
Число О — порог.
Обычно, для унификации записи порог рассматривается как вес тупой связи, то есть связи которая все время генерирует 1.
И тогда можно записать как:
S = W0X0 + W1X1 + W2X2 +… + WnXn, где X0 = 1, W0 = O.
(классический нейрон)
В обобщённом КН выступают вероятностные меры, которые число О — случ. величина N(0, G)
Алгебраический нейрон это нейрон, где сумма S нелинейна.
- Выход нейрона — Y. определяется как некоторая функция от взвешенной суммы.
y = f(s);
Функция f — функция активации.
Собственно КН классифицируются по их функциям активации.
Пример
- Пошаговая функция
- K-шаговая
- Сигмоидальная
(сори за график :))
Чаще всего имеет вид: f(x) = 1/(1+exp(-x)).
Переход от пороговых функций к сигмоидальной связан с тем, что если S=-eps, то на выход дает 0, а если S=eps, то 1.
То есть небольшая разница дает существенный результат, а это не есть хорошо.
Все функции активации деляться на 2 группы:
— симметричные
— асимметричные
- Пошаговая функция
На этом первая лекция закончилась.
Думаю было интересно.
До новых встреч!
