Нейросеть с нуля своими руками. Часть 1. Теория

[da-nie]

Это всё уже тысячу раз писалось и такую сеть сделает кто угодно, ибо материала в инете полно.
Гораздо более интересна свёрточная нейросеть с нуля со всеми нюансами. Там пошаговая инструкция создания и обучения мне известна ровно одна и то финальная сборка заброшена; в остальных просто брошена кипа формул, типа, сами догадаетесь, как там из них обучать свёртки.

[ligor]

Надеюсь тег javascript в следующей статье оправдает себя

[AndBoh]

Да, он был добавлен именно ради нее. Последующие части уже опубликованы, а ссылки на них добавлены в статью. Надеюсь, они вас не разочаруют.

[sergr2016]

К сожалению, автор не имеет никакого понятия о том, как работает настоящая нейронная сеть мозга.Всё это — устаревшие представления, которые никак не связаны с реальными возможностями нервной ткани. А представление о том, что нейрон, как персональный компьютер, может обрабатывать сигналы и принимать решения — вообще дикость и несуразица.

[git-merge]

расскажите в двух словах: как работает настоящая нейронная сеть мозга? и в чём (кроме терминологии) автор не прав?

PS: я в ML ни бум-бум. прочитал статью с интересом

[sergr2016]

Ну Вы даёте! В двух словах Вы хотите, чтобы я изложил одну из важнейших научных тайн.
Самое главное, что в этой публикации бросается в глаза, нейроны воспринимаются как вычислительные центры, которые, как логические модули в компьютере могут оценивать информацию и решать, какие действия на эту информацию должен предпринять мозг. Этого нет и быть не может. Нейрон не обладает никакими возможностями — ни быстродействием, ни памятью. Его функция — «выстрелить» потенциалом действия в нужный момент — и всё.Совокупность выстреливших нейронов (нейронный ансамбль по Анохину) и представляет собой семантический код входящей информации. Эта комбинация возбуждённых нейронов строго соответствует какому-то объекту внешней среды (вроде QR-кода). Поскольку нейронов — миллионы, то и код может быть бесконечно сложной детализации. А вот создание этой комбинации ещё остроумнее, и называется афферентным синтезом(Анохин), правда, тогда он до этого не додумался. В мозгу существует механизм создания колебания электрической структуры мозга со строго определённой частотой — это выявляется на ЭЭГ в виде альфа-ритма. Свойства его очень строго контролируются — не ниже 9.5 Гц и частота +-0.25 Гц. Это несущая частота, как при голографии. На неё накладываются колебания, возникающие от воздействия на итерационно-рекурсную структуру нейронно-глиальной сети, и возникает фрактальная интерференционная неравномерность электрического состояния ткани вокруг нейронов; при этом вокруг одних нейронов порог потенциала действия снижается, и нейрон «выстреливает», вокруг других — повышается. Эта сложнейшая фрактальная структура строго соответствует воспринятой ранее, если сохраняется стабильность работы мозговой ткани и технические характеристики её остаются неизменными. На этом основан новый метод дисперсии альфа-ритма для диагностики психопатологии.

[git-merge]

Ну Вы даёте! В двух словах Вы хотите, чтобы я изложил одну из важнейших научных тайн.

Вы таким тоном сказали "К сожалению, автор не имеет никакого понятия о том, как работает настоящая нейронная сеть мозга.Всё это — устаревшие представления, которые никак не связаны с реальными возможностями нервной ткани", что я уж решил что уж Вы-то знающий должно быть человек :)

Самое главное, что в этой публикации бросается в глаза, нейроны воспринимаются как вычислительные центры, которые, как логические модули в компьютере могут оценивать информацию и решать, какие действия на эту информацию должен предпринять мозг.

эм, биты в компьютере тоже в каком-то смысле "принимают решение". Разглядывая биты трудно увидеть программу, но чтобы понимать программирование — биты тоже приходится разглядывать. Не?

Этого нет и быть не может. Нейрон не обладает никакими возможностями — ни быстродействием, ни памятью.

а коэффициент при нейроне кто помнит?

[sergr2016]

Вы напрасно на меня обижаетесь. Для Вас все эти статьи — повод поупражняться в остроумии и «игре в бисер». Нейрофизиология — несчастная наука: в ней так часто появлялись необоснованные ожидания, причиной которых были именно такие остроумные идеи — о том, что по ЭЭГ можно читать мысли или исправляя ЭЭГ можно изменить психику, что когда всё это проваливалось, то оставалось неприятное ощущение, переросшее в недоверие. Поэтому сейчас в ЭЭГ никто не верит — только в случай эпилепсии. А это — не так. И я стараюсь это доказать. Но такие редукционистские публикации, когда нейрон выхватывают из мозговой ткани и начинают наделять его свойствами, которые ему совершенно невозможно осуществить сводят на нет всю практическую работу. Прежде всего, надо понять, что никакие биологические структуры не способны осуществлять выполнение даже простейших цифровых технологий — для этого нужны цифровые устройства. Поэтому все аналитические операции мозгу совершенно не свойственны, какими бы причудливыми ни были действия человека. Человек не анализирует информацию, на основе которой составляет своё действие — он по информационному набору от рецепторов выбирает оптимальный сценарий ответа из набора тех, что у него уже наработаны. И не более того. Но вместе с тем эта модель деятельности, характеризуясь крайней неустойчивостью и высоким процентом ошибок, в то же время невероятно экономична. Ведь для неё не надо ни мощных вычислительных структур, ни памяти. Именно это имели в виду Павлов и Сеченов,, но только в самых общих чертах, утверждая рефлекторный характер деятельности мозга. Вы напрасно так пренебрежительно отнеслись к фрактальной теории деятельности нейронной сети. Фрактал имеет широкое распространение в природе — без него невозможно объяснить строгую упорядоченность функциональных структур внутренних органов — печени, почек.И особенно непонятно Ваше пренебрежительное отношение к альфа-ритму, точнее, понятно, потому, что Вы ничего о нём не знаете. Я создал новый метод исследования и впервые получил отчётливую корреляцию ЭЭГ и психопатологии. А в целом — будущее покажет, кто из нас прав.

[VDG]

возникает фрактальная интерференционная неравномерность электрического состояния ткани вокруг нейронов; при этом вокруг одних нейронов порог потенциала действия снижается, и нейрон «выстреливает», вокруг других — повышается. Эта сложнейшая фрактальная структура строго соответствует воспринятой ранее, если сохраняется стабильность работы мозговой ткани и технические характеристики её остаются неизменными.

У меня в профиле указан проект, где это реализуется, если кому интересно. Но без пугающей «сложнейшей фрактальной структуры», это просто кажущаяся сложность из-за масштабов.

Сама же ритмика легко может возникать по совершенно другой причине. Нейроны, не нашедшие корреляции в данных, организуются в структуру малого мира (ту самую, которую повсеместно стали недавно находить в мозге), и возникает генераторная активность, идущая от хабов, очень стабильная. По крайней мере, в моём эксперименте с искусственным органоидом (живой прототип которого в сенсорной депривации также запускает ритм) получилось именно так.

[AndBoh]

Как я заметил в тексте статьи, я не являюсь специалистом в области биологии и вполне допускаю, что мои представления могут быть достаточно далеки от реальности. Все что тут изложено, лишь компиляция общедоступной информации на тему нейронных сетей.

[sergr2016]

То есть это фантастический рассказ? Так и надо было написать, чтобы мы время не тратили.

[alex103]

Самое главное, что в этой публикации бросается в глаза, нейроны воспринимаются как вычислительные центры, которые, как логические модули в компьютере могут оценивать информацию и решать, какие действия на эту информацию должен предпринять мозг. Этого нет и быть не может.

А откуда у вас эта информация, если не секрет???
Или вы в точности знаете как работает нейрон?

[webkumo]

Кхм… нет, это компиляция на тему перцептрона… такая себе сетка… но тоже можно чего-нибудь получить (близкое к правде), а для обучения неофитов из-за простоты подходит куда лучше, чем любая другая…
В общем студенческая лаба профильных вузов, вот курс, на котором у нас оно было — не помню. Вероятно 3ий или 4ый.

[AndBoh]

Совершенно верно, перцептрона, как частного случая.

[yeputons]

Жаль, что ничего не упомянули про машинное обучение в целом. Хотя бы на уровне "garbage in, garbage out", сбора и чистки данных, разделения train/test/cross-validation. А без этого заниматься нейросетями очень странно, мне кажется.

"Нейросеть" — это же вообще не главное, хотя и звучит из каждого утюга. Это лишь один из доступных инструментов машинного обучения. Если просто взять нейросеть и попытаться как-то самостоятельно впихнуть в случайную задачу вроде распознавания рукописных цифр (особенно не зная слова "MNIST"), то наверняка ничего не получится.

Я вот лет десять назад прочитал про нейросети, закодил, сделал очень большой (как мне казалось) набор из целых десять примеров на каждую рукописную цифру, обучил и загрустил, что у меня плохо работает. Я даже слов "датасет", "переобучение" или "train/test" не знал. Думал, где-то баги. Мне и в голову не могло прийти, что а) данных надо сильно больше; б) данные надо нормализовывать и чистить; в) надо аккуратно выбирать архитектуру, чтобы модель была и не слишком простая, и не чрезмерно сложная.

[AndBoh]

Вы правы. Эта статья — результат моей попытки разобраться в теме, и то не полный, т.к. если бы я приводил выжимки из каждой статьи которую прочитал или по каждому термину, боюсь я бы ее до сих пор не закончил.
В статье отражен лишь самый коротки путь разобраться-реализовать-применить, и то, глазами обывателя. Если же читатель хочет глубоко погрузиться в эту тему, то ему конечно же стоит читать более профильные источники от более авторитетных авторов.

[lil_master]

Автор, Вы написали прекрасную статью, которая коротко, чётко и понятно объясняет принцип работы нейронов.

Точно так же как планетарная модель атома - понятно любому ребенку.

Я прочитал комментарии выше, идиоты любят высказывать претензии на пустом месте, чтобы показать себя умниками, они не понимают что цель простого объяснения не совпадает с целью профессионального погружения.

Пожалуйста пишите ещё!