Комментарии 68
Продолжение следует?
Сказка про «работу мозга на 14%» возникла из-за возможных путей решения мозгом. У обычного человека их вроде около 15, у более продвинутого — 26, уочень умного — 30 с фигом, у гения — 48 вроде. Могу ошибаться с числами, но примерно, надеюсь, суть ясна. Было бы глупо считать, что за миллионы лет человеческий организм будет держать резервы, на которые затрачивается куча энергии просто так, на будущее. Эволюция добавляет возможности, а «14%» — это отмазка для любителей помечтать. Увы и ах, человеческий мозг работает на всю свою мощь.
Нет никакой «всей мощи» (как нет и 14%). Есть понятие тренировки. «Уплотняются новыми нейронами те участки мозга, которые отвечают за новые или постоянно тренируемые навыки человека». Что мозг, что мышцы, что кости — принцип один и тот же — тренируй и «оно» станет сильнее.
Хм. Написал коммент и понял, что мы говорим скорее всего об одном и том же :)
Хм. Написал коммент и понял, что мы говорим скорее всего об одном и том же :)
У человеческого организма вообще множество резервных механизмом. Взять хотя бы дублирование множества органов, или коллатеральную систему сосудов. Говорить же про мозг что-то конкретное слишком рано — очень уж мало человечество про него знает.
А можно поподробней про резервные механизмы?
Я далёк от анатомии и медицины, но всё же пытаясь найти «запасные части» я лишь вижу расширение функционала. Да, человек может жить с одной почкой и частью лёгких, но это сильно ограничивает организм делая экстремальные условия и активный образ жизни летальными/рискованными…
Я далёк от анатомии и медицины, но всё же пытаясь найти «запасные части» я лишь вижу расширение функционала. Да, человек может жить с одной почкой и частью лёгких, но это сильно ограничивает организм делая экстремальные условия и активный образ жизни летальными/рискованными…
Ну давайте по порядку. Как я же писал про дублирование органов: человек может жить с одним легким, одной почкой, лишь немного урезав свой обычный уровень жизни. Люди живут без желудка, хотя это уже экстремальный вариант. Человек вполне себе жизнеспособен без одного глаза, или же без селезёнки, человеку могут удалить 3/4 печени или отказать 1/2 объема крови, и человек восстановится. Без руки или ноги человек все ещё остается человеком, хотя это вновь уже экстрим. Людям удаляются части мозга (удаление опухоли мозга могут также отсекать некоторые переферические участки ). Про аппендицит упоминать думаю не стоит. Коллатеральные сосуды в экстремальной ситуации принимают на себя работу поврежденных участков крупных кровотоков.
Я подразумевал резерв не в плане «запасных частей», а в плане поддержания функционирования системы.
Я подразумевал резерв не в плане «запасных частей», а в плане поддержания функционирования системы.
Жизнеспособен — да, возможно. Конкурентоспособен? Однозначно нет. Эволюция отбирает по конкурентоспособности. Даже важные функции, которые приводят к потере конкурентоспособности, эволюция отбрасывает — так мы лишились такого полезного меланина за его чрезмерные потребности в энергии. Так что глупо рассчитывать что может быть какое либо резервирование функций мозга, учитывая, что у него энергопотребление выше чем у любого другого органа.
Важно помнить, что в современном мире конкурентоспособность обуславливает не только биологическими, но и социальными действиями. Но это уже оффтоп.
Но нельзя отрицать того факта, что все возможности мозга не изучены, и уже в комментариях приводили примеры, когда отдела мозга брали на себя функции, для которых они изначально не предназначались, и про эффект плацебо упоминалось.
Как уже правильно написали, под возможностью использовать мозг на 100% подразумевается умение осуществлять осознанно те действия, которые человек пока может осуществлять только «на автомате».
Но нельзя отрицать того факта, что все возможности мозга не изучены, и уже в комментариях приводили примеры, когда отдела мозга брали на себя функции, для которых они изначально не предназначались, и про эффект плацебо упоминалось.
Как уже правильно написали, под возможностью использовать мозг на 100% подразумевается умение осуществлять осознанно те действия, которые человек пока может осуществлять только «на автомате».
меланин — это же пигмент? Мало кто его лиишился, как мне кажется. У большинства он есть, в том или ином количестве.
Любое удаление приведёт к ограничению возможностей. Человек с одним глазом не только видит меньший участок пространства (угол), но и теряет возможность точно определять расстояние и объём предметов. То же на счёт ушей. Лёгкие, печень, почки — сильное ограничение физических нагрузок и рациона питания, хотя последнее в современности не так обременительно. Потеряв половину объёма крови вы вряд ли сможете функционировать, так как потеря даже сравнительно не такого большого объёма приводит к слабости и заниженным показателям, в том числе и в работе мозга.
Аппендицит же вроде ничего не дублирует и не является резервом… Поправляйте меня, если я ошибаюсь — этих областях я не профессионал. В конце концов я — программист, а не патологоанатом или хирург…
Аппендицит же вроде ничего не дублирует и не является резервом… Поправляйте меня, если я ошибаюсь — этих областях я не профессионал. В конце концов я — программист, а не патологоанатом или хирург…
А у меня специальность — «прикладная математика» ;) Аппендикс американцы уже как-то пробовали удалять при любой брюшной операции. Результат — повышенная болезненность и смертность таких людей. Так что лишнего ничего нет, вы правы, но и обойтись без некоторых вещей вполне реально.
Аппедникс, а не аппендицит. Это орган а не заболевание, говорите пожалуйста правильно. Вам ведь режет ухо, когда системный блок безапелляционно называют «процессором».
P.S: Я тоже программист.
P.S: Я тоже программист.
НЛО прилетело и опубликовало эту надпись здесь
Как показывает практика программистов, загрузка процессора на 100% ещё не значит 100% качества работы. Можно и «Hello world» написать на 100% загрузку. Разница в оптимизации кода — в создании нейросети минимального эффективного объёма для решения конкретной задачи. В случае с гениями, их мозг самостоятельно создаёт подобные сети. В данном случае «минимальный эффективный объём» означает, что при 100% загрузке мозга при работе сети, меньше ресурсов уходят на прямую реализацию задачи, а больше остаётся для активации побочных связей — и именно активация побочных связей приводит к открытиям.
У нас на лекции по философии лектор начал курс со слов: «Те кто считает, что они используется лишь 15% мозга — покиньте аудиторию. Я не собираюсь обучать идиотов.»
Кстати к концу курса он привёл пару теорий на этот счёт. Их компиляция будет что то типа идеи «защиты от дурака». То есть потенциал тела и мозга больше чем мы можем использовать сознательно, так как многие процессы остаются на подсознательном уровне. Допустим того же эффекта плацебо нельзя достигнуть сознательно, а это был бы очень сильный инструмент контроля и усиления организма.
Кстати к концу курса он привёл пару теорий на этот счёт. Их компиляция будет что то типа идеи «защиты от дурака». То есть потенциал тела и мозга больше чем мы можем использовать сознательно, так как многие процессы остаются на подсознательном уровне. Допустим того же эффекта плацебо нельзя достигнуть сознательно, а это был бы очень сильный инструмент контроля и усиления организма.
Нет никаких нагрузок «на 14%»/«100%», дело в том, что каждый отдел мозга отвечает за конкретную задачу, и перекидывать решение одной задачи в другую с мозга нельзя, поэтому неправильно говорить про какие-то проценты.
100% это синоним «работает на пределе своих собственных возможностей».
А про невозможность перекидывания решений не соглашусь. В истории медицины немало случаев, когда люди лишались половины мозга — тогда вторая половина довольно быстро перенимала её задачи, не забывая о своих. Если интересно — могу поискать лекцию какой-то американской ученой, которая объясняет это все и занимается изучением мозга и его возможностей. Кстати, у неё тоже всего одна половина мозга.
А про невозможность перекидывания решений не соглашусь. В истории медицины немало случаев, когда люди лишались половины мозга — тогда вторая половина довольно быстро перенимала её задачи, не забывая о своих. Если интересно — могу поискать лекцию какой-то американской ученой, которая объясняет это все и занимается изучением мозга и его возможностей. Кстати, у неё тоже всего одна половина мозга.
Это потому, что, видимо, отсутствует одна половинка мозга, функции которой может выполнять симметричная ей другая, то есть частично перекид задач есть, но только между «родственными» частями мозга.
Они лишь по виду симметричные, но выполняют совершенно разные функции.
px-pict.com/4/6.html
px-pict.com/4/6.html
К сожалению, у Вас устаревшие данные о работе мозга.
В рамках современных подходов можно говорить о некоторых более свойственных функциях той или иной структуры мозга. О полной специализации целой структуры не может быть и речи, опять же к сожалению. Почему к сожалению? Потому что тогда бы мы уже давно разгадали секрет обучения и возможно сознания.
Мозг не есть схема из блоков со стрелочками, а чрезвычайно сложная динамическая самоорганизующаяся система. В пример можно привести дрозофилу (излюбленный объект нейробиологов). На данный момент мы знаем за что отвечает каждый(!!!) ее нейрон, однако каким образом она обучается мы так и не поняли.
В качестве второго примера можно привести мышей и крыс, которых на достаточно длительное время (или на всю жизнь) лишают возможности получать визуальную информацию (сенсорная депривация). Кол-во нейронов, специализированных относительно восприятия и обработки слуховой и обонятельной информации резко возрастает, причем во многих структурах мозга.
В рамках современных подходов можно говорить о некоторых более свойственных функциях той или иной структуры мозга. О полной специализации целой структуры не может быть и речи, опять же к сожалению. Почему к сожалению? Потому что тогда бы мы уже давно разгадали секрет обучения и возможно сознания.
Мозг не есть схема из блоков со стрелочками, а чрезвычайно сложная динамическая самоорганизующаяся система. В пример можно привести дрозофилу (излюбленный объект нейробиологов). На данный момент мы знаем за что отвечает каждый(!!!) ее нейрон, однако каким образом она обучается мы так и не поняли.
В качестве второго примера можно привести мышей и крыс, которых на достаточно длительное время (или на всю жизнь) лишают возможности получать визуальную информацию (сенсорная депривация). Кол-во нейронов, специализированных относительно восприятия и обработки слуховой и обонятельной информации резко возрастает, причем во многих структурах мозга.
Цифры-то в том исследовании, возможно и верные. Только вот интерпретированы результаты, очевидно, коряво.
Это всё равно что сравнить площадь ступней человека с площадью его квартиры и заявить, что среднестатистический homo sapiens использует свою жилплощадь менее, чем на 1%, а больше всего она ему нужна во сне, когда он на спине лежит. И тогда куча гуманитарных деятелей стала бы писать фантастические рассказы на тему «ах, как круто было бы, если бы мы использовали свои дома на 100%», не обращая внимания на тот очевидный факт, что в таком случае нас порвало бы от ожирения.
Но это оффтоп. А вообще в подобной статье хотелось бы увидеть реальные достижения нейросетей и объяснения того, почему до сих пор технология находится в зачаточном (наверное, могу быть неправ) состоянии и что мешает её дальнейшему развитию.
Это всё равно что сравнить площадь ступней человека с площадью его квартиры и заявить, что среднестатистический homo sapiens использует свою жилплощадь менее, чем на 1%, а больше всего она ему нужна во сне, когда он на спине лежит. И тогда куча гуманитарных деятелей стала бы писать фантастические рассказы на тему «ах, как круто было бы, если бы мы использовали свои дома на 100%», не обращая внимания на тот очевидный факт, что в таком случае нас порвало бы от ожирения.
Но это оффтоп. А вообще в подобной статье хотелось бы увидеть реальные достижения нейросетей и объяснения того, почему до сих пор технология находится в зачаточном (наверное, могу быть неправ) состоянии и что мешает её дальнейшему развитию.
>>почему до сих пор технология находится в зачаточном (наверное, могу быть неправ) состоянии и что мешает её дальнейшему развитию
Мне кажется, что основные причины:
а) Невозможность создать точную виртуальную модель мозга, из-за его сложности и недостатков технологии.
б)Невозможность просимулировать такие огромные объемы.
Ну и еще, например ситуация усложняется потому что нервный сигнал может передаваться не только через аксоны-синапсы-дендриты а и непосредственно от ядра к ядру, при их близком расположении. Также многие считают что сигналы передаются по принципу «все или ничего», но это не так, ибо существует градиентный способ.
Мне кажется, что основные причины:
а) Невозможность создать точную виртуальную модель мозга, из-за его сложности и недостатков технологии.
б)Невозможность просимулировать такие огромные объемы.
Ну и еще, например ситуация усложняется потому что нервный сигнал может передаваться не только через аксоны-синапсы-дендриты а и непосредственно от ядра к ядру, при их близком расположении. Также многие считают что сигналы передаются по принципу «все или ничего», но это не так, ибо существует градиентный способ.
А я где-то слышал, что сисло нейронов только падает, а вот число связей да — растёт. Враньё получается?
После первого абзаца чтения статьи подумал что речь пойдет о эпилептическом припадке и возможности извлечения пользы из этого.
Но статья немного не об этом но очень интересная и напомнила мне о моих мыслях об АИ.
Меня всегда интересовало смогут ли когда-нибудь сэмулировать работу атома,
с цифровых атомов сложить молекулы, сэмулировать работу клетки, сложить все и запустить цифровой организм.
И таким способом получить цифровую жизнь. В итоге открылись бы большие возможности для биологических анализов и тестов.
И вот таким методом создания «в лоб» мог бы получится цифровой клон человека и самого сознания,
после этого можно попытаться упростить создание АИ основываясь на его понимании, знаниях из цифрового анализа.
Не могу вообразить сколько на это ушло бы ресурсов и времени но возможно это помогло бы понять как все работает.
Но статья немного не об этом но очень интересная и напомнила мне о моих мыслях об АИ.
Меня всегда интересовало смогут ли когда-нибудь сэмулировать работу атома,
с цифровых атомов сложить молекулы, сэмулировать работу клетки, сложить все и запустить цифровой организм.
И таким способом получить цифровую жизнь. В итоге открылись бы большие возможности для биологических анализов и тестов.
И вот таким методом создания «в лоб» мог бы получится цифровой клон человека и самого сознания,
после этого можно попытаться упростить создание АИ основываясь на его понимании, знаниях из цифрового анализа.
Не могу вообразить сколько на это ушло бы ресурсов и времени но возможно это помогло бы понять как все работает.
Из цифровых атомов, уже сейчас складывают молекулы. Пока не очень большие. Это делают для изучения свойств самих молекул. Точно можно расчитать маленькие молекулы — из нескольких атомов углерода. Уже большие расчитывают со всякими приближениями, и чем больше тем менее точно.
Короче до клетки, как до Луны. Не говоря уже про остальное
Короче до клетки, как до Луны. Не говоря уже про остальное
для эмуляции подобного типа вам нужен будет компьютер размером с… вселенную! )
На данный момент самый крутой результат — это полноценная (на молекулярном уровне выполненная, конечно же, не атомарном) модель одной очень простой бактерии. Так что, технология в принципе уже существует. Только вот такие вычислительные мощности, которые нужны для чего-то хоть немного более сложного, будут не ранее чем лет через двадцать.
Принцип неопределенности не позволит создать такой эмулятор. Можно будет лишь приблизительно моделировать работу, потому не факт, что он будет все воссоздавать точно.
как же надоели эти проценты работы мозга взятые с потолка.
СЕНСАЦИЯ. Процессор вашего компьютера никогда не работает на 100%. Но он может работать на 100%. В этом состоянии все транзисторы открыты.
СЕНСАЦИЯ. Процессор вашего компьютера никогда не работает на 100%. Но он может работать на 100%. В этом состоянии все транзисторы открыты.
Давно мучает вопрос: каких вершин достигли нейросетевые технологии на данный момент? Вроде прогресс идёт в этом направлении, а текст и речь до сих пор распознаются весьма посредственно, не говоря уже про создание скайнета… Было бы очень интересно почитать статью про успешные применения нейросетей.
маловато, я 10 лет назад читал книжки и там было тоже самое
Лично я думаю, что интеллектуальность (обучаемость, гибкость и т. д., но самое собой не табуированный для разговор об ИИ разум) лежит не в нейронных сетях. Точно так же, как вычислительные способности современных чипов лежат не в кремнии или квадратных формах — это просто наиболее выгодные формы для нашего производства. Точно так же и нейронная сеть выгодна жизни — её можно делать из независимых клеток и параллелизм НС решает проблему производительности из-за химических каналов в местах соединения.
Ключ интеллектуальности (ну по крайней мере тех красивых примеров с распознаванием простых образов и т. д.) в алгоритмах обучения. НС — это просто форма алгоритма, которую можно легко менять по частям (современные ЯП для этого вообще не предназначены из-за иерархичности, команды asm имеют слишком много побочных явлений, машина Тьюринга — это mind fuck).
Ключ интеллектуальности (ну по крайней мере тех красивых примеров с распознаванием простых образов и т. д.) в алгоритмах обучения. НС — это просто форма алгоритма, которую можно легко менять по частям (современные ЯП для этого вообще не предназначены из-за иерархичности, команды asm имеют слишком много побочных явлений, машина Тьюринга — это mind fuck).
Лично мне кажется, что источник интеллектуальности человеческого мозга в особых алгоритмах обучения близких к эволюционным. Но мы не должны использовать нейронные сети, а создать свой язык, который было бы удобно читать человеку и править генетическому алгоритму (я попытался что-то сделать github.com/ai/d2na, но сейчас хочу сделать след. версию).
Ваш проект очень интересный. Будет побольше времени обязательно посмотрю поподробнее. Давно хотел вникнуть в современное положение дел в области применения генетических алгоритмов к эволюции программного кода.
Пара слов насчет алгоритмов обучения. Если мы говорим с Вами об одном и том же, то важно отличать два уровня самоорганизации — популяционный и индивидуальный. Поясню что я имею ввиду.
У простейших живых существ большинство свойств поведения определяется генотипом, то есть фактически выработано эволюцией (отбросим сейчас в сторону эпигенетические факторы). Рождаясь они уже умеет осуществлять некоторые достаточно сложные акты поведения. В данном случае мы говорим об адаптации на уровне популяции, так как такие стратегии поведения вырабатываются в результате процесса эволюции.
В тот же самый момент у достаточно сложно устроенных животных начинает играть большую роль адаптация и обучение в процессе непосредственного функционирования в среде. Тут включаются совершенно другие механизмы и мы работаем в иных временных масштабах.
Но самое интересное, что в реальности механизмы обучения и многие предпосылки к обучению тому или другому полезному поведению в течение жизни также вырабатываются эволюцией. Это уже опять же совершенно другой временной масштаб и гораздо более глубокое понимание проблемы. Однако на продуктивном (как возникло), а не на описательном уровне (когда-что возникло и почему), мы к этим вопросам пожалуй подступиться пока не можем.
И может быть это исключительно мое мнение, но никакой язык (в том числе язык представления знаний) не может заменить нейронную сеть, так как у нее есть множество свойств, которые сложно воспроизводимы в рамках других парадигм. В качестве примера могу привести очень важную самоорганизацию множества индивидуальных элементов внутри сети, а также распределенность информации, что способствует ее устойчивости и возможности подстройки.
Пара слов насчет алгоритмов обучения. Если мы говорим с Вами об одном и том же, то важно отличать два уровня самоорганизации — популяционный и индивидуальный. Поясню что я имею ввиду.
У простейших живых существ большинство свойств поведения определяется генотипом, то есть фактически выработано эволюцией (отбросим сейчас в сторону эпигенетические факторы). Рождаясь они уже умеет осуществлять некоторые достаточно сложные акты поведения. В данном случае мы говорим об адаптации на уровне популяции, так как такие стратегии поведения вырабатываются в результате процесса эволюции.
В тот же самый момент у достаточно сложно устроенных животных начинает играть большую роль адаптация и обучение в процессе непосредственного функционирования в среде. Тут включаются совершенно другие механизмы и мы работаем в иных временных масштабах.
Но самое интересное, что в реальности механизмы обучения и многие предпосылки к обучению тому или другому полезному поведению в течение жизни также вырабатываются эволюцией. Это уже опять же совершенно другой временной масштаб и гораздо более глубокое понимание проблемы. Однако на продуктивном (как возникло), а не на описательном уровне (когда-что возникло и почему), мы к этим вопросам пожалуй подступиться пока не можем.
И может быть это исключительно мое мнение, но никакой язык (в том числе язык представления знаний) не может заменить нейронную сеть, так как у нее есть множество свойств, которые сложно воспроизводимы в рамках других парадигм. В качестве примера могу привести очень важную самоорганизацию множества индивидуальных элементов внутри сети, а также распределенность информации, что способствует ее устойчивости и возможности подстройки.
Любой алгоритм, который можно реализовать на нейронной сети можно реализовать и на Тьюринг полном языке ;).
Согласен, что у нейронной сети есть свои плюсы. Но не вижу, чтобы эти плюсы были очень уникальны. Можно создать точно такой же параллельный язык (чем Вам функциональные не такие же параллельные?). Подстройка у нейронной сети только мешает, так как генерация будет состоять из двух длинных шагов (генерация структуры и подстройка).
Проблема нейронной сети в том, что с ней не удобно работать людям.
Согласен, что у нейронной сети есть свои плюсы. Но не вижу, чтобы эти плюсы были очень уникальны. Можно создать точно такой же параллельный язык (чем Вам функциональные не такие же параллельные?). Подстройка у нейронной сети только мешает, так как генерация будет состоять из двух длинных шагов (генерация структуры и подстройка).
Проблема нейронной сети в том, что с ней не удобно работать людям.
Про полноту с точки зрения машины Тьюринга полностью согласен. Однако множество различных моделей обладают полнотой по Тьюрингу, при этом пригодны только для теоретического исследования, а не для практики, так как в их рамках невозможно более-менее удобно создавать алгоритмы.
Параллелизм безусловно не является прерогативой только нейронных сетей. Однако у нейронных сетей параллелизм особый. Он позволяет рассматривать нейронную сеть с точки зрения математики, как сложную динамическую структуру, в которой наблюдаются процессы самоорганизации. А это в свою очередь означает, что для ее анализа в математике (в частности в области нелинейной динамики и вообще в синергетике) есть удобные методы, например теория бифуркаций. В этом случае они как раз становятся вполне удобными для исследователей. Безусловно вытащить конкретные правила из нейронной сети тяжело (хотя сейчас разрабатываются определенные методы), однако анализировать ее динамику с помощью математических методов зачастую проще, чем анализировать набор правил.
И вообще я практически уверен, что эта боязнь перед тем, что многие считают, что мы по сути не знаем по каким правилам работает конкретная обученная нейросеть, пропадет как только появится эффективный метод анализа систем с распределенной информацией. А он обязательно появится, так как это единственный путь серьезно продвинуться в изучении биологических нейронных сетей в мозге.
Возможность подстройки дает очень много. В частности она дает возможность адаптации в процессе непосредственного функционирования, когда условия задачи/среды несколько изменились и необходимо дообучение.
Параллелизм безусловно не является прерогативой только нейронных сетей. Однако у нейронных сетей параллелизм особый. Он позволяет рассматривать нейронную сеть с точки зрения математики, как сложную динамическую структуру, в которой наблюдаются процессы самоорганизации. А это в свою очередь означает, что для ее анализа в математике (в частности в области нелинейной динамики и вообще в синергетике) есть удобные методы, например теория бифуркаций. В этом случае они как раз становятся вполне удобными для исследователей. Безусловно вытащить конкретные правила из нейронной сети тяжело (хотя сейчас разрабатываются определенные методы), однако анализировать ее динамику с помощью математических методов зачастую проще, чем анализировать набор правил.
И вообще я практически уверен, что эта боязнь перед тем, что многие считают, что мы по сути не знаем по каким правилам работает конкретная обученная нейросеть, пропадет как только появится эффективный метод анализа систем с распределенной информацией. А он обязательно появится, так как это единственный путь серьезно продвинуться в изучении биологических нейронных сетей в мозге.
Возможность подстройки дает очень много. В частности она дает возможность адаптации в процессе непосредственного функционирования, когда условия задачи/среды несколько изменились и необходимо дообучение.
Сама нейронная сеть дообучаться не может. Нам нужна приставка с алгоритмом обучения. Точно так же к обычный программе можно добавить дообучение с помощью ГА.
С нейронными сетями получатся даже менее удобно. У нас оказывается два способа обучения — генерация структуры с помощью ГА и дообучение с помощью алгоритмов обучения ИНС — зачем плодить сущности без необходимости ;).
И я не очень понимаю о какой самоорганизации в нейронной сети идея речь. Если вы говорите о самоорганизации нейронной сети с помощью обучающего алгоритма, то точно так же можно говорить о самоорганизации в ДНК и любой другой программе, которая работает под контролем ГА.
С нейронными сетями получатся даже менее удобно. У нас оказывается два способа обучения — генерация структуры с помощью ГА и дообучение с помощью алгоритмов обучения ИНС — зачем плодить сущности без необходимости ;).
И я не очень понимаю о какой самоорганизации в нейронной сети идея речь. Если вы говорите о самоорганизации нейронной сети с помощью обучающего алгоритма, то точно так же можно говорить о самоорганизации в ДНК и любой другой программе, которая работает под контролем ГА.
Сама нейронная сеть может дообучаться. Если мы зададим некоторые минимальные правила самоорганизации элементов внутри нейронной сети (которых в подавляющем большинстве методов сейчас нет), то она может самообучаться за счет взаимодействия элементов. При этом это сложно назвать алгоритмом обучения в рамках современного представления алгоритмов обучения искусственных нейронных сетей.
Задумайтесь над следующим фактом — я думаю это будет полезно для вашего исследования. Что есть ГА? Мы прогоняем программу и заданными нами правилами вычисляем фитнес-функцию. После чего на основе этой фитнес-функции мы генерируем следующее поколение. Представим, что мы собственно добились генерации некоторого решения с помощью ГА. Теперь наша «программа» реально функционирует где-то. Но пускай условия окружения несколько изменились или «программа» столкнулась с несколько измененной проблемой. А так собственно всегда и бывает в реальном мире. Это означает, что на данный момент ваша «программа» с теми «знаниями», которые вы ей задали не может решить проблемы. Но нас над ней уже нет и мы не можем вычислить фитнес-функцию, а это значит, что она должна самообучаться на основе соврешенно других внутренних механизмов, которые привлекая накопленный опыт позволяют решать новые задачи. Именно так и работает наш мозг.
Самоорганизация — есть процесс динамический. ГА условно не является динамическим процессом на индивидуальном уровне (хотя на популяционном его с натяжкой и можно принять за динамический).
Задумайтесь над следующим фактом — я думаю это будет полезно для вашего исследования. Что есть ГА? Мы прогоняем программу и заданными нами правилами вычисляем фитнес-функцию. После чего на основе этой фитнес-функции мы генерируем следующее поколение. Представим, что мы собственно добились генерации некоторого решения с помощью ГА. Теперь наша «программа» реально функционирует где-то. Но пускай условия окружения несколько изменились или «программа» столкнулась с несколько измененной проблемой. А так собственно всегда и бывает в реальном мире. Это означает, что на данный момент ваша «программа» с теми «знаниями», которые вы ей задали не может решить проблемы. Но нас над ней уже нет и мы не можем вычислить фитнес-функцию, а это значит, что она должна самообучаться на основе соврешенно других внутренних механизмов, которые привлекая накопленный опыт позволяют решать новые задачи. Именно так и работает наш мозг.
Самоорганизация — есть процесс динамический. ГА условно не является динамическим процессом на индивидуальном уровне (хотя на популяционном его с натяжкой и можно принять за динамический).
Без фитнесс-функции ИНС тоже не могут обучаться. Чтобы ИНС дообучалась нам нужно делать точно такие же методы, как в случае дообучения с помощью ГА. Она же не сама по себе обучается, есть отдельная программа, которая засекает, что ИНС ошиблась, берёт правильное решение, которое должно было быть вместо неправильного и изменяет весы (ну или примерно так в зависимости от алгоритма). Сама ИНС просто так не становится лучше.
К сожалению, Вы не правы. ИНС с помощью специальных методов может сама детектировать без сторонней программы, что она ошиблась и нужно дообучение. Это не обычные алгоритмы обучения. Собственно это как раз и означает самообучение. И в таком случае ей не необходимо никакое данное извне правильное решение.
Я как раз занимаюсь исследования в области данной проблемы и надеюсь вскоре опубликую на Хабре некоторые результаты одного из своих исследований.
Я как раз занимаюсь исследования в области данной проблемы и надеюсь вскоре опубликую на Хабре некоторые результаты одного из своих исследований.
По поводу изучения ИНС с помощью различных мат. теорий. А смысл? :) Опять же, слишком усложняем. Для широко массового применения (а я смотрю на ГА именно так) это точно не подходит, так как требует кадры с слишком большой подготовкой. А преимущества от ИНС опять же довольно спорны (все их можно перенести и на обычный алгоритм, местами даже очевиднее и проще).
Мир вообще усложняется и исследовать/применять что-то в области ИИ и нечетких вычислений без серьезной математической подготовки в будущем (да и сейчас) будет нереально.
Вы говорите о том, что для широких масс это не подходит. Но широкие массы обычно оперируют некоторыми стандартными методами, которые обычно далеки от передовых. В этом плане я с Вами абсолютно согласен, что массы будут использовать ГА и им будет его хватать, однако чтобы сделать что-то новое нужно двигаться дальше.
Вы говорите о том, что для широких масс это не подходит. Но широкие массы обычно оперируют некоторыми стандартными методами, которые обычно далеки от передовых. В этом плане я с Вами абсолютно согласен, что массы будут использовать ГА и им будет его хватать, однако чтобы сделать что-то новое нужно двигаться дальше.
Выше я описал, что я думаю о нейронный сетях :).
Кстати, недавно выложил продолжение проекта D2NA: github.com/ai/evolu.js Хотя там научного мало, это больше исправление инженерных моментов.
Понравилось, что статья написана достаточно оптимистичным стилем, однако в области нейронных сетей на данный момент все несколько менее радужно, нежели кажется после прочтения данного обзора.
Хотелось бы отметить два важных момента.
Во-первых, задача биологически адекватного обучения нейросетей без учителя на данный момент фактически не решена. Есть некоторые попытки создать достаточно искусственные и не имеющие ничего общего с экспериментальными данными в области нейробиологии модели обучения без учителя, которые однако являются эффективными в конкретных проблемных областях. Более того, правило Хебба (или более общий механизм STDP для непрерывных во времени систем) является безусловно биологически значимым, однако только за счет него обучение в мозге происходить не может, так как оно не несет никакой адаптивной направленности и напрямую не связано с целенаправленной попыткой достижения результата. Фактически применения правила Хебба в таком виде в каком оно есть (и практически всех его модификаций) можно трактовать как стохастический поиск в пространстве весовых коэффициентов нейросети. Этот стохастический поиск управляется более высокими механизмами — системной организацией мозга в процессе обучения (приобретения индивидуального опыта). Суть и строение этих механизмов как раз и представляют наибольший интерес как в рамках математического моделирования, так и в рамках экспериментов нейробиологов.
Во-вторых, нейрогенез (образование новых нейронов) хоть действительно и происходит в мозге в течение всей жизни (с разными темпами) тем не менее также не может является основной причиной эффективного обучения, так как это все-таки не повсеместное, а достаточно локальное явление, которое наблюдается в небольшом количестве структур мозга. Даже учитываю миграцию нейронов, нейрогенез не может служить основным механизмом обучения. АРТ, описанная Вами, действительно имеет некоторые биологические аналогии, но не в том смысле, что Вы описали.
И после двух ложек дегтя, еще раз отмечу заражающе оптимистичный стиль изложения. Побольше бы таких обзоров и многие люди бы заинтересовались данной интересной и перспективной областью.
Хотелось бы отметить два важных момента.
Во-первых, задача биологически адекватного обучения нейросетей без учителя на данный момент фактически не решена. Есть некоторые попытки создать достаточно искусственные и не имеющие ничего общего с экспериментальными данными в области нейробиологии модели обучения без учителя, которые однако являются эффективными в конкретных проблемных областях. Более того, правило Хебба (или более общий механизм STDP для непрерывных во времени систем) является безусловно биологически значимым, однако только за счет него обучение в мозге происходить не может, так как оно не несет никакой адаптивной направленности и напрямую не связано с целенаправленной попыткой достижения результата. Фактически применения правила Хебба в таком виде в каком оно есть (и практически всех его модификаций) можно трактовать как стохастический поиск в пространстве весовых коэффициентов нейросети. Этот стохастический поиск управляется более высокими механизмами — системной организацией мозга в процессе обучения (приобретения индивидуального опыта). Суть и строение этих механизмов как раз и представляют наибольший интерес как в рамках математического моделирования, так и в рамках экспериментов нейробиологов.
Во-вторых, нейрогенез (образование новых нейронов) хоть действительно и происходит в мозге в течение всей жизни (с разными темпами) тем не менее также не может является основной причиной эффективного обучения, так как это все-таки не повсеместное, а достаточно локальное явление, которое наблюдается в небольшом количестве структур мозга. Даже учитываю миграцию нейронов, нейрогенез не может служить основным механизмом обучения. АРТ, описанная Вами, действительно имеет некоторые биологические аналогии, но не в том смысле, что Вы описали.
И после двух ложек дегтя, еще раз отмечу заражающе оптимистичный стиль изложения. Побольше бы таких обзоров и многие люди бы заинтересовались данной интересной и перспективной областью.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
По следам интеллекта