Pull to refresh

Comments 106

Я прочитал. Простой персептрон не может решить, например, XOR задачу, многослойный может… вы с этим не согласны или согласны? Из статьи вообще не понятно, что вы хотите сказать.
Вы глубоко заблуждаетесь. Читали о перцептроне Розенблатта в оригинале?
В оригинале не читал. И не верю, что там может быть написано, что может. Перцептрон, это по-сути, логистическая регрессия… как с помощью нее решить не сепарабельную задачу?

Рекомендую посмотреть лекции на ml-class.org, многое встает на место.
Во статья как раз о том, чтобы не изучать перцептрон Розенблатта по перепостам и неверной информации. Или вы эти лекции не поняли, или они врут, третьего не дано. И не надо мне советовать читать про перцептрон — уж я то о нем знаю почти ВСЕ! (хоть это и не скромно)
Хм, вы подредактировали статью, это многослойный перцептрон, конечно он может решить XOR задачу. Статья о каком-то нюансе терминологии??
Нет. Это и есть оригинальный перцептрон Розенблатта. И это не нюансы терминологии — а не знание, где использовать фамилию Розенблатта, а где нет.
Я извиняюсь, а как вы читали статью, когда я с самого начала написал:

Итак, давайте откроем оригинал, описывающий перцептрон Розенблатта: Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга, 1965. Вы там не найдете т.н. однослойного перцептрона — его в природе не существует, как минимум на 1965 год. Его выдумали много позднее.

Там вы сразу увидите элементарный перцептрон, у которого есть скрытый слой А-элементов.
Вы пишите держа в голове контекст, поэтому все понятно. Теперь когда я понял о чем вы, мне тоже это понятно. Но вначале прочитав раза три это место, я так и не понял, что имеется ввиду. Цитата с википедии, из которой все становится ясно:
Самая распространённое ошибка, связанная с терминологией, это определение перцептрона как нейронной сети без скрытых слоёв (однослойного перцептрона, см. выше). Эта ошибка связана с недостаточно проработанной терминологией в области нейросетей на раннем этапе их разработки. Ф. Уоссерменом была сделана попытка определенным образом классифицировать различные виды нейронных сетей
Ну я рад, что эта моя формулировка вам понравилась больше :)
Ок. Статья о том, что однослойный персептрон ошибочно называют перцептроном Розенблата? В то время, как это вполне себе многослойный? Давно это было, я уже подзабыл если честно… Кстати, в википедии эта информация уместилась в пару строчек ;)
моих строчек :), а вот в английском варианте, так и осталось не пойми что.
Почему-то я так и подумал :) У вас узнаваемый стиль.
Да, и к сожалению, не просто называют, а на этом основании не изучают, что это такое. И хороших 60% не знают, что такое перцептрон Розенблатта, но думают, что знают :(
А сколько процентов думает что это таки нейронные сети, а не модели математических моделей и не более? Года 2-3 как нейрон изучили сильнее и он оказался крайне отличным от вот такой единицы, которая используется в том, что называют «нейронными сетями».
Конечно, искусственные нейронные сети — это лишь приближение к биологическим, которые неоспоримо сложнее. Но это было специально сделано, чтобы хоть немного понять как работаю биологические.

Со временем, это превратилось в т.н. Machine Learning, где математики ввели такое представление, что ИНС — это лишь математические модели.

Я с этим не согласен. Все же ИНС, путь плохое, но приближение к биологическим, их модель. И уже потом полученную модель, можно описать кроме того и математически. Но изначально описание кибернетическое.

Так например, перцептрон можно математически представить 3 разными способами:
1. Как решение системы неравенств
2. Как регрессионный анализ
3. Как пороговая логика

Каждый вариант возможен, и хорош в своей области. Но именно кибернетическое описание ИНС создает некую другую систему мышления. Это как структурное и объектное программирование. И то и другое в своей основе написание алгоритмов, но как это делать — концепция разная.
Ещё 4 года назад было верным считать что это мат модель биологической нейронной сети. А вот потом нашли что нейроны по сложности ближе не к логическому блоку с переменной и сумматором, а к полноценному процессору (порядки сложности). Я сам изучал этих зверей долго, если что. Помню ещё обещание IBM сделать к 2012 году полную модель мозга, которое в те года выглядело реальным.
Не нужно спешить с выводами. вот Хокинс разрабатывает свою ИНС — Иерархическая Темпоральная Память. Она уже сильнее похоже на биологические нейроны. Правда, он забывает, что прообраз его ИНС уже был у Розенблатта, называлось Перцептроны с перекрестными связями… но все же гордые, считают, что разрабатывают абсолютно новое.
> Я с этим не согласен. Все же ИНС, путь плохое, но приближение к биологическим, их модель. И уже потом полученную модель, можно описать кроме того и математически. Но изначально описание кибернетическое.

Ну ок, изначально хотели сделать искусственный мозг, не получилось, формализовали математически. Что-то кроме математики в ИНС есть?
В начале каждого учебника про это написано, разумеется это просто красивая аллегория вдохновленная «настоящими» нейронными сетями. Но получившийся математический аппарат довольно мощный и достаточно широко и успешно используется.
Каким образом случайная матрица сведет несепарабельную задачу к сепарабельной?
Это серьезный вопрос, быстро не отвечу. Позже напишу статью.
Если в теме, то в основе теорема Ковера: о разделимости образов, которая утверждает что нелинейное преобразование сложной задачи классификации образов в пространство более высокой размерности повышает вероятность линейной разделимости образов.

Вот это и реализовано в перцептроне Розенблатта.
Да, а случайность играет там важную роль при отображении на пространство большей размерности
Не случайная, а вполне определенная… Насколько я понимаю, средний слой как раз переводит в пространство где задача разделима.
Или вы про то, что написано в статье:
Перцептрон Розенблатта обучается алгоритмом коррекции ошибки. Этим алгоритмом обучаются только веса между скрытым и выходным слоем. Что же касается весов между входным и скрытым слоем — то он не обучается осознано.

Тогда я тоже не понимаю…
Вот. Статья все же о большем :) Перцептрон Розенблатта, и представленный на рисунке, решающий XOR — не использует обратное распространение ошибки. Веса его формируются по другому.
Вообще, даже намного более эффективный метод обратного распространения ошибки уже пройденный этап, разрабатываются более эффективные методы. И, кстати, эффективность сравнивается именно по сравнению с обратным распространением, а не с коррекцией ошибок.
Очень жаль. Ничего более эффективного в обратном распространении нету! А делается так потому, что случилась маркетинговая игра с BackProp, что не заслужено.
Вы заблуждаетесь. Интерес к нейронным сетям в свое время угас, как раз из-за невозможности обучить скрытый слой, и метод обратного распространения ошибки решает эту проблему.
Нет, не из-за этого. Вы находитесь под влиянием рекламы, не обижайтесь просто проверьте. Я в конце статьи давал ссылку на статью Коссуля (ожидая, что мне на слово не поверят), прочитайте.

Нет ни какой необходимости обучать первый слой, попробуйте сформулировать: для чего?
Это вы находитесь под влиянием заблуждений. Наиболее эффективные на данный момент алгоритмы обучают первый слой. Случайные веса не оказываются наилучшими.
Информация к размышлению — в природе у зрительных нейронов первого слоя веса близки к функциям Габора (http://en.wikipedia.org/wiki/Gabor_filter).
Это немного серьезнее, но более чем спорно.
«Случайные веса не оказываются наилучшими.»

Попробуйте ответить на вопрос: наилучшими для чего?

Интерес угас из-за полноценной критики Минского, там описываемые вами несуществующие проблемы даже не упомянуты. Почему угас интерес наверно надо писать еще одну статью.
Первое что попалось в интернете izhsch21.class.ru/text/print/302/179189.html#part_2
С начала 80-х годов ИНС вновь привлекли интерес исследователей, что связано с энергетическим подходом Хопфилда [7] и алгоритмом обратного распространения для обучения многослойного перцептрона (многослойные сети прямого распространения), впервые предложенного Вербосом [8] и независимо разработанного рядом других авторов. Алгоритм получил известность благодаря Румельхарту [9] в 1986году Андерсон и Розенфельд [10] подготовили подробную историческую справку о развитии ИНС.

Вы с такой упертостью пропагандируете неправильные вещи, что я скоро начну вам верить… Разберитесь в теме прежде, чем что-то так безапелляционно заявлять.
Ну, а в цитате все верно. Тут написано почему привлекли — я бы сказал проще, была сделана хорошая реклама :) но критику Минского никто не отменял, и она в полной мере распространяется на все текущие ИНС.

И не надо верить всему, что попадается — говорю же читайте оригиналы, а потом уже делайте выводы. А я знаю о чем я говорю.
А, по-моему, наоборот вы просто любитель и к тому же троль. Надоела ваша манера общения.
Читать оригиналы будите? или реклама милее?

P.S. Переход на личности — это отсутствие аргументов
Та — под влиянием которой вы находитесь. Вы почитали желтую прессу — и решили, что можете обсуждать ИНС? Нет, это серьезна тема и требует знаний.
ОМГ =) предлагаю закончить этот бред thread…
Кстати, заодно и посмотрите, что считает сам Минский о алгоритме обратного распространения. Это просто не на слуху, т.к. мешает сделанной рекламе.
Да, так. Но все же именно случайная, точнее она создается случайной, а потом уже конечно, определенная.
Если кратко, за счет повышения размерности при отображении.
Перцептрон далек от биологической нейронной сети, но обладает своим набором свойств, которые делают его притягательным объектом для исследований и мощным инструментом для решения практических задач. Ведь дифуры не используются природой для реализации полета шарика, но физики используют дифуры для решения некоторых (*) задач. Так же и перцептроны — это очень мощный математический аппарат. Холивар между матстатистиками и нейросетевиками напоминает срач между любителями маков и винды. Одни говорят «логистическая регрессия решает все вопросы, а ваши сети для недоучек». Другие пытаются объяснить, что логиститческая регрессия, анализ главных компонент и все прочие строгие методы матстатистики линейны по своей природе, и нелинейность можно вводить только экспертным путем или случайным перебором, тогда как ИНС — принципиально нелинейный аппарат, и в этом его главное преимущество перед регрессией.

Искусственные нейронные сети воспользовали, может быть, один процент реальной биологической системы, и уже показали способности решать универсальные статистические задачи типа регрессий, возможности обобщения и самоорганизации, возможности решения задач в динамике при использовании обратных связей. А что будет, когда ИНС на 10% приблизятся по структуре к головному мозгу?
Я что-то пропустил. А с каких пор ИНС перестала быть статистической моделью? :)
У SVM геометрическая трактовка. У логист. регрессии — вероятностная. У ИНС — попытка воссоздать нервную систему живого организма.

Но все это статистические модели. И тот факт, что ИНС ближе к живым организмам не делает их лучше или эффективней. Честно говоря, я вообще не думаю что сильный ИИ, если и будет создан, будет копировать нервную систему человека.
Tac,

вы не могли бы пояснить, о чем статья? Я чувствую здесь эмоции, но не пойму, к чему это. Вы считаете, что перцептрон Розенблата незаслуженно обделен вниманием? Ну так опишите его преимущества по сравнению с другими видами ИНС. В статье что-то есть, но очень размазано.

Со своей колокольни я считаю, что ИНС в принципе получили незаслужено большое внимание. Я занимаюсь классификацией текста, и модели опорных векторов или логистическая регрессия работают для меня гораздо лучше, чем нейронные сети. По этому холивар в отношении, какой вид ИНС лучше, для меня выглядит надуманым.
А статья не о том, что лучше или хуже. Статья о том, чего не знаю современники, хотя с пеной у рта доказывают, что знают — но вот одна проблема — оригиналов не читают. Моя маленькая задача плоскинько так намекнуть надо прочитать оригиналы, чтобы что-то говорить. И там существенно лучше описаны все достоинства и недостатки перцептрона.

Но вот использовать фамилию Розенблатта, и коверкать историю — это плохо. Вот единственная эмоция. Надо людей оценивать по заслугам.
Присоединяюсь. Перцептрон Розенблата это прошлый век, им сейчас никто не пользуется… так как у него были серьезные проблемы, которые успешно решило обратное распространение ошибки. При том, что уже и обратное распространение ошибки критикуется и улучшается. Не понимаю, что за археология с претензией на незаслуженное забвение.

P.S. сам считаю нейронные сети мощным и красивым инструментом, но это не панацея от всего. Тем более когда их применяют без понимания, какие алгоритмы лежат в основе (та же логистическая регрессия, например).
Вы можете, хоть немного обосновывать свои голословные утверждения. Какие были серьезные проблемы у перцептрона Розенблатта? Как это решило обратное распространение? Вы же этого НЕ ЗНАЕТЕ!
Я уже сказал — невозможность обучения скрытого слоя.
А я уже спрашивал — а зачем его обучать? или хотя бы кто такую проблему поставил и зачем?
Чтобы перейти в пространство где задача разделима. Вы не задумывались, как должно повезти, чтобы это произошло случайно? =)
Я не задумывался, я это проверял и писал научную статью. Тут дело не в везении, а в математике. Увы, такое обучение как BackProp, этому не помогает, а мешает.
Расскажите подробнее про эту математику
Выкладывайте, думаю будет интересно.
Эта статья точно для таких как Вы :), ничего личного — просто знакомый паттерн поведения — «я знаю, не читаю, остальные тролли».
Вы не угадали, с нейронными сетями я знаком давно, потом интересы сместились в область подкрепляющего обучения. Предлагаю закончить комментарии с взаимными претензиями, если есть что-то по существу с удовольствием пообщаюсь, а в таком тоне — увольте )
С упреков начали Вы, мне тоже это не нравится. Но я не могу вам заменить чтение основ по перцептронам, хотя если появится желание кое какие основы может в следующей статье и опишу.
Да, и поверьте мне, я нисколько не пропагандирую нейронные сети, мне просто не нравится поверхностное к ним отношение.
Немного юмора:
Вы не поняли — это статья о том, как научить обычный персептрон думать, что он персептрон Розенблата )))
Однослойный перцептрон или перцептрон Розенблатта имеет ОДИН скрытый слой. Обучается слой между ВХОДНЫМ и СКРЫТЫМ. То что у Розенблатта было R-слоем, сейчас называется активирующей функцией и там действительно нет ничего обучающегося. Но это нифига не слой НЕЙРОНОВ.
И соответствует все это дело обычной линейной регрессии. И с обучением только ОДНОГО слоя весов, XOR только на основе обучаюшей выборки перцептрон не повторит. Линейная регрессия опять же.

Многослойный перцептрон имеет МНОГО скрытых слоев. Два, например. Как на вашей картинке про XOR. Или три. Или даже, о ужас четыре. И каждый из этих слоев имеет свои входы, свои веса и свои активирующие функции.
Дополнительный слой весов действительно позволяет перейти к многомерной регрессии.

Но без алгоритма обучения, который появился на минуточку в 74 году, многослойные перцептроны смысла не имеют. До этого они вполне могли рассматриваться с ручной подстройкой, в том числе и решающие ХОR, но надо понимать, что ручная подстройка — это ТОЖЕ ОБУЧЕНИЕ.

tac, вы мне скажите — вам по жизни делать нечего? Вы опять, так же как в статье про паттерн «мост» пытаетесь срывать покровы и кого-то учить руководствуясь своим неправильным пониманием предмета.
Или вы так карму себе поднимаете, пользуясь тем, что уже хабрахомячки не понимают предмет?
Ну и спасибо что насрали в википедию. Там это называется хорошим словечком ОРИСС. Думаю поправят быстро.
Вы хоть озаботились бы прочитать эту статью в Википедии. А заодно посмотреть, что с того момента как она стала избранной, а было это еще в 2009 году, никто там содержательно ничего не «правит». И этой при всей жуткой ко мне не любви в самой Википедии. Попробуйте подумать почему такая стабильность того текста аж 3 года?
> никто там содержательно ничего не «правит»

Как и вообще в русской википедии. Поэтому пользуюсь только английской ;)))
Читайте оригиналы, вы не правы.
Посмотрел. Да, у Розенблатта дано другое определение, а сейчас принято определение данное позже Минским, которым я и руководствуюсь и которое принципиально ничего не меняет.

Что ни разу не отменяет того факта, что для решения xor нужен второй слой и без его ручной подстройки ничего не получится до появления метода обратного распространения ошибки.

Ок, в современных терминах, перцептрон Розенблатта — двуслойная нейронная сеть, в которой обучается только один слой. И что, собственно?

Читайте современные книжки, они проще, системнее и отражают СОВРЕМЕННОЕ состояние области. А вы прочли старую книжку со СТАРОЙ терминологией («сепарабельность» вместо «разделимости», фу) и основываясь на этом срываете покровы и спорите с современными представлениями. Ну и допускаете смешные ошибки, при этом.

Потому что видимо не дочитали книжку Розенблатта до стр. 102 (русское издание), где сам же Розенблатт приводит теорему сходимости, которая и говорит, почему ваша случайная матрица коэффициентов не всегда сводит нелинейную регрессию к линейной, и почему она не может быть случайной.

Читайте книги внимательно и не смешите людей, а?
Прошу прощения, это в «дополнительных теоремах», начиная со стр. 107.
Ну, я могу лишь констатировать — что вы, как это помягче, совершенно не в теме
А Вы хоть читали определение Минского? Причем оно тут? Вот я и вижу, как современники, из-за сложности предмета нелепо отражают СВОИ представления о перцептроне в современной литературе. И я извиняюсь, что вы поняли из теоремы сходимости или её дополнений?
Перцептроны — это сложно?

А как же авторы книжек, наверное, мучаются с нелинейной регрессией, нейросетями Кохонена и Хопфилда, байесовскими сетями и прочим-прочим-прочим…

Ну и опять минуснули два моих последних комментария. Ответа не будет? ;))))
см. в статье upd2.
Но я рад, что хотя бы совершенно нелепые представления, у вас чуть сменились. Вот видите, чтение оригиналов благотворно влияет, но не останавливайтесь продолжайте чтение — еще требуется.
Господи… Уже которую статью подряд вам пытаются объяснить, что вы не до конца разобравшись в теме, обвиняете всех вокруг в том, что они идиоты, а вы прям весь д`артаньян. И не только по ИНС, а и по другим темам. Это тенденция. А то что вы до сих пор не привели ни одного аргумента против моих, зато старательно проминусовали мои комменты, только доказывает, что у вас, простите, баттхерт.

Хорошо, что вы, надеюсь не читали первые работы по ООП. А то бы была статься про то, что в настоящем ООП нет классов, а вместо вызова методов передаются события, да…

Представления имеют свойство меняться, а науки классифицироваться, представьте себе. Ну и надо понимать, что книга Розенблатта — это обобщение более чем десятилетнего его опыта работы. А какой перцептрон он публиковал в первых своих статьях — лично мне неизвестно.

По теме случайных коэффициентов:
1. Минский рассматривал однослойные перцептроны без слоя константных весов.
2. Случайные значения слоя нейронов использовать нельзя по той простой причине, что это не гарантирует сходимость перцептрона за разумный объем обучающей выборки и его устойчивость.

Ну и да, с вашей манерой общения… Если не будет адекватных контраргументов, это мой последний комментарий, ибо лечить вас похоже бесполезно ;)
3. Ну и без случайных возмущений сходимость не гарантируется вообще.
Так то вот Вы теорему сходимости освоили :)
Ок, поправлюсь — без случайных возмущений и при произвольной обучающей выборке.
еще раз почитайте
Почитал:

Теорема сходимости говорит, что перцептрон может сойтись за некое количество шагов если ему попадется некая последовательность обучающих стимулов (а если не попадется, то и не сойдется).

А одно из следствий говорит, что сойдется при любой обучающей выборке, если в подкрепления вносить элемент случайности.

А капитан очевидность говорит, что если я достаточно долгое время буду вносить случайные измеения в некий вектор, рано или поздно он действительно станет равен некоему заданному ранее вектору, а миллион обезьян напишет «Войну и мир».
у вас тут все перепуталось
Внимательнее смотрите к чему относится то, следствие о котором вы говорите. Он не для элементарного перцептрона с коррекцией ошибки.
Вы видимо говорите о теореме 6, которая относится к S-управляемому обучению. Это другим словами обучение без учителя. И оно не относится к обучению с учителем.
Да, тогда согласен. Мне спросонья весьма тяжело дается розенблаттовская терминология и текст.

В общем по поводу случайности весов не могу ничего нарыть, на днях попробую порыть еще, но жду от вас статью, тогда еще поспорим, если не убедите ;)

Зато нарыл вот такое — www.intuit.ru/department/ds/neuronnets/3/4.html
Вот, очень хорошо, когда конструктивно.
Текст тяжелый — это правда
В тех лекциях тоже переврато, я кажется когда-то смотрел и даже посылал им замечания — не ответили.
Я извиняюсь, но ликбез вам преподавать пока не собираюсь. Опровергать те глупости, что вы тут понаписали даже просто не серьезно. Со временем для уважающей чужой труд части хабражителей я возможно напишу, что такое перцептрон Розенблатта.
Слив засчитан.

И да, я горжусь своей отрицательной кармой, так что спасибо, что сделали ее модуль еще больше ;)
а вообще я очень добрый если мне не хамить ;)
Проблема в том, что ваша манера изложения мыслей и аргументации так же воспринимается как хамство и к определенному моменту вникать в суть разногласий уже не хочется, а хочется нахамить в ответ.

Приношу извинения за резкие высказывания в ваш адрес.
Ок, я не специально :)
Имхо, надо проще относиться к таким вещам. Ну назвали однослойный перцептрон не той фамилией, придётся теперь привыкать. Есть даже такая хохма, что в математике все теоремы названы фамилиями не тех людей, кто их автор. Так что не удивительно, что перцептрон Розенблатта — это не тот перцептрон, который придумал Розенблатт.

Устаканивание терминологии — процесс небыстрый и не страдает логичностью. И, имхо, подобные статьи не внесут в данный процесс существенного вклада. Время покажет…

Тем не менее, статья понравилась. Люблю исторические аспекты в науке.
Кто-то и полезное что-нибудь для себя извлечёт. Та же геометрическая трактовка, если кто про неё не знал, и узнает из этой статьи, вообще здорово добавляет просветления в мозгах.
Я вот, что хотел спросить, тут наблюдается совершенное незнание предмета, что такое перцептрон Розенблата (не у все, но все же), поэтому чего больше хотят хабражители?:
1. Статью с ликбезом об основах архитектуры и обучения перцептрона Розенблатта?
2. Или все же обещанное объяснение про то как случайная матрица сводит несепарабельную задачу к сепарабельной (это все же сложнее, а будет не последовательно, но выбор за вами)?
Чтобы я понял, чему уделять внимание в следующих статьях прошу, если Вы согласны с утверждением

Минский рассматривал однослойные перцептроны без слоя константных весов

то минусуем это комментарий, если не согласны плюсуем. Так я быстро пойму, что за аудитория собралась и нужно ли этому уделять отдельное внимание.

Чтобы я понял, чему уделять внимание в следующих статьях прошу, если Вы согласны с утверждением

Случайные значения слоя нейронов использовать нельзя по той простой причине, что это не гарантирует сходимость перцептрона за разумный объем обучающей выборки и его устойчивость.

то минусуем это комментарий, если не согласны плюсуем. Так я быстро пойму, что за аудитория собралась и нужно ли этому уделять отдельное внимание.
Sign up to leave a comment.

Articles