Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 106
О чем статья-то?
А прочитать?
Я прочитал. Простой персептрон не может решить, например, XOR задачу, многослойный может… вы с этим не согласны или согласны? Из статьи вообще не понятно, что вы хотите сказать.
Вы глубоко заблуждаетесь. Читали о перцептроне Розенблатта в оригинале?
В оригинале не читал. И не верю, что там может быть написано, что может. Перцептрон, это по-сути, логистическая регрессия… как с помощью нее решить не сепарабельную задачу?
Рекомендую посмотреть лекции на ml-class.org, многое встает на место.
Рекомендую посмотреть лекции на ml-class.org, многое встает на место.
Хм, вы подредактировали статью, это многослойный перцептрон, конечно он может решить XOR задачу. Статья о каком-то нюансе терминологии??
Нет. Это и есть оригинальный перцептрон Розенблатта. И это не нюансы терминологии — а не знание, где использовать фамилию Розенблатта, а где нет.
Я извиняюсь, а как вы читали статью, когда я с самого начала написал:
Итак, давайте откроем оригинал, описывающий перцептрон Розенблатта: Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга, 1965. Вы там не найдете т.н. однослойного перцептрона — его в природе не существует, как минимум на 1965 год. Его выдумали много позднее.
Там вы сразу увидите элементарный перцептрон, у которого есть скрытый слой А-элементов.
Вы пишите держа в голове контекст, поэтому все понятно. Теперь когда я понял о чем вы, мне тоже это понятно. Но вначале прочитав раза три это место, я так и не понял, что имеется ввиду. Цитата с википедии, из которой все становится ясно:
Самая распространённое ошибка, связанная с терминологией, это определение перцептрона как нейронной сети без скрытых слоёв (однослойного перцептрона, см. выше). Эта ошибка связана с недостаточно проработанной терминологией в области нейросетей на раннем этапе их разработки. Ф. Уоссерменом была сделана попытка определенным образом классифицировать различные виды нейронных сетей
Ок. Статья о том, что однослойный персептрон ошибочно называют перцептроном Розенблата? В то время, как это вполне себе многослойный? Давно это было, я уже подзабыл если честно… Кстати, в википедии эта информация уместилась в пару строчек ;)
моих строчек :), а вот в английском варианте, так и осталось не пойми что.
Да, и к сожалению, не просто называют, а на этом основании не изучают, что это такое. И хороших 60% не знают, что такое перцептрон Розенблатта, но думают, что знают :(
А сколько процентов думает что это таки нейронные сети, а не модели математических моделей и не более? Года 2-3 как нейрон изучили сильнее и он оказался крайне отличным от вот такой единицы, которая используется в том, что называют «нейронными сетями».
Конечно, искусственные нейронные сети — это лишь приближение к биологическим, которые неоспоримо сложнее. Но это было специально сделано, чтобы хоть немного понять как работаю биологические.
Со временем, это превратилось в т.н. Machine Learning, где математики ввели такое представление, что ИНС — это лишь математические модели.
Я с этим не согласен. Все же ИНС, путь плохое, но приближение к биологическим, их модель. И уже потом полученную модель, можно описать кроме того и математически. Но изначально описание кибернетическое.
Так например, перцептрон можно математически представить 3 разными способами:
1. Как решение системы неравенств
2. Как регрессионный анализ
3. Как пороговая логика
Каждый вариант возможен, и хорош в своей области. Но именно кибернетическое описание ИНС создает некую другую систему мышления. Это как структурное и объектное программирование. И то и другое в своей основе написание алгоритмов, но как это делать — концепция разная.
Со временем, это превратилось в т.н. Machine Learning, где математики ввели такое представление, что ИНС — это лишь математические модели.
Я с этим не согласен. Все же ИНС, путь плохое, но приближение к биологическим, их модель. И уже потом полученную модель, можно описать кроме того и математически. Но изначально описание кибернетическое.
Так например, перцептрон можно математически представить 3 разными способами:
1. Как решение системы неравенств
2. Как регрессионный анализ
3. Как пороговая логика
Каждый вариант возможен, и хорош в своей области. Но именно кибернетическое описание ИНС создает некую другую систему мышления. Это как структурное и объектное программирование. И то и другое в своей основе написание алгоритмов, но как это делать — концепция разная.
Ещё 4 года назад было верным считать что это мат модель биологической нейронной сети. А вот потом нашли что нейроны по сложности ближе не к логическому блоку с переменной и сумматором, а к полноценному процессору (порядки сложности). Я сам изучал этих зверей долго, если что. Помню ещё обещание IBM сделать к 2012 году полную модель мозга, которое в те года выглядело реальным.
Не нужно спешить с выводами. вот Хокинс разрабатывает свою ИНС — Иерархическая Темпоральная Память. Она уже сильнее похоже на биологические нейроны. Правда, он забывает, что прообраз его ИНС уже был у Розенблатта, называлось Перцептроны с перекрестными связями… но все же гордые, считают, что разрабатывают абсолютно новое.
> Я с этим не согласен. Все же ИНС, путь плохое, но приближение к биологическим, их модель. И уже потом полученную модель, можно описать кроме того и математически. Но изначально описание кибернетическое.
Ну ок, изначально хотели сделать искусственный мозг, не получилось, формализовали математически. Что-то кроме математики в ИНС есть?
Ну ок, изначально хотели сделать искусственный мозг, не получилось, формализовали математически. Что-то кроме математики в ИНС есть?
В начале каждого учебника про это написано, разумеется это просто красивая аллегория вдохновленная «настоящими» нейронными сетями. Но получившийся математический аппарат довольно мощный и достаточно широко и успешно используется.
Каким образом случайная матрица сведет несепарабельную задачу к сепарабельной?
Это серьезный вопрос, быстро не отвечу. Позже напишу статью.
Если в теме, то в основе теорема Ковера: о разделимости образов, которая утверждает что нелинейное преобразование сложной задачи классификации образов в пространство более высокой размерности повышает вероятность линейной разделимости образов.
Вот это и реализовано в перцептроне Розенблатта.
Вот это и реализовано в перцептроне Розенблатта.
Да, а случайность играет там важную роль при отображении на пространство большей размерности
ждём-с
Не случайная, а вполне определенная… Насколько я понимаю, средний слой как раз переводит в пространство где задача разделима.
Или вы про то, что написано в статье:
Тогда я тоже не понимаю…
Перцептрон Розенблатта обучается алгоритмом коррекции ошибки. Этим алгоритмом обучаются только веса между скрытым и выходным слоем. Что же касается весов между входным и скрытым слоем — то он не обучается осознано.
Тогда я тоже не понимаю…
Вот. Статья все же о большем :) Перцептрон Розенблатта, и представленный на рисунке, решающий XOR — не использует обратное распространение ошибки. Веса его формируются по другому.
Вообще, даже намного более эффективный метод обратного распространения ошибки уже пройденный этап, разрабатываются более эффективные методы. И, кстати, эффективность сравнивается именно по сравнению с обратным распространением, а не с коррекцией ошибок.
Очень жаль. Ничего более эффективного в обратном распространении нету! А делается так потому, что случилась маркетинговая игра с BackProp, что не заслужено.
Вы заблуждаетесь. Интерес к нейронным сетям в свое время угас, как раз из-за невозможности обучить скрытый слой, и метод обратного распространения ошибки решает эту проблему.
Нет, не из-за этого. Вы находитесь под влиянием рекламы, не обижайтесь просто проверьте. Я в конце статьи давал ссылку на статью Коссуля (ожидая, что мне на слово не поверят), прочитайте.
Нет ни какой необходимости обучать первый слой, попробуйте сформулировать: для чего?
Нет ни какой необходимости обучать первый слой, попробуйте сформулировать: для чего?
Это вы находитесь под влиянием заблуждений. Наиболее эффективные на данный момент алгоритмы обучают первый слой. Случайные веса не оказываются наилучшими.
Информация к размышлению — в природе у зрительных нейронов первого слоя веса близки к функциям Габора (http://en.wikipedia.org/wiki/Gabor_filter).
Информация к размышлению — в природе у зрительных нейронов первого слоя веса близки к функциям Габора (http://en.wikipedia.org/wiki/Gabor_filter).
Интерес угас из-за полноценной критики Минского, там описываемые вами несуществующие проблемы даже не упомянуты. Почему угас интерес наверно надо писать еще одну статью.
Первое что попалось в интернете izhsch21.class.ru/text/print/302/179189.html#part_2
Вы с такой упертостью пропагандируете неправильные вещи, что я скоро начну вам верить… Разберитесь в теме прежде, чем что-то так безапелляционно заявлять.
С начала 80-х годов ИНС вновь привлекли интерес исследователей, что связано с энергетическим подходом Хопфилда [7] и алгоритмом обратного распространения для обучения многослойного перцептрона (многослойные сети прямого распространения), впервые предложенного Вербосом [8] и независимо разработанного рядом других авторов. Алгоритм получил известность благодаря Румельхарту [9] в 1986году Андерсон и Розенфельд [10] подготовили подробную историческую справку о развитии ИНС.
Вы с такой упертостью пропагандируете неправильные вещи, что я скоро начну вам верить… Разберитесь в теме прежде, чем что-то так безапелляционно заявлять.
Ну, а в цитате все верно. Тут написано почему привлекли — я бы сказал проще, была сделана хорошая реклама :) но критику Минского никто не отменял, и она в полной мере распространяется на все текущие ИНС.
И не надо верить всему, что попадается — говорю же читайте оригиналы, а потом уже делайте выводы. А я знаю о чем я говорю.
И не надо верить всему, что попадается — говорю же читайте оригиналы, а потом уже делайте выводы. А я знаю о чем я говорю.
Кстати, заодно и посмотрите, что считает сам Минский о алгоритме обратного распространения. Это просто не на слуху, т.к. мешает сделанной рекламе.
Да, так. Но все же именно случайная, точнее она создается случайной, а потом уже конечно, определенная.
Если кратко, за счет повышения размерности при отображении.
Перцептрон далек от биологической нейронной сети, но обладает своим набором свойств, которые делают его притягательным объектом для исследований и мощным инструментом для решения практических задач. Ведь дифуры не используются природой для реализации полета шарика, но физики используют дифуры для решения некоторых (*) задач. Так же и перцептроны — это очень мощный математический аппарат. Холивар между матстатистиками и нейросетевиками напоминает срач между любителями маков и винды. Одни говорят «логистическая регрессия решает все вопросы, а ваши сети для недоучек». Другие пытаются объяснить, что логиститческая регрессия, анализ главных компонент и все прочие строгие методы матстатистики линейны по своей природе, и нелинейность можно вводить только экспертным путем или случайным перебором, тогда как ИНС — принципиально нелинейный аппарат, и в этом его главное преимущество перед регрессией.
Искусственные нейронные сети воспользовали, может быть, один процент реальной биологической системы, и уже показали способности решать универсальные статистические задачи типа регрессий, возможности обобщения и самоорганизации, возможности решения задач в динамике при использовании обратных связей. А что будет, когда ИНС на 10% приблизятся по структуре к головному мозгу?
Искусственные нейронные сети воспользовали, может быть, один процент реальной биологической системы, и уже показали способности решать универсальные статистические задачи типа регрессий, возможности обобщения и самоорганизации, возможности решения задач в динамике при использовании обратных связей. А что будет, когда ИНС на 10% приблизятся по структуре к головному мозгу?
Все верно.
Я что-то пропустил. А с каких пор ИНС перестала быть статистической моделью? :)
У SVM геометрическая трактовка. У логист. регрессии — вероятностная. У ИНС — попытка воссоздать нервную систему живого организма.
Но все это статистические модели. И тот факт, что ИНС ближе к живым организмам не делает их лучше или эффективней. Честно говоря, я вообще не думаю что сильный ИИ, если и будет создан, будет копировать нервную систему человека.
Но все это статистические модели. И тот факт, что ИНС ближе к живым организмам не делает их лучше или эффективней. Честно говоря, я вообще не думаю что сильный ИИ, если и будет создан, будет копировать нервную систему человека.
Tac,
вы не могли бы пояснить, о чем статья? Я чувствую здесь эмоции, но не пойму, к чему это. Вы считаете, что перцептрон Розенблата незаслуженно обделен вниманием? Ну так опишите его преимущества по сравнению с другими видами ИНС. В статье что-то есть, но очень размазано.
Со своей колокольни я считаю, что ИНС в принципе получили незаслужено большое внимание. Я занимаюсь классификацией текста, и модели опорных векторов или логистическая регрессия работают для меня гораздо лучше, чем нейронные сети. По этому холивар в отношении, какой вид ИНС лучше, для меня выглядит надуманым.
вы не могли бы пояснить, о чем статья? Я чувствую здесь эмоции, но не пойму, к чему это. Вы считаете, что перцептрон Розенблата незаслуженно обделен вниманием? Ну так опишите его преимущества по сравнению с другими видами ИНС. В статье что-то есть, но очень размазано.
Со своей колокольни я считаю, что ИНС в принципе получили незаслужено большое внимание. Я занимаюсь классификацией текста, и модели опорных векторов или логистическая регрессия работают для меня гораздо лучше, чем нейронные сети. По этому холивар в отношении, какой вид ИНС лучше, для меня выглядит надуманым.
А статья не о том, что лучше или хуже. Статья о том, чего не знаю современники, хотя с пеной у рта доказывают, что знают — но вот одна проблема — оригиналов не читают. Моя маленькая задача плоскинько так намекнуть надо прочитать оригиналы, чтобы что-то говорить. И там существенно лучше описаны все достоинства и недостатки перцептрона.
Но вот использовать фамилию Розенблатта, и коверкать историю — это плохо. Вот единственная эмоция. Надо людей оценивать по заслугам.
Но вот использовать фамилию Розенблатта, и коверкать историю — это плохо. Вот единственная эмоция. Надо людей оценивать по заслугам.
Присоединяюсь. Перцептрон Розенблата это прошлый век, им сейчас никто не пользуется… так как у него были серьезные проблемы, которые успешно решило обратное распространение ошибки. При том, что уже и обратное распространение ошибки критикуется и улучшается. Не понимаю, что за археология с претензией на незаслуженное забвение.
P.S. сам считаю нейронные сети мощным и красивым инструментом, но это не панацея от всего. Тем более когда их применяют без понимания, какие алгоритмы лежат в основе (та же логистическая регрессия, например).
P.S. сам считаю нейронные сети мощным и красивым инструментом, но это не панацея от всего. Тем более когда их применяют без понимания, какие алгоритмы лежат в основе (та же логистическая регрессия, например).
Вы можете, хоть немного обосновывать свои голословные утверждения. Какие были серьезные проблемы у перцептрона Розенблатта? Как это решило обратное распространение? Вы же этого НЕ ЗНАЕТЕ!
Я уже сказал — невозможность обучения скрытого слоя.
А я уже спрашивал — а зачем его обучать? или хотя бы кто такую проблему поставил и зачем?
Чтобы перейти в пространство где задача разделима. Вы не задумывались, как должно повезти, чтобы это произошло случайно? =)
Эта статья точно для таких как Вы :), ничего личного — просто знакомый паттерн поведения — «я знаю, не читаю, остальные тролли».
Да, и поверьте мне, я нисколько не пропагандирую нейронные сети, мне просто не нравится поверхностное к ним отношение.
Немного юмора:
Вы не поняли — это статья о том, как научить обычный персептрон думать, что он персептрон Розенблата )))
Вы не поняли — это статья о том, как научить обычный персептрон думать, что он персептрон Розенблата )))
Однослойный перцептрон или перцептрон Розенблатта имеет ОДИН скрытый слой. Обучается слой между ВХОДНЫМ и СКРЫТЫМ. То что у Розенблатта было R-слоем, сейчас называется активирующей функцией и там действительно нет ничего обучающегося. Но это нифига не слой НЕЙРОНОВ.
И соответствует все это дело обычной линейной регрессии. И с обучением только ОДНОГО слоя весов, XOR только на основе обучаюшей выборки перцептрон не повторит. Линейная регрессия опять же.
Многослойный перцептрон имеет МНОГО скрытых слоев. Два, например. Как на вашей картинке про XOR. Или три. Или даже, о ужас четыре. И каждый из этих слоев имеет свои входы, свои веса и свои активирующие функции.
Дополнительный слой весов действительно позволяет перейти к многомерной регрессии.
Но без алгоритма обучения, который появился на минуточку в 74 году, многослойные перцептроны смысла не имеют. До этого они вполне могли рассматриваться с ручной подстройкой, в том числе и решающие ХОR, но надо понимать, что ручная подстройка — это ТОЖЕ ОБУЧЕНИЕ.
tac, вы мне скажите — вам по жизни делать нечего? Вы опять, так же как в статье про паттерн «мост» пытаетесь срывать покровы и кого-то учить руководствуясь своим неправильным пониманием предмета.
Или вы так карму себе поднимаете, пользуясь тем, что уже хабрахомячки не понимают предмет?
И соответствует все это дело обычной линейной регрессии. И с обучением только ОДНОГО слоя весов, XOR только на основе обучаюшей выборки перцептрон не повторит. Линейная регрессия опять же.
Многослойный перцептрон имеет МНОГО скрытых слоев. Два, например. Как на вашей картинке про XOR. Или три. Или даже, о ужас четыре. И каждый из этих слоев имеет свои входы, свои веса и свои активирующие функции.
Дополнительный слой весов действительно позволяет перейти к многомерной регрессии.
Но без алгоритма обучения, который появился на минуточку в 74 году, многослойные перцептроны смысла не имеют. До этого они вполне могли рассматриваться с ручной подстройкой, в том числе и решающие ХОR, но надо понимать, что ручная подстройка — это ТОЖЕ ОБУЧЕНИЕ.
tac, вы мне скажите — вам по жизни делать нечего? Вы опять, так же как в статье про паттерн «мост» пытаетесь срывать покровы и кого-то учить руководствуясь своим неправильным пониманием предмета.
Или вы так карму себе поднимаете, пользуясь тем, что уже хабрахомячки не понимают предмет?
Ну и спасибо что насрали в википедию. Там это называется хорошим словечком ОРИСС. Думаю поправят быстро.
Вы хоть озаботились бы прочитать эту статью в Википедии. А заодно посмотреть, что с того момента как она стала избранной, а было это еще в 2009 году, никто там содержательно ничего не «правит». И этой при всей жуткой ко мне не любви в самой Википедии. Попробуйте подумать почему такая стабильность того текста аж 3 года?
Читайте оригиналы, вы не правы.
Посмотрел. Да, у Розенблатта дано другое определение, а сейчас принято определение данное позже Минским, которым я и руководствуюсь и которое принципиально ничего не меняет.
Что ни разу не отменяет того факта, что для решения xor нужен второй слой и без его ручной подстройки ничего не получится до появления метода обратного распространения ошибки.
Ок, в современных терминах, перцептрон Розенблатта — двуслойная нейронная сеть, в которой обучается только один слой. И что, собственно?
Читайте современные книжки, они проще, системнее и отражают СОВРЕМЕННОЕ состояние области. А вы прочли старую книжку со СТАРОЙ терминологией («сепарабельность» вместо «разделимости», фу) и основываясь на этом срываете покровы и спорите с современными представлениями. Ну и допускаете смешные ошибки, при этом.
Потому что видимо не дочитали книжку Розенблатта до стр. 102 (русское издание), где сам же Розенблатт приводит теорему сходимости, которая и говорит, почему ваша случайная матрица коэффициентов не всегда сводит нелинейную регрессию к линейной, и почему она не может быть случайной.
Читайте книги внимательно и не смешите людей, а?
Что ни разу не отменяет того факта, что для решения xor нужен второй слой и без его ручной подстройки ничего не получится до появления метода обратного распространения ошибки.
Ок, в современных терминах, перцептрон Розенблатта — двуслойная нейронная сеть, в которой обучается только один слой. И что, собственно?
Читайте современные книжки, они проще, системнее и отражают СОВРЕМЕННОЕ состояние области. А вы прочли старую книжку со СТАРОЙ терминологией («сепарабельность» вместо «разделимости», фу) и основываясь на этом срываете покровы и спорите с современными представлениями. Ну и допускаете смешные ошибки, при этом.
Потому что видимо не дочитали книжку Розенблатта до стр. 102 (русское издание), где сам же Розенблатт приводит теорему сходимости, которая и говорит, почему ваша случайная матрица коэффициентов не всегда сводит нелинейную регрессию к линейной, и почему она не может быть случайной.
Читайте книги внимательно и не смешите людей, а?
Прошу прощения, это в «дополнительных теоремах», начиная со стр. 107.
Ну, я могу лишь констатировать — что вы, как это помягче, совершенно не в теме
А Вы хоть читали определение Минского? Причем оно тут? Вот я и вижу, как современники, из-за сложности предмета нелепо отражают СВОИ представления о перцептроне в современной литературе. И я извиняюсь, что вы поняли из теоремы сходимости или её дополнений?
Но я рад, что хотя бы совершенно нелепые представления, у вас чуть сменились. Вот видите, чтение оригиналов благотворно влияет, но не останавливайтесь продолжайте чтение — еще требуется.
Господи… Уже которую статью подряд вам пытаются объяснить, что вы не до конца разобравшись в теме, обвиняете всех вокруг в том, что они идиоты, а вы прям весь д`артаньян. И не только по ИНС, а и по другим темам. Это тенденция. А то что вы до сих пор не привели ни одного аргумента против моих, зато старательно проминусовали мои комменты, только доказывает, что у вас, простите, баттхерт.
Хорошо, что вы, надеюсь не читали первые работы по ООП. А то бы была статься про то, что в настоящем ООП нет классов, а вместо вызова методов передаются события, да…
Представления имеют свойство меняться, а науки классифицироваться, представьте себе. Ну и надо понимать, что книга Розенблатта — это обобщение более чем десятилетнего его опыта работы. А какой перцептрон он публиковал в первых своих статьях — лично мне неизвестно.
По теме случайных коэффициентов:
1. Минский рассматривал однослойные перцептроны без слоя константных весов.
2. Случайные значения слоя нейронов использовать нельзя по той простой причине, что это не гарантирует сходимость перцептрона за разумный объем обучающей выборки и его устойчивость.
Ну и да, с вашей манерой общения… Если не будет адекватных контраргументов, это мой последний комментарий, ибо лечить вас похоже бесполезно ;)
Хорошо, что вы, надеюсь не читали первые работы по ООП. А то бы была статься про то, что в настоящем ООП нет классов, а вместо вызова методов передаются события, да…
Представления имеют свойство меняться, а науки классифицироваться, представьте себе. Ну и надо понимать, что книга Розенблатта — это обобщение более чем десятилетнего его опыта работы. А какой перцептрон он публиковал в первых своих статьях — лично мне неизвестно.
По теме случайных коэффициентов:
1. Минский рассматривал однослойные перцептроны без слоя константных весов.
2. Случайные значения слоя нейронов использовать нельзя по той простой причине, что это не гарантирует сходимость перцептрона за разумный объем обучающей выборки и его устойчивость.
Ну и да, с вашей манерой общения… Если не будет адекватных контраргументов, это мой последний комментарий, ибо лечить вас похоже бесполезно ;)
3. Ну и без случайных возмущений сходимость не гарантируется вообще.
Так то вот Вы теорему сходимости освоили :)
Ок, поправлюсь — без случайных возмущений и при произвольной обучающей выборке.
еще раз почитайте
Почитал:
Теорема сходимости говорит, что перцептрон может сойтись за некое количество шагов если ему попадется некая последовательность обучающих стимулов (а если не попадется, то и не сойдется).
А одно из следствий говорит, что сойдется при любой обучающей выборке, если в подкрепления вносить элемент случайности.
А капитан очевидность говорит, что если я достаточно долгое время буду вносить случайные измеения в некий вектор, рано или поздно он действительно станет равен некоему заданному ранее вектору, а миллион обезьян напишет «Войну и мир».
Теорема сходимости говорит, что перцептрон может сойтись за некое количество шагов если ему попадется некая последовательность обучающих стимулов (а если не попадется, то и не сойдется).
А одно из следствий говорит, что сойдется при любой обучающей выборке, если в подкрепления вносить элемент случайности.
А капитан очевидность говорит, что если я достаточно долгое время буду вносить случайные измеения в некий вектор, рано или поздно он действительно станет равен некоему заданному ранее вектору, а миллион обезьян напишет «Войну и мир».
у вас тут все перепуталось
Внимательнее смотрите к чему относится то, следствие о котором вы говорите. Он не для элементарного перцептрона с коррекцией ошибки.
Вы видимо говорите о теореме 6, которая относится к S-управляемому обучению. Это другим словами обучение без учителя. И оно не относится к обучению с учителем.
Да, тогда согласен. Мне спросонья весьма тяжело дается розенблаттовская терминология и текст.
В общем по поводу случайности весов не могу ничего нарыть, на днях попробую порыть еще, но жду от вас статью, тогда еще поспорим, если не убедите ;)
Зато нарыл вот такое — www.intuit.ru/department/ds/neuronnets/3/4.html
В общем по поводу случайности весов не могу ничего нарыть, на днях попробую порыть еще, но жду от вас статью, тогда еще поспорим, если не убедите ;)
Зато нарыл вот такое — www.intuit.ru/department/ds/neuronnets/3/4.html
Я извиняюсь, но ликбез вам преподавать пока не собираюсь. Опровергать те глупости, что вы тут понаписали даже просто не серьезно. Со временем для уважающей чужой труд части хабражителей я возможно напишу, что такое перцептрон Розенблатта.
Имхо, надо проще относиться к таким вещам. Ну назвали однослойный перцептрон не той фамилией, придётся теперь привыкать. Есть даже такая хохма, что в математике все теоремы названы фамилиями не тех людей, кто их автор. Так что не удивительно, что перцептрон Розенблатта — это не тот перцептрон, который придумал Розенблатт.
Устаканивание терминологии — процесс небыстрый и не страдает логичностью. И, имхо, подобные статьи не внесут в данный процесс существенного вклада. Время покажет…
Тем не менее, статья понравилась. Люблю исторические аспекты в науке.
Кто-то и полезное что-нибудь для себя извлечёт. Та же геометрическая трактовка, если кто про неё не знал, и узнает из этой статьи, вообще здорово добавляет просветления в мозгах.
Устаканивание терминологии — процесс небыстрый и не страдает логичностью. И, имхо, подобные статьи не внесут в данный процесс существенного вклада. Время покажет…
Тем не менее, статья понравилась. Люблю исторические аспекты в науке.
Кто-то и полезное что-нибудь для себя извлечёт. Та же геометрическая трактовка, если кто про неё не знал, и узнает из этой статьи, вообще здорово добавляет просветления в мозгах.
Я вот, что хотел спросить, тут наблюдается совершенное незнание предмета, что такое перцептрон Розенблата (не у все, но все же), поэтому чего больше хотят хабражители?:
1. Статью с ликбезом об основах архитектуры и обучения перцептрона Розенблатта?
2. Или все же обещанное объяснение про то как случайная матрица сводит несепарабельную задачу к сепарабельной (это все же сложнее, а будет не последовательно, но выбор за вами)?
1. Статью с ликбезом об основах архитектуры и обучения перцептрона Розенблатта?
2. Или все же обещанное объяснение про то как случайная матрица сводит несепарабельную задачу к сепарабельной (это все же сложнее, а будет не последовательно, но выбор за вами)?
Чтобы я понял, чему уделять внимание в следующих статьях прошу, если Вы согласны с утверждением
Минский рассматривал однослойные перцептроны без слоя константных весов
то минусуем это комментарий, если не согласны плюсуем. Так я быстро пойму, что за аудитория собралась и нужно ли этому уделять отдельное внимание.
Минский рассматривал однослойные перцептроны без слоя константных весов
то минусуем это комментарий, если не согласны плюсуем. Так я быстро пойму, что за аудитория собралась и нужно ли этому уделять отдельное внимание.
Чтобы я понял, чему уделять внимание в следующих статьях прошу, если Вы согласны с утверждением
Случайные значения слоя нейронов использовать нельзя по той простой причине, что это не гарантирует сходимость перцептрона за разумный объем обучающей выборки и его устойчивость.
то минусуем это комментарий, если не согласны плюсуем. Так я быстро пойму, что за аудитория собралась и нужно ли этому уделять отдельное внимание.
Случайные значения слоя нейронов использовать нельзя по той простой причине, что это не гарантирует сходимость перцептрона за разумный объем обучающей выборки и его устойчивость.
то минусуем это комментарий, если не согласны плюсуем. Так я быстро пойму, что за аудитория собралась и нужно ли этому уделять отдельное внимание.
Впрочем я уже написал статью, опровергающую это утверждение
Какова роль первого «случайного» слоя в перцептроне Розенблатта
Какова роль первого «случайного» слоя в перцептроне Розенблатта
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Перцептрон Розенблатта — что забыто и придумано историей?