Ну хорошо, показали, что G-матрица валидна с высокой вероятностью.
Вот только как это помогает перейти в другое пространство?
Вот, например, если сравнивать с регрессионным подходом, то там переход в другое пространство происходит с использованием обобщенных решающих функций и введением дополнительных коэффициентов, которые потом ищутся все тем же градиентным спуском. Вот только там никто и нигде не предлагает назначать их от балды.
Далее, если я правильно понял G-матрица зависит как раз и от обучающей выборки и от весов на входном слое.
Тогда получается, что имея некую заданную обучающую выборку, веса надо назначать не случайно, а как раз под эту конкретную обучающую выборку. Так как иначе, нет гарантии что на данной конкретной выборке перцептрон сойдется.
Проблема в том, что ваша манера изложения мыслей и аргументации так же воспринимается как хамство и к определенному моменту вникать в суть разногласий уже не хочется, а хочется нахамить в ответ.
Приношу извинения за резкие высказывания в ваш адрес.
Теорема сходимости говорит, что перцептрон может сойтись за некое количество шагов если ему попадется некая последовательность обучающих стимулов (а если не попадется, то и не сойдется).
А одно из следствий говорит, что сойдется при любой обучающей выборке, если в подкрепления вносить элемент случайности.
А капитан очевидность говорит, что если я достаточно долгое время буду вносить случайные измеения в некий вектор, рано или поздно он действительно станет равен некоему заданному ранее вектору, а миллион обезьян напишет «Войну и мир».
Господи… Уже которую статью подряд вам пытаются объяснить, что вы не до конца разобравшись в теме, обвиняете всех вокруг в том, что они идиоты, а вы прям весь д`артаньян. И не только по ИНС, а и по другим темам. Это тенденция. А то что вы до сих пор не привели ни одного аргумента против моих, зато старательно проминусовали мои комменты, только доказывает, что у вас, простите, баттхерт.
Хорошо, что вы, надеюсь не читали первые работы по ООП. А то бы была статься про то, что в настоящем ООП нет классов, а вместо вызова методов передаются события, да…
Представления имеют свойство меняться, а науки классифицироваться, представьте себе. Ну и надо понимать, что книга Розенблатта — это обобщение более чем десятилетнего его опыта работы. А какой перцептрон он публиковал в первых своих статьях — лично мне неизвестно.
По теме случайных коэффициентов:
1. Минский рассматривал однослойные перцептроны без слоя константных весов.
2. Случайные значения слоя нейронов использовать нельзя по той простой причине, что это не гарантирует сходимость перцептрона за разумный объем обучающей выборки и его устойчивость.
Ну и да, с вашей манерой общения… Если не будет адекватных контраргументов, это мой последний комментарий, ибо лечить вас похоже бесполезно ;)
Посмотрел. Да, у Розенблатта дано другое определение, а сейчас принято определение данное позже Минским, которым я и руководствуюсь и которое принципиально ничего не меняет.
Что ни разу не отменяет того факта, что для решения xor нужен второй слой и без его ручной подстройки ничего не получится до появления метода обратного распространения ошибки.
Ок, в современных терминах, перцептрон Розенблатта — двуслойная нейронная сеть, в которой обучается только один слой. И что, собственно?
Читайте современные книжки, они проще, системнее и отражают СОВРЕМЕННОЕ состояние области. А вы прочли старую книжку со СТАРОЙ терминологией («сепарабельность» вместо «разделимости», фу) и основываясь на этом срываете покровы и спорите с современными представлениями. Ну и допускаете смешные ошибки, при этом.
Потому что видимо не дочитали книжку Розенблатта до стр. 102 (русское издание), где сам же Розенблатт приводит теорему сходимости, которая и говорит, почему ваша случайная матрица коэффициентов не всегда сводит нелинейную регрессию к линейной, и почему она не может быть случайной.
Однослойный перцептрон или перцептрон Розенблатта имеет ОДИН скрытый слой. Обучается слой между ВХОДНЫМ и СКРЫТЫМ. То что у Розенблатта было R-слоем, сейчас называется активирующей функцией и там действительно нет ничего обучающегося. Но это нифига не слой НЕЙРОНОВ.
И соответствует все это дело обычной линейной регрессии. И с обучением только ОДНОГО слоя весов, XOR только на основе обучаюшей выборки перцептрон не повторит. Линейная регрессия опять же.
Многослойный перцептрон имеет МНОГО скрытых слоев. Два, например. Как на вашей картинке про XOR. Или три. Или даже, о ужас четыре. И каждый из этих слоев имеет свои входы, свои веса и свои активирующие функции.
Дополнительный слой весов действительно позволяет перейти к многомерной регрессии.
Но без алгоритма обучения, который появился на минуточку в 74 году, многослойные перцептроны смысла не имеют. До этого они вполне могли рассматриваться с ручной подстройкой, в том числе и решающие ХОR, но надо понимать, что ручная подстройка — это ТОЖЕ ОБУЧЕНИЕ.
tac, вы мне скажите — вам по жизни делать нечего? Вы опять, так же как в статье про паттерн «мост» пытаетесь срывать покровы и кого-то учить руководствуясь своим неправильным пониманием предмета.
Или вы так карму себе поднимаете, пользуясь тем, что уже хабрахомячки не понимают предмет?
> тогда будет понятно, почему в них что-то сделано так, как сделано.
Читаю документацию (http://wiki.eclipse.org/FAQ_How_do_I_switch_to_vi_or_emacs-style_key_bindings%3F):
«Eclipse has a built-in key-binding configuration that emulates emacs-style key bindings.»
Аналогично, люблю Майкрософт, за то что Visual Studio тоже из коробки знает про emacs.
Дополню — и как lisp-машина, он вполне простой и прозрачный. И посмотрите unix way по Реймонду, там как раз таки и есть про расширяемость и интеграцию.
В мегакомбайн он превращается после установки на него большого количества режимов и расширений. Но тем не менее остается прозрачным и простым.
Внезапно за 17 лет в емаксе тоже появился и рефакторинг, и кодкомплешн и еще много и много всего.
Вообще фишка в идеологии (unix way, все прозрачно и очень просто на самом деле) и полной кастомизации редактора под себя, а соответственно в сильном повышении продуктивности.
Ну хорошо, показали, что G-матрица валидна с высокой вероятностью.
Вот только как это помогает перейти в другое пространство?
Вот, например, если сравнивать с регрессионным подходом, то там переход в другое пространство происходит с использованием обобщенных решающих функций и введением дополнительных коэффициентов, которые потом ищутся все тем же градиентным спуском. Вот только там никто и нигде не предлагает назначать их от балды.
Далее, если я правильно понял G-матрица зависит как раз и от обучающей выборки и от весов на входном слое.
Тогда получается, что имея некую заданную обучающую выборку, веса надо назначать не случайно, а как раз под эту конкретную обучающую выборку. Так как иначе, нет гарантии что на данной конкретной выборке перцептрон сойдется.
Где я не прав?
Приношу извинения за резкие высказывания в ваш адрес.
В общем по поводу случайности весов не могу ничего нарыть, на днях попробую порыть еще, но жду от вас статью, тогда еще поспорим, если не убедите ;)
Зато нарыл вот такое — www.intuit.ru/department/ds/neuronnets/3/4.html
Теорема сходимости говорит, что перцептрон может сойтись за некое количество шагов если ему попадется некая последовательность обучающих стимулов (а если не попадется, то и не сойдется).
А одно из следствий говорит, что сойдется при любой обучающей выборке, если в подкрепления вносить элемент случайности.
А капитан очевидность говорит, что если я достаточно долгое время буду вносить случайные измеения в некий вектор, рано или поздно он действительно станет равен некоему заданному ранее вектору, а миллион обезьян напишет «Войну и мир».
И да, я горжусь своей отрицательной кармой, так что спасибо, что сделали ее модуль еще больше ;)
А как же авторы книжек, наверное, мучаются с нелинейной регрессией, нейросетями Кохонена и Хопфилда, байесовскими сетями и прочим-прочим-прочим…
Ну и опять минуснули два моих последних комментария. Ответа не будет? ;))))
Хорошо, что вы, надеюсь не читали первые работы по ООП. А то бы была статься про то, что в настоящем ООП нет классов, а вместо вызова методов передаются события, да…
Представления имеют свойство меняться, а науки классифицироваться, представьте себе. Ну и надо понимать, что книга Розенблатта — это обобщение более чем десятилетнего его опыта работы. А какой перцептрон он публиковал в первых своих статьях — лично мне неизвестно.
По теме случайных коэффициентов:
1. Минский рассматривал однослойные перцептроны без слоя константных весов.
2. Случайные значения слоя нейронов использовать нельзя по той простой причине, что это не гарантирует сходимость перцептрона за разумный объем обучающей выборки и его устойчивость.
Ну и да, с вашей манерой общения… Если не будет адекватных контраргументов, это мой последний комментарий, ибо лечить вас похоже бесполезно ;)
Как и вообще в русской википедии. Поэтому пользуюсь только английской ;)))
Что ни разу не отменяет того факта, что для решения xor нужен второй слой и без его ручной подстройки ничего не получится до появления метода обратного распространения ошибки.
Ок, в современных терминах, перцептрон Розенблатта — двуслойная нейронная сеть, в которой обучается только один слой. И что, собственно?
Читайте современные книжки, они проще, системнее и отражают СОВРЕМЕННОЕ состояние области. А вы прочли старую книжку со СТАРОЙ терминологией («сепарабельность» вместо «разделимости», фу) и основываясь на этом срываете покровы и спорите с современными представлениями. Ну и допускаете смешные ошибки, при этом.
Потому что видимо не дочитали книжку Розенблатта до стр. 102 (русское издание), где сам же Розенблатт приводит теорему сходимости, которая и говорит, почему ваша случайная матрица коэффициентов не всегда сводит нелинейную регрессию к линейной, и почему она не может быть случайной.
Читайте книги внимательно и не смешите людей, а?
И соответствует все это дело обычной линейной регрессии. И с обучением только ОДНОГО слоя весов, XOR только на основе обучаюшей выборки перцептрон не повторит. Линейная регрессия опять же.
Многослойный перцептрон имеет МНОГО скрытых слоев. Два, например. Как на вашей картинке про XOR. Или три. Или даже, о ужас четыре. И каждый из этих слоев имеет свои входы, свои веса и свои активирующие функции.
Дополнительный слой весов действительно позволяет перейти к многомерной регрессии.
Но без алгоритма обучения, который появился на минуточку в 74 году, многослойные перцептроны смысла не имеют. До этого они вполне могли рассматриваться с ручной подстройкой, в том числе и решающие ХОR, но надо понимать, что ручная подстройка — это ТОЖЕ ОБУЧЕНИЕ.
tac, вы мне скажите — вам по жизни делать нечего? Вы опять, так же как в статье про паттерн «мост» пытаетесь срывать покровы и кого-то учить руководствуясь своим неправильным пониманием предмета.
Или вы так карму себе поднимаете, пользуясь тем, что уже хабрахомячки не понимают предмет?
У меня на нетбуке Ctrl заменен на Caps Lock только из-за идиотского расположения Ctrk на клавиатуре. На полноценной клавиатуре все по дефолту.
Читаю документацию (http://wiki.eclipse.org/FAQ_How_do_I_switch_to_vi_or_emacs-style_key_bindings%3F):
«Eclipse has a built-in key-binding configuration that emulates emacs-style key bindings.»
Аналогично, люблю Майкрософт, за то что Visual Studio тоже из коробки знает про emacs.
Лично мне понятно, почему так сделано. А вам?
В мегакомбайн он превращается после установки на него большого количества режимов и расширений. Но тем не менее остается прозрачным и простым.
Насчет диалоговых окон не знаю, но можно отобразить буфер со любым списком.
Вообще фишка в идеологии (unix way, все прозрачно и очень просто на самом деле) и полной кастомизации редактора под себя, а соответственно в сильном повышении продуктивности.