Хватит писать глупости, прочитайте лучше статью, может быть поймете тогда почему там так написано. В общем я понял, аргументов у вас нет, начинается клевета.
Вы пишите глупости. Я совершенно не хочу перцептрон с нелинейной функцией. В ней нет никакой надобности. Пишите уравнения сами, вам это больше будет полезно. Когда надоесть писать глупости - почитайте книгу Розенблатта, там для вас есть раздел даже в книге Розенблатта "Перцептроны", раздел 10.3, и следующий 10.4. , Перцептроны с нелинейными передающими функциями
Как я понимаю, кошка с нелинейными функциями будет чем то таким, вместо треугольников, типа сферические треугольники, но принципиально это не изменится.
Но это с тем пониманием, что так будет аппроксимироваться не кошка отдельно, что нам чисто из-за антропоцентричного взгляда может показаться, что это лучше выглядит, а по такому принципу будет аппроксимироваться весь класс возможных кошек. И совсем не факт, что прогноз на базе выбранной нелинейной функции будет хоть чем то лучше соответствовать реальности по сравнению с низкополигональной "кошкой", особенно, если полигонов за счет скорости можно будет добавить больше, чем "нелинейных треугольников"
Это не требует доказательства, это известно. Первая же ссылка в статье
На практике же это в известной степени не так, в работе [1] для распознавания рукописных цифр на базе MNIST была получена точность распознавания выше 99%.
"включен - был включен", "включен - был выключен", "выключен - был включен", "выключен - был выключен"
Не очень понятно из контекста, о чем вы спрашиваете. Простой перцептрон таких состояний не имеет, это больше признак рекуррентных сетей. Настоящие нейроны? Они конечно, на порядок сложнее и да у них есть нечто аналогичное, только еще сложнее. У них есть т.н. рефрактерный период, который позволяет им хранить информацию какое время они не активировались.У меня две связанные с этим статьи, которые показывают как это свойство можно моделировать, и что оно очень важно. Если вам интересно напишите в личку, выложу текст этих статей.
Думаю в нашем случае, мы друг друга плохо понимаем. В отличии от моих других оппонентов выше. Вы описываете очень тяжело для понимания, как я понимаю некоторую свою теорию. И к иерархиям, о которых говорят выше любители аппроксимации она не относится, надо полагать.
Вы просто выше сравнивали LLM и трансформеры (их архитектуру в основе LLM) с перцептрон, говоря о том что те не туда ушли. Или я не так понял.
Я совсем не говорю, что с LLM ушли куда то не туда. Они все же сделали научный прорыв. Но при этом это закрытая область и я перечисляю 4 для этого причины.
При этом, нет никаких видимых препятствий, чтобы нельзя было заменить MLP + backprop на перцептрон и существенно ускорить вычисления. Вот, что я говорю.
Ваши соображения, скорее где-то параллельны с моими, просто вы используете другую терминологию и соответственно подходы.
Наверно, выше вы не заметили, поэтому повторю свой вопрос: вы математик или программист, или то и другое? Как вы делали свои эксперименты, у вас есть код для LLM?
P.S. я нахожусь в Европе, и ссылки которые вы даете на яндекс у меня не открываются.
т.е. теперь мы говорим исключительно о механизме внимания, который по вашему принципиально отличается от рекуррентности классических RNN ? А слои по которым бегает бэкпроп тут не причем, следовательно?
С другой стороны, раз вы говорите о марковских цепях, это означает, что вы говорите о системе "без истории", т.е. ваши выводы не могут относится не к рекуррентным сетям, например, к простому MLP+backprop? И даже больше, любая не рекуррентная сеть, не совсем понимаю что это значит, но то что вы называете "Система нашла выход из этого, через разрывы марковской цепи" не сможет этого сделать.
Уж точно не худшую, чем у бэкпропа. А история да, очень поучительная, особенно в той части, как много людей не читают оригиналы. Автору статьи, большое спасибо, за точную и выверенную информацию, а не распространение мифов, как повально делают (увы, в том числе, тут же на хабре)
Это не число рекуррентных шагов, это именно иерархия.
Давайте я тогда спрошу проще, вы в курсе, что в LLM токены (там нет понятия букв) появляются одна за другой, через рекуррентный шаг, сколько токенов, столько рекуррентных шагов и делает LLM?
У меня возник вопрос, вы математик или программист, или то и другое? В ваших рассуждениях есть важные слова про энтропию, но пока ничего о ИНС. Как вы делали свои эксперименты, у вас есть код для LLM?
Вы не правы дважды. Перцептрон не то, что может описывать иерархии, ему достаточно для этого одного слоя. Так же перцептрон имеет архитектуры и с большим числом слоев, только они ему как собаке пятая нога, но возможность есть, для тех кто не понимает для чего слои у ИНС. Во-вторых, в данном случае, вы говорите не об иерархиях, а о рекуррентности ИНС, ваше d это число рекуррентных шагов . Впрочем, думаю, все же скоро опубликую вторую статью, что более точно расставить акценты, поэтому следите как говорится за обновлениями, убирать незнание с каждым отдельно - затратно по времени.
Так Вы и подкрепляйте, когда говорите глупости о перцептроне )) То что вы привели какие то графики - они вообще не понятны, о чем они и что доказывают не ясно совершенно.
Перцептрон в классическом виде не может обеспечить полноценную иерархию связей.
Совершенно не понятно откуда вы это взяли.
Вы в курсе, что перцептрон это не дерево с иерархическими связями? Перцептрон это система уравнений, неравенств если точнее. Вас совсем не смущает, что вы смешиваете совсем разные математические понятия?
Да ладно, оставьте вы перцептрон в покое, вы о нем ничего не знаете. Вы покажите как интерпретировать в простом MLP работу backpropagation. Откуда у вас взялись иерархические деревья в системе уравнений?
Вы понимаете, что система уравнений имеет большую вычислительную мощность, чем все ваши иерархии, которые вы придумываете из-за своего антропного фактора мат. аппарату, который совсем не про это.
Из оригинала, книги Розенблатта "Перцептроны", раздел 10.3, и следующий 10.4. , Перцептроны с нелинейными передающими функциями
Видимо вы боретесь с ветряными мельницами - никакой экспоненциальной проблемы в перцептронах нет и никогда не было, в отличии от поделок для аппроксимации. Да, и нелинейность - это не ответ на несуществующий вызов. Поэтому это дискуссия дважды пустая ..
Впрочем, я посмотрел упомянутую вами статью про MNIST. Странно, что вы не увидели там экспоненту (500 тыс нейронов)
Видимо не дальше аннотации? Иначе бы увидели, что 1000 A элементов ничем принципиально не отличается от 500 000 A элементов.
Это не верно. Зачем вы на этом настаивали, мне было не ясно, но
Неверно, что? Вы или говорите или молчите, отгадывать ваши ребусы у меня нет времени. работа от Poggio именно этот тезис и обосновывает, если вы этого не понимаете прочитайте еще раз, или скажите на чем еще вы акцентируете свое внимание в этой статье, что это перестаете видеть
А внимательнее читать не пробовали? Это максимально нужное число, а дальше читали?
И дальше что? Утверждаете, что это будет сравнимо с тем, что в перцептроне?
Можете хоть одно предложение дописать до логического конца?
Откуда вы это бред берете?
С чего Вы это взяли?
И как вы эту близость собираетесь мерить? И что это даст?
Вы думаете это что-то доказывает? Серьезно? ваши определятели уже давно не могут различить ничего. Все с вами ясно. С вами диалог закончен.
Хватит писать глупости, прочитайте лучше статью, может быть поймете тогда почему там так написано. В общем я понял, аргументов у вас нет, начинается клевета.
Вы пишите глупости. Я совершенно не хочу перцептрон с нелинейной функцией. В ней нет никакой надобности. Пишите уравнения сами, вам это больше будет полезно. Когда надоесть писать глупости - почитайте книгу Розенблатта, там для вас есть раздел даже в книге Розенблатта "Перцептроны", раздел 10.3, и следующий 10.4. , Перцептроны с нелинейными передающими функциями
Как я понимаю, кошка с нелинейными функциями будет чем то таким, вместо треугольников, типа сферические треугольники, но принципиально это не изменится.
Но это с тем пониманием, что так будет аппроксимироваться не кошка отдельно, что нам чисто из-за антропоцентричного взгляда может показаться, что это лучше выглядит, а по такому принципу будет аппроксимироваться весь класс возможных кошек. И совсем не факт, что прогноз на базе выбранной нелинейной функции будет хоть чем то лучше соответствовать реальности по сравнению с низкополигональной "кошкой", особенно, если полигонов за счет скорости можно будет добавить больше, чем "нелинейных треугольников"
а такие бывают? Без функции активации не бывает "нейронов"
и чем же это отличается? Вам кажется, что кошка, которую вы привели станет более круглой?
Я долго вам не отвечал, я на самом деле так и не понял, что вы хотите сказать. По серьезнее можно?
Это не требует доказательства, это известно. Первая же ссылка в статье
Не очень понятно из контекста, о чем вы спрашиваете. Простой перцептрон таких состояний не имеет, это больше признак рекуррентных сетей. Настоящие нейроны? Они конечно, на порядок сложнее и да у них есть нечто аналогичное, только еще сложнее. У них есть т.н. рефрактерный период, который позволяет им хранить информацию какое время они не активировались.У меня две связанные с этим статьи, которые показывают как это свойство можно моделировать, и что оно очень важно. Если вам интересно напишите в личку, выложу текст этих статей.
Думаю в нашем случае, мы друг друга плохо понимаем. В отличии от моих других оппонентов выше. Вы описываете очень тяжело для понимания, как я понимаю некоторую свою теорию. И к иерархиям, о которых говорят выше любители аппроксимации она не относится, надо полагать.
Я совсем не говорю, что с LLM ушли куда то не туда. Они все же сделали научный прорыв. Но при этом это закрытая область и я перечисляю 4 для этого причины.
При этом, нет никаких видимых препятствий, чтобы нельзя было заменить MLP + backprop на перцептрон и существенно ускорить вычисления. Вот, что я говорю.
Ваши соображения, скорее где-то параллельны с моими, просто вы используете другую терминологию и соответственно подходы.
Наверно, выше вы не заметили, поэтому повторю свой вопрос: вы математик или программист, или то и другое? Как вы делали свои эксперименты, у вас есть код для LLM?
P.S. я нахожусь в Европе, и ссылки которые вы даете на яндекс у меня не открываются.
т.е. теперь мы говорим исключительно о механизме внимания, который по вашему принципиально отличается от рекуррентности классических RNN ? А слои по которым бегает бэкпроп тут не причем, следовательно?
С другой стороны, раз вы говорите о марковских цепях, это означает, что вы говорите о системе "без истории", т.е. ваши выводы не могут относится не к рекуррентным сетям, например, к простому MLP+backprop? И даже больше, любая не рекуррентная сеть, не совсем понимаю что это значит, но то что вы называете "Система нашла выход из этого, через разрывы марковской цепи" не сможет этого сделать.
Уж точно не худшую, чем у бэкпропа. А история да, очень поучительная, особенно в той части, как много людей не читают оригиналы. Автору статьи, большое спасибо, за точную и выверенную информацию, а не распространение мифов, как повально делают (увы, в том числе, тут же на хабре)
Давайте я тогда спрошу проще, вы в курсе, что в LLM токены (там нет понятия букв) появляются одна за другой, через рекуррентный шаг, сколько токенов, столько рекуррентных шагов и делает LLM?
У меня возник вопрос, вы математик или программист, или то и другое? В ваших рассуждениях есть важные слова про энтропию, но пока ничего о ИНС. Как вы делали свои эксперименты, у вас есть код для LLM?
Вы не правы дважды. Перцептрон не то, что может описывать иерархии, ему достаточно для этого одного слоя. Так же перцептрон имеет архитектуры и с большим числом слоев, только они ему как собаке пятая нога, но возможность есть, для тех кто не понимает для чего слои у ИНС. Во-вторых, в данном случае, вы говорите не об иерархиях, а о рекуррентности ИНС, ваше d это число рекуррентных шагов . Впрочем, думаю, все же скоро опубликую вторую статью, что более точно расставить акценты, поэтому следите как говорится за обновлениями, убирать незнание с каждым отдельно - затратно по времени.
Так Вы и подкрепляйте, когда говорите глупости о перцептроне )) То что вы привели какие то графики - они вообще не понятны, о чем они и что доказывают не ясно совершенно.
Совершенно не понятно откуда вы это взяли.
Вы в курсе, что перцептрон это не дерево с иерархическими связями? Перцептрон это система уравнений, неравенств если точнее. Вас совсем не смущает, что вы смешиваете совсем разные математические понятия?
Да ладно, оставьте вы перцептрон в покое, вы о нем ничего не знаете. Вы покажите как интерпретировать в простом MLP работу backpropagation. Откуда у вас взялись иерархические деревья в системе уравнений?
Вы понимаете, что система уравнений имеет большую вычислительную мощность, чем все ваши иерархии, которые вы придумываете из-за своего антропного фактора мат. аппарату, который совсем не про это.
Могу даже уточнить
Из оригинала, книги Розенблатта "Перцептроны", раздел 10.3, и следующий 10.4. , Перцептроны с нелинейными передающими функциями
Видимо вы боретесь с ветряными мельницами - никакой экспоненциальной проблемы в перцептронах нет и никогда не было, в отличии от поделок для аппроксимации. Да, и нелинейность - это не ответ на несуществующий вызов. Поэтому это дискуссия дважды пустая ..
Видимо не дальше аннотации? Иначе бы увидели, что 1000 A элементов ничем принципиально не отличается от 500 000 A элементов.
Неверно, что? Вы или говорите или молчите, отгадывать ваши ребусы у меня нет времени. работа от Poggio именно этот тезис и обосновывает, если вы этого не понимаете прочитайте еще раз, или скажите на чем еще вы акцентируете свое внимание в этой статье, что это перестаете видеть
Из оригинала, книги Розенблатта "Перцептроны"