>Это может прояснить только автор, мне непонятно как последовательность попадает в сеть.
У сети есть один входной слой — уравнение на самом деле содержит еще один член, а именно:
S(t+1) = F( Wx X(t) + W S(t) + W1 S(t-1) +… + Wn S(t-n) ), где X(t) — внешний вход на данном такте.
Через этот вход и задается то, что сеть должна распознавать. Но обсуждаемое поведение с длинными циклами возникает как раз при нулевых входах.
Насчет перцептронов: если у рекуррентного перцептрона будет столько выходов, сколько и входов, то его динамика будет описываться такой же формулой — но при обучении перцептрона не решается уравнение на матрицы связей из соображений запоминания последовательности, ИМХО именно поэтому в них нет подобных эффеков
>Возможно, что «большой «пробег» до зацикливания», как и «сами итоговые циклы устроены нетривиально» обусловлены слабым притяжением аттракторами демонстрируемых последовательностей.
Слабое притяжение тут конечно играет определенную роль (при очень большом притяжении сеть могла бы только повторять одно из запомненных слов), но я бы не сказал, что такое поведение вызвано самим только фактом слабого притяжения.
>После первого шага итерации, второй применяется к следующему символу
Нет, в режиме нулевых входов, второй шаг применяется к тому, что получилось на первом
Но тогда возникает вопрос, как учить ту другую сеть… Все же конечная цель — создать систему, которая учится чему-то интересному полностью самостоятельно.
В общем случае не соблюдается, по сути k-я матрица отображает корреляцию между N-м и (N-k)-м кадром запомненных последовательностей (не совсем прямо так, но достаточно похоже).
Хотя сравнить их со степенями W — очень хорошая и правильная мысль, спасибо!
Я бы сравнил пользу с пользой от исследования особенностей полупроводников. В свое время в их сторону звучала критика что, мол, ни ток нормально не проводят, ни изолировать не могут — значит на практике не нужны, ученые зря время тратят. И осторожные возражения на эту критику что, мол, полупроводники можно в нагревательных приборах использовать, и для измерительной аппаратуры они полезны.
Так вот — для нейросетей я не хочу приводить возражения того типа, что вот в такой и такой задачах они более-менее работают, и где-то там еще оказались полезны :)
Аттракторный радиус берется вот откуда: если сеть находится достаточно близко к одному из запомненных состояний, то на следующем шаге она попадет ровно в него. Характерное расстояние, из которого сеть за один шаг переходит к запомненному, называется аттракторным радиусом. Прямой смысл это имеет для сети Хопфилда, для нашей модели его естественнее оценивать по поведению виртуальной сети.
Длина цикла от него более-менее не зависит (хотя конечно если у нас запомнен только один образ, то сеть, попав в него, никуда уже не выйдет — но в более сложной ситуации однозначной зависимости нет)
Смотря что под этим подразумевать. Там идет развертка во времени, появляются связи из будущего в прошлое, и виртуальные нейроны. Это дает возможность выполнить математически удобную процедуру. Но когда идет свертка обратно, остаются только связи, имеющие физический смысл.
>Константе взяться не от куда — входы меняют выходы, выходы входы
И вот несмотря на это на практике часто получается константа.
>Вопрос в том, за счет чего было получено не устойчивое состояние в системе
Ну, это более-менее ясно — если развернуть всю конструкцию в виртуальную сеть (см. ailen.org/wp-content/uploads/2012/02/Doklad_Reznik_Dziuba.pdf ) — то это ожидаемый эффект, который правда мог быть испорчен переходом от виртуальной сети к реальной, но этого не произошло.
А вот что с этим делать дальше — непонятно.
Да вот ответом ниже я их выписал. Мы берем последовательность которую надо запомнить, и требуем чтобы если уж сеть в нее попала — то дальше ей следовала. Этого единственного условия оказывается достаточно для получения всех описанных эффектов (хотя конечно хочется придумать что-то интереснее). Еще есть статья ailen.org/wp-content/uploads/2012/02/Doklad_Reznik_Dziuba.pdf — там довольно детально все описано, возможно даже слишком детально, но все же :)
Да вот не могу сказать толком. С одной стороны вроде мысль есть, с другой — я так и не понял ключевую идею. Надо все же разобраться как следует. Очень напрягает то, что я так и не нашел нормального краткого описания с формулами — везде куча текста и местами псевдокод, а такое мне сложно анализировать
В этом есть кое-что специфичное: в нашей модели «сновидения» не угасают, не приводят к насыщению сети, имеют очень большой «пробег» до зацикливания (да и сами итоговые циклы устроены нетривиально), и содержат как образы, очень близкие к запомненным, так и отличающиеся от них. Не представляю себе подобную динамику у рекуррентного перцептрона — по крайней мере когда я с ними работал, у меня они в лучшем случае очень быстро уходили в весьма тривиальные циклы (а чаще просто сваливались в ноль либо насыщение)
Ну навскидку людям в целом крайне не хватает умения критически и непредвзято оценивать себя, свои действия, находить собственные ошибки и исправлять их. В лучшем случае у человека это умение может быть развито в нескольких сферах, но в остальных у него с этим будет напряженка (может исключения и бывают — но я их в своей жизни не встречал. У меня например это умение хорошо развито в области науки, но в социальных отношениях я дурак дураком)
Не осознающий себя интеллект хотя и возможен, но он будет в корне ограничен — не сможет пользоваться результатами своих собственных выводов в той мере, в какой ими пользуется осознающий себя интеллект. И ему будут недоступны в полной мере многие человеческие категории. Поэтому если мы говорим о полноценном интеллекте уровня человека, у него обязательно должно быть что-то наподобие личности — хотя эта личность может оказаться и весьма непохожей на нас (впрочем, лично я не считаю, что отличия будут кардинальными — но сейчас не хватает объективных оснований так думать).
Если это будет происходить достаточно равномерно, возможности будут расти относительно медленно, и ими будет пользоваться большое число людей — то за допустимые рамки мы не выйдем. Вот собственно ограничения такого толка и могут быть нужны, хотя я и не думаю что понадобится что-то урезать сверх естественных проблем, тормозящих развитие такой технологии
В нашем случае нет — матрицы являются решением уравнения, которое получается из того набора данных, которые мы хотим запомнить. Поэтому метод не-итерационный, а само решение уравнений для описанной мной задачи занимает порядка одной секунды на моем ноуте. Но вообще это не принципиально, то же самое можно сделать и подстройкой
Да, именно такая задача решалась в данном случае, просто в процессе ее решения оказалось, что «побочные эффекты» куда интереснее самой задачи
У сети есть один входной слой — уравнение на самом деле содержит еще один член, а именно:
S(t+1) = F( Wx X(t) + W S(t) + W1 S(t-1) +… + Wn S(t-n) ), где X(t) — внешний вход на данном такте.
Через этот вход и задается то, что сеть должна распознавать. Но обсуждаемое поведение с длинными циклами возникает как раз при нулевых входах.
Насчет перцептронов: если у рекуррентного перцептрона будет столько выходов, сколько и входов, то его динамика будет описываться такой же формулой — но при обучении перцептрона не решается уравнение на матрицы связей из соображений запоминания последовательности, ИМХО именно поэтому в них нет подобных эффеков
Слабое притяжение тут конечно играет определенную роль (при очень большом притяжении сеть могла бы только повторять одно из запомненных слов), но я бы не сказал, что такое поведение вызвано самим только фактом слабого притяжения.
>После первого шага итерации, второй применяется к следующему символу
Нет, в режиме нулевых входов, второй шаг применяется к тому, что получилось на первом
Хотя сравнить их со степенями W — очень хорошая и правильная мысль, спасибо!
Так вот — для нейросетей я не хочу приводить возражения того типа, что вот в такой и такой задачах они более-менее работают, и где-то там еще оказались полезны :)
Длина цикла от него более-менее не зависит (хотя конечно если у нас запомнен только один образ, то сеть, попав в него, никуда уже не выйдет — но в более сложной ситуации однозначной зависимости нет)
И вот несмотря на это на практике часто получается константа.
>Вопрос в том, за счет чего было получено не устойчивое состояние в системе
Ну, это более-менее ясно — если развернуть всю конструкцию в виртуальную сеть (см. ailen.org/wp-content/uploads/2012/02/Doklad_Reznik_Dziuba.pdf ) — то это ожидаемый эффект, который правда мог быть испорчен переходом от виртуальной сети к реальной, но этого не произошло.
А вот что с этим делать дальше — непонятно.