Я, разумеется, писал об обратных связях и при обучении, и при работе, странно, что из текста статьи это неочевидно — у меня нет ни слова о разделении этих режимов. Как вы себе вообще представляете обратные связи, которые мы учим, но отключаем при работе? Какой в них смысл тогда, зачем их учить?
Да, правильно обучить — не очень легко, чтобы заново вывести формулы для обучения рекуррентного перцептрона по методу RTRL, без многократной развертки сети во времени (как в методе BPTT), я потратил недели две (не смог найти их описанными достаточно подробно для программной реализации), на то, чтобы их улучшить, у меня ушло полгода. Над созданием метода обучения динамической ассоциативной памяти по псевдоинверсному алгоритму, мы работали почти год.
Но я со всей ответственностью утверждаю, что эти архитектуры работают. И если динамчиеская ассоциативная память еще не пригодна для практических применений, слишком много ограничений нам пришлось ввести при ее создании, то рекуррентный перцептрон популярен уже десятки лет, и для задач управления дает результаты, недостижимые при использовании обычного перцептрона без обратных связей. Даже простейшие эксперименты, которые при должном навыке можно провести за полчаса, доказывают это.
К сожалению, я с этой идеей не знаком. Беглый поиск в инете дал только самые общие сведения — и я в принципе разделяю точку зрения, что в процессе мышления очень большую роль играют ассоциативные связи, переход активности от одного понятия к другому — но это общая мысль. А то, в какой степени она будет работать, зависит от конкретики при реализации — и на эту тему я ничего не нашел, увы. Так что сказать что-либо определенное не могу.
Хм… Я подумаю на эту тему. Проблема в том, что я занимаюсь в основном исследовательскими задачами, а те прикладные, которые иногда попадаются, решаются без сетей (к сожалению, такие уж они по своей сути, нейросети там не к месту).
А, ну если так — то можно конечно, но тогда это уже довольно-таки похоже на градиентный спуск. Мы идем по градиенту (т.к. берем линейное приближение), но только не на малый шаг, а сразу в предполагаемый оптимум. Потом повторяем процесс, и так до победы. Правда, могут быть баги с плохой сходимостью — но наверное авторы метода этот процесс исследовали, и как-то их побороли.
Предположение о линейной зависимости выхода сети от выхода нейрона — очень сильное, в общем случае неверное, и имеет какой-то смысл только для перцептронов с малым числом слоев. Возможно, при таком допущении можно получить довольно неплохое начальное состояние сети, но для достижения оптимума нужно двигаться дальше по градиенту.
Т.е. смысл такого метода — ускорить обучение (что, возможно, в некоторых задачах будет полезным), но улучшения качества результата обучения тут ожидать вроде не приходится.
Они действительно очень интересны для распознавания изображений, а вот об их успехах в других областях я не слышал…
Вообще о них конечно тоже стоит написать — но я с ними пока не работал и не разбирался толком, так что это на будущее.
Разбивать капчу на символы — в принципе можно поломать голову над какой-то специфической архитектурой для этого дела, но ИМХО это не будет эффективно — проще как следует поработать над обычным алгоритмом для такого разбиения. Равно как и для построения признаков распознавания — выделить прямые, их пересечения, закругления всяческие — это лучше не сетью, а вот из такого набора признаков определить, что за буква — тут уже нейросеть будет полезна, и сэкономит время.
Хотя можно построить полноценную систему компьютерного зрения на нейросетях (я себе довольно отчетливо представляю как, но, к сожалению не могу гарантировать, что будет хорошо работать) — но капча тут будет очень незначительным побочным результатом :)
Мы сейчас PIC18f осваиваем. Поначалу были мысли в сторону готовых плат, но подумали — и решили, что лучше ориентироваться на будущее. Т.к. уже в текущем проекте (двуногий робот) судя по всему 2 контроллера понадобится, плюс дочке робоквада проапгрейдить хочется, да и вообще применений миллион :)
Время конечно уходит — технических деталей много, централизованной информации мало, людей на это вообще нет, один студент два раза в неделю приходит, да я ему два раза в месяц помогаю — но результат, судя по всему, того стоит. По крайней мере мигать диодами по команде через юсб уже научились :) Сервомашинки в ближайшее время тоже подключим. На очереди вопрос о беспроводном модуле…
С осциллографом очень рекомендую подружиться. Простейший по сути прибор (берет напряжение на входе, и рисует его на экране по оси Y, откладывая по оси X время), который незаменим при отладке чего-либо частотного.
Ну, для начала неплохо бы научиться распознавать голос как следует (для чего, в свою очередь, неплохо бы научиться хорошо распознавать фонемы, и выбирать такие запомненные подпоследовательности фонем, которые ближе всего к услышанным). Потому как многие за это брались, но до ума никто не довел. А прикрутить переводчик — дело нехитрое.
Нет, я всего лишь связал время появления минуса у себя со временем, когда появились минусы к комментариям моего оппонента (которые то ли были восприняты как минусы от меня, несмотря на мою карму, то ли просто испортили настроение), и предположил, что раз мои комментарии никто не минусует, то это что-то более личное — а заинтересованное лицо тут одно.
Вот именно, что для меня есть разница, жадный мой партнер, или нет, и вообще мне есть дело до того, какой он человек.
Потому что моя цель — не получить максимум денег, а привести мир к наилучшему состоянию. Да, с помощью денег я могу сделать многое. Но деньги — это средство для достижения цели, и если я могу за малые деньги (1 рубль например) получить серьезный результат (популярно продемонстрировать, почему жадность приводит к плохим результатам) — я это непременно сделаю.
В случае же, если я чиновник, и не выполняю свою работу честно, чтобы за это получить много денег — то я ухудшаю состояние мира, причем наверняка больше, чем смогу улучшить за полученные таким путем деньги.
Да, правильно обучить — не очень легко, чтобы заново вывести формулы для обучения рекуррентного перцептрона по методу RTRL, без многократной развертки сети во времени (как в методе BPTT), я потратил недели две (не смог найти их описанными достаточно подробно для программной реализации), на то, чтобы их улучшить, у меня ушло полгода. Над созданием метода обучения динамической ассоциативной памяти по псевдоинверсному алгоритму, мы работали почти год.
Но я со всей ответственностью утверждаю, что эти архитектуры работают. И если динамчиеская ассоциативная память еще не пригодна для практических применений, слишком много ограничений нам пришлось ввести при ее создании, то рекуррентный перцептрон популярен уже десятки лет, и для задач управления дает результаты, недостижимые при использовании обычного перцептрона без обратных связей. Даже простейшие эксперименты, которые при должном навыке можно провести за полчаса, доказывают это.
Т.е. смысл такого метода — ускорить обучение (что, возможно, в некоторых задачах будет полезным), но улучшения качества результата обучения тут ожидать вроде не приходится.
Вообще о них конечно тоже стоит написать — но я с ними пока не работал и не разбирался толком, так что это на будущее.
Я конечно дико извиняюсь, но среди описанных мной архитектур как минимум 2я и 3я даже в моем кратчайшем изложении очевидно содержат обратную связь.
Хотя можно построить полноценную систему компьютерного зрения на нейросетях (я себе довольно отчетливо представляю как, но, к сожалению не могу гарантировать, что будет хорошо работать) — но капча тут будет очень незначительным побочным результатом :)
Время конечно уходит — технических деталей много, централизованной информации мало, людей на это вообще нет, один студент два раза в неделю приходит, да я ему два раза в месяц помогаю — но результат, судя по всему, того стоит. По крайней мере мигать диодами по команде через юсб уже научились :) Сервомашинки в ближайшее время тоже подключим. На очереди вопрос о беспроводном модуле…
Потому что моя цель — не получить максимум денег, а привести мир к наилучшему состоянию. Да, с помощью денег я могу сделать многое. Но деньги — это средство для достижения цели, и если я могу за малые деньги (1 рубль например) получить серьезный результат (популярно продемонстрировать, почему жадность приводит к плохим результатам) — я это непременно сделаю.
В случае же, если я чиновник, и не выполняю свою работу честно, чтобы за это получить много денег — то я ухудшаю состояние мира, причем наверняка больше, чем смогу улучшить за полученные таким путем деньги.