Считается усреднением. Т.е. если подходить к вопросу классически как в полносвязной сети, то для каждого разделяемого веса у вас будет получаться множество ошибок. Вычисляем среднее и получаем ошибку для данного разделяемого веса в ядре. Смысл введенного ограничения на веса — способности к обобщению, усреднение градиентов именно к этому и ведет. Веса становятся инвариантны к локальным особенностям изображения и лучше реагируют на независимые фичи.
Судя по прочитанному в комментариях, для ноутбуков самой лучшей будет разделение на 2 класса «замена домашнему» и «командировка». Мой относится ко второму типу и наиглавнейшим фактором в нем будет время автономной работы и на втором месте вес и габариты. Все остальное уже менее важно.
Это из за проблем с макхостом. Обещают восстановить в ближайшие дни.
А вообще конечно не буду больше imagehost использовать, у них и до этого проблемы были.
Интересный факт. Иностранных студентов там принимают предпочтительно по IELTS, т.е. TOEFL уже даже в штатах теряет позиции.
«Accepted test formats: IELTS (preferred) and TOEFL.»
Вообще судя по многочисленным топикам по образованию и научно-популярных статей, многие, как и я работают в науке/образовании.
И ни один пункт не подходит. Т.к. с IT мы связаны довольно тесно, но не относимся ни к одной категории.
*Вспоминая статью о том, что обезьянки обыграли 90% профессиональных трейдеров.
Какой по вашему процент (случайность/профессионализм) для среднестатистического трейдера?
На самом деле о мозге уже довольно многое известно. И как я уже писал СНС — это аналогия так называемых сложных и простых клеток в зрительной головного мозга. Еще один успешно примененный на практике инструмент, созданный на основе знаний сложных и простых клетках — это фильтры Габора.
Возвращаясь к сути вопроса, самосознание — это всего лишь более полная модель внешнего мира.
Как работает обученная сверточная сеть? На вход подаем изображение, после первого слоя у нас картина довольно ясная — это карты признаков, отфильтрованные, различными фильтрами. Т.е. где-то выделены контура, где-то углы и т.д. Но чем дальше проходишь от слоя к слою, тем менее понятным становится выход. По мне так это и есть рождение абстрактного образа, который уже трудно напрямую связать с реальностью. А чем наше самосознание не является оперированием такими вот образами, только с еще гораздо более высокой степенью абстракции и стоящих значительно выше в этой иерархии.
Хотя, конечно, хочется верить, что мы не просто какая-то нейросеть.
Да, но то что вы сказали правильно для свертки в классическом понимании этого слова. Т.е. последовательно, фрагмент за фрагментом. Вы считаете, что в мозгу Фоннеймановская архитектура? =)
Я думаю что все максимально распаралелено.
Если сравнивать буквально — то не имеет. Если концептуально — то имеет. Поясню. Трудно представить, чтобы синапсы различных нейронов как-то синхронизировались между собой. С другой стороны известно, что мозг пытается выделять наиболее общие признаки и из них уже строить признаки следующего уровня иерархии. В этом смысле разделяемые веса заставляют сеть обучатся не частностям, а наиболее общим признакам.
Можно конечно определенным образом многократно продублировать разделяемые веса так, чтобы получился полносвязный слой (развертка). Но далее нужен субдискретизирующий слой, а к тому же при первом же проходе обратного распространения ошибки эффект разделяемых весов исчезнет.
1. В отличие от предыдущей статьи здесь пока не ставилась практическая задача. Это больше вступление, для следующей части.
Если говорить о теории Machine Learning, то там задача путем обучения построить модель мира, иерархию признаков. Это так называемая глубокая архитектура, которую однослойная НС уже не в состоянии воссоздать.
2. Если вы говорите о полносвязных сетях, то их, как я написал в статье, толком и не научились обучать (3 слоя имелось ввиду с входным и выходным). Поэтому особо нигде. Если говорить об СНС, в которых обычно 6-10 слоев, то могу привести массу примеров, в том числе и коммерчески успешных. Например, в штатах около 10% всех банковских чеков обрабатывается СНС.
И еще. Я не утверждаю, что обычные многослойные нейросети способны решить поставленную задачу. Напротив, в следующей статье постараюсь рассказать, как с этими задачами пытаются справиться Autoencoders, Restricted Boltzman Machines, Energy Based Learning. (назвал все на языке оригинала, чтобы легче было найти)
Как только будет ответ на поставленный вопрос, считайте, что ИИ создан. Я лишь пояснил как научное сообщество пытается продвигаться в этом направлении, и какие идеи для приближения этого реализованы в СНС.
Т.е. я хочу сказать, что речь не просто в том, чтобы распознать, что это человек. Это вполне реально уже сегодня. Речь о том, чтобы система смогла самостоятельно выстроить глубокую иерархию абстрактных образов, начиная с самых низших и заканчивая самыми высшими.
С научной точки зрения — идеал, это создать систему которая могла бы обучиться всему, чему может обучиться человек. И любое усовершенствование в этом направлении трудно будет назвать костылем. Это самая что ни на есть теория. А костыли — это обычно удел практики.
Я сам считаю, что на сегодняшний день для задач ранжирования лучше SVM (который тоже можно считать особой нейросетью) ничего не справляется.
А вообще, я не специалист, но разве данные, которые входят в формулу ранжирования, используемую Яндексом не общеизвестны?
Если же не известна сама формула, то имея опытные данные можно восстановить с некоторой точностью эту формулу с помощью НС, и опытным путем определить какие входы как влияют.
Поясню на таком примере. Пусть у нас не нейросеть, а некий фильтр. Суть фильтра, допустим в выделении вертикальных линий. Очевидно, что если пропустить все изображение через такой фильтр, то на выходе останутся в основном вертикальные линии и все, что из них можно составить. Другими словами это будет карта признаков, а собственно признаком является вертикальная линия.
По второй части комментария. Я понимаю о чем вы говорите. НС выглядит не очень подходящей для задач, в которых нужен какой-то логический вывод, составление плана и т.д. Но с другой стороны если существуют НС, способные генерировать траектории, то почему не может быть НС, способных генерировать план действий.
А вообще конечно не буду больше imagehost использовать, у них и до этого проблемы были.
«Accepted test formats: IELTS (preferred) and TOEFL.»
И ни один пункт не подходит. Т.к. с IT мы связаны довольно тесно, но не относимся ни к одной категории.
Какой по вашему процент (случайность/профессионализм) для среднестатистического трейдера?
Возвращаясь к сути вопроса, самосознание — это всего лишь более полная модель внешнего мира.
Как работает обученная сверточная сеть? На вход подаем изображение, после первого слоя у нас картина довольно ясная — это карты признаков, отфильтрованные, различными фильтрами. Т.е. где-то выделены контура, где-то углы и т.д. Но чем дальше проходишь от слоя к слою, тем менее понятным становится выход. По мне так это и есть рождение абстрактного образа, который уже трудно напрямую связать с реальностью. А чем наше самосознание не является оперированием такими вот образами, только с еще гораздо более высокой степенью абстракции и стоящих значительно выше в этой иерархии.
Хотя, конечно, хочется верить, что мы не просто какая-то нейросеть.
Я думаю что все максимально распаралелено.
Если говорить о теории Machine Learning, то там задача путем обучения построить модель мира, иерархию признаков. Это так называемая глубокая архитектура, которую однослойная НС уже не в состоянии воссоздать.
2. Если вы говорите о полносвязных сетях, то их, как я написал в статье, толком и не научились обучать (3 слоя имелось ввиду с входным и выходным). Поэтому особо нигде. Если говорить об СНС, в которых обычно 6-10 слоев, то могу привести массу примеров, в том числе и коммерчески успешных. Например, в штатах около 10% всех банковских чеков обрабатывается СНС.
И еще. Я не утверждаю, что обычные многослойные нейросети способны решить поставленную задачу. Напротив, в следующей статье постараюсь рассказать, как с этими задачами пытаются справиться Autoencoders, Restricted Boltzman Machines, Energy Based Learning. (назвал все на языке оригинала, чтобы легче было найти)
Т.е. я хочу сказать, что речь не просто в том, чтобы распознать, что это человек. Это вполне реально уже сегодня. Речь о том, чтобы система смогла самостоятельно выстроить глубокую иерархию абстрактных образов, начиная с самых низших и заканчивая самыми высшими.
А вообще, я не специалист, но разве данные, которые входят в формулу ранжирования, используемую Яндексом не общеизвестны?
Если же не известна сама формула, то имея опытные данные можно восстановить с некоторой точностью эту формулу с помощью НС, и опытным путем определить какие входы как влияют.
По второй части комментария. Я понимаю о чем вы говорите. НС выглядит не очень подходящей для задач, в которых нужен какой-то логический вывод, составление плана и т.д. Но с другой стороны если существуют НС, способные генерировать траектории, то почему не может быть НС, способных генерировать план действий.