Комментарии 4
На ирисах-то что угодно дает хороший результат. А для каких реальных целей хорошо подходят ИНС?
А для каких реальных целей хорошо подходят ИНС?
Почему-то автор статьи оставил без ответа этот вопрос. Отвечу в меру собственных представлений о проблеме.
Импульсные нейронные сети обладают более биологически правдоподобными свойствами нежели обычные. Они является основой нейроморфных решений, которые обладают многими полезными свойствами.
- Намного большей энергоэффективностью в сравнении с обычными сетями, как при обучении, так и работе (1, 2, 3)
- Параллельностью, асинхронностью функционирования, т.е. поддерживают динамические режимы работы, в отличии от обычных сетей, которые реализуют статические схемы (1, 2, 3)
- Реализуют схему вычислений в памяти (1, 2)
- Поддерживают непрерывное обучение на ассоциативных (хеббовских) принципах в отличии от обучения методом обратного распространения ошибки обычных сетей (1, 2, 3, 4); реализуют байесовский подход к обучению (1, 2)
- Рекуррентны, разряжены и масштабируемы по своей природе, в отличии от тех же трансформеров в которых рекуррентность реализуется ограниченно с помощью искусственного приема. По этой причине ближе к критической (на грани хаоса и порядка) динамике нейронной активности мозга (1, 2, 3).
Обзор свойств нейроморфных систем на русском. Исходя из этих свойств решения на них более гибкие, адаптивные нежели на обычных сетях, и в практическом применении могут быть использованы в перспективе, в первую очередь, для разработки интеллектуальных агентах, включая воплощенных, включая удовлетворяющих требованиям когнитивной архитектуры (архитектуре наиболее приближенной и дружественной человеку, см. обзор истории реализаций), которые придут со временем на смену интеллектуальным ассистентам современности (обзоры перспектив нейроморфных технологий 1, 2, 3, 4). Вероятно, разные технологии искусственных НС займут разные, наиболее подходящие по возможностям, ниши. В плане исследований нейроморфные технологии позволят более адекватно моделировать структуру и функции мозга. Последнее можно проиллюстрировать результатом исследовательской разработки, в кот. для повышения эффективности обучения необходима определенная периодическая активация состояния нейроморфной сети являющееся некоторым аналогом сна у человека (науч-поп., статья). Как это можно использовать на практике, и вообще требуется реализовать, пока не совсем ясно. См. также эту ветку коментов с примером самой активирующей системы мозга.
В настоящее время над нейроморфными решениями работают многие производители микроэлектроники, см. обзор. Основная проблема, которую предстоит преодолеть деградация свойств материалов реализующих нейроморфные технологии, тех же мемристоров.
Спасибо, очень интересный пост получился!
Очень неудобно, что нужно знать максимум и минимум у фичи. Это ограничивает обучение на большом объёме данных. И что делать с категориальными фичами? Мне кажется тут должно быть что-то интереснее обычного WOE или Target Encoding
Здравствуйте! Спасибо! Представленный в статье способ кодирования очень хорошо подходит для табличных данных и задача про ирисы - просто хорошая иллюстрация. Если говорить обще, то помимо этого, существует большое количество различным методов кодирования, такие как асинхронные (например, частотное, популяционное или позиционное кодирование, бывают комбинации методов асинхронного кодирования и кодирования скорости изменения сигнала, симметричное интегро-дифференциальное кодирование), синхронные (например, интервальное, фазовое или пространственно-временное кодирование) или асинхронно-полихронный (A/P) метод кодирования информации. Касательно вопроса категориальных фичей, то тут можно использовать пространственно-временному кодированию (синхронные методы). Про методы кодирования и про конкретно категориальные переменные более подробно рассказывается, например, вот тут
Первые шаги в импульсных нейронных сетях