Тут нужно помнить, что эти мини-дирижабли годятся только для помещений, где нет более-менее сильных потоков воздуха.
Мы разрабатывали систему управления для автономного 7-метрового дирижабля, там стояли силовые установки помощнее и их едва хватало, чтобы сопротивляться слабому ветру.
Идеи интересны. Однако меня удивило утверждение, будто ученые, работающие в области AI игнорируют исследования в области нейронаук. По моему, в последнее время, эти две области очень тесно переплетаются.
Кроме того, не будем забывать, что Хокинг бизнесмен. Это очень заметно, когда начинаешь искать литературу: очень много инрервью, рекламы, разговоров. Но очень мало научных статей и ссылок в оных на его работы.
На самом деле интересных идей довольно много, но, к сожалению, мало научно-популярных книг, объясняющих эти идеи, таких как On Intelligence.
По большинству очень согласен. Для меня особо актуальной была проблема с навязыванием НР темы, которая вписывалась в ЕГО научную работу, но не казалась мне такой уж актуальной. В итоге я взял то, чем хотел заниматься и совместил это с тем, что от меня хотел НР.
А вообще почти все это есть в замечательной книге Марьяновича «ЭРРАТОЛОГИЯ или как избежать наиболее неприятных ошибок при подготовке диссертации». Книга вообще про медицинские кандидатские, но 99% там написанного относится к любым диссертациям. Я очень жалел что обнаружил эту книгу уже за 2 месяца до защиты. www.bookshunt.ru/books/erratologiya_ili_kak_izbezhat_naibolee_nepriyatnih_oshibok_pri_podgotovke_dissertacii
Спасибо за наводку. Прочитал по диагонали диссертацию тов. Dileep. (У нас бы такую совет не пропустил =)) Очень интересная штука этот HTM, в диссертации выдвигаются правильные идеи, которые мне лично уже давно не дают покоя — например, учет временных свойств изображений объектов для лучшего распознавания. Интересна комбинация цепей маркова, иерархичности, сетей доверия. Сама работа написана грамотно.
Однако, тут пока еще рано о чем-то судить. В диссертации очень мало внимания уделяется экспериментальной проверке идей. По большому счету там 150 стр. теории и 5 страниц результатов экспериментов, хотя по нормальному должно быть хотя бы 80%-20%. Более того автор приводит некую свою довольно примитивную базу бинарных изображений, показывает, что качество распознавания на тестовом множестве составило 57% (что не очень хорошо). И сравнивает результат с nearest-neighbour классификатором, т.е. одним из простейших.
Тут можно сказать, что софт реализующий распознавание более сложных объектов реализован и лежит на сайте, но как раз о нем никаких статей и сравнений качества распознавания применяемых там алгоритмов я не нашел.
Возможно я чего-то не знаю. Если у вас есть ссылки на другие статьи по использованию HTM в задачах распознавания, буду рад их получить.
Зависимость сложности и производительности суперкомпьютеров нелинейна. Поэтому не следует считать, что чтобы сделать суперкомпьютер равный по производительности например IMB Blue Gene, достаточно просто поставить рядом несколько десятков таких системных блоков. Как уже отметили выше, появляются проблемы с памятью, дисковым пространством, синхронизацией.
По статьям на которые ссылается гугл понятно, что разработка еще очень сырая. Если создали систему распознавания, да еще и с хорошими результатами, покажите это на всеми используемых базах MNIST, Caltech. В статьях же идет сравнение работы алгоритма на своей базе, указывается что он лучше чем AdaBoost, хотя AdaBoost не самый лучший метод.
Но тем не менее направление весьма интересное, будем следить за продолжением.
То, что вы сказали коротко и емко отражено в популярном у технарей афоризме о том, что дураков в последнее время стали называть или альтернативно одаренными или с гуманитарным складом ума.
У самого был такой вопрос, выбрал науку. Недавно защитился. Но мне видимо повезло. Во-первых у меня техническая специальность и плотное занятие наукой не отдалило меня от программирования. А во-вторых постоянные контракты на выполнение НИОКРов дали заработок, бесценный опыт разработки продукции с нуля, экстремального программирования и даже тим лида. Так что, может вам пойти в науку, но не в физику, а, допустим, в Machine Learning.
по поводу такого же ресурса по разным специальностям идея хорошая, но, к сожалению, утопичная. ИМХО, сегодня, 90% в написании и защите успешной кандидатской диссертации, это как раз грамотно поставленная и актуальная задача
Спасибо. Одна из моих любимых тем. Читал популяризаторские книги Пенроуза, Хокинга. Ваша статья написана очень хорошо с точки зрения разъяснения непрофессионалу. Прочитал на одном дыхании и все понял.
Да, есть такие проблемы и есть трюки чтобы их избегать. Очень важно здесь обеспечить линейное функционирование сети на первых шагах обучения. Это обычно достигается за счет правильной инициализации весов и предобработки входов.
Для вас важно именно кластеризовать? Потому что если вам в дальнейшем все равно нужно его распознавать, то можно использовать space displacement convolutional network. По сути это то же, о чем я написал, только окошко размером 32х32 гоняется по всему изображению и у нас для каждого его участка получается вектор, который сообщает, какова вероятность, что на этом месте есть буква, и какая эта буква. Эти вероятности уже можно использовать для дальнейшего анализа.
Имеются ввиду сложные многомерные функции. С одной стороны SVM, являющийся по сути механизмом взвешенного сравнения с шаблоном, а с другой стороны «глубокие архитектуры», одним из частных случаев которых являются нейронные сети. Почитать об этом можно, например, здесь Hinton, G. E., Osindero, S. and Teh, Y. (2006) A fast learning algorithm for deep belief nets. Neural Computation, 18, pp 1527-1554.
В т.н. глубоких архитектурах низкоуровневые признаки объединяются в высокоуровневые абстрактные представления. Для SVM при определенном усложнении задачи наступает проклятье размерности — их становится просто не выгодно использовать.
Да, на счет SVM вы правы, но это все же shallow-архитектура (поверхностная). Линейная комбинация нелинейных ядер, как в SVM, не даст возможности обучения глубоким иерархиям.
На русском языке по использованию RBF в распознавании изображений я ничего не видел. Да и вообще мало чего есть современного в этой области на русском. В качестве примера могу предложить статью Y. LeCun, L. Bottou, Y. Bengio and P. Haffner: Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 86(11):2278-2324, November 1998.
Радиальные базисные сети редко используются самостоятельно в задачах распознавания изображений. Их обычно ставят на выходе. Смысл их можно приблизительно пояснить следующим сравнением: если функции активации такие как линейная, логистическая, тангенциальная и другие делят гиперпространство гиперплоскостью (читать как делят плоскость на две области прямой), то радиальные базисные функции активации делят гиперпространство на «внутри сферы» и «вне сферы», что в задачах классификации часто бывает полезно.
Мы разрабатывали систему управления для автономного 7-метрового дирижабля, там стояли силовые установки помощнее и их едва хватало, чтобы сопротивляться слабому ветру.
Кроме того, не будем забывать, что Хокинг бизнесмен. Это очень заметно, когда начинаешь искать литературу: очень много инрервью, рекламы, разговоров. Но очень мало научных статей и ссылок в оных на его работы.
На самом деле интересных идей довольно много, но, к сожалению, мало научно-популярных книг, объясняющих эти идеи, таких как On Intelligence.
А вообще почти все это есть в замечательной книге Марьяновича «ЭРРАТОЛОГИЯ или как избежать наиболее неприятных ошибок при подготовке диссертации». Книга вообще про медицинские кандидатские, но 99% там написанного относится к любым диссертациям. Я очень жалел что обнаружил эту книгу уже за 2 месяца до защиты. www.bookshunt.ru/books/erratologiya_ili_kak_izbezhat_naibolee_nepriyatnih_oshibok_pri_podgotovke_dissertacii
Однако, тут пока еще рано о чем-то судить. В диссертации очень мало внимания уделяется экспериментальной проверке идей. По большому счету там 150 стр. теории и 5 страниц результатов экспериментов, хотя по нормальному должно быть хотя бы 80%-20%. Более того автор приводит некую свою довольно примитивную базу бинарных изображений, показывает, что качество распознавания на тестовом множестве составило 57% (что не очень хорошо). И сравнивает результат с nearest-neighbour классификатором, т.е. одним из простейших.
Тут можно сказать, что софт реализующий распознавание более сложных объектов реализован и лежит на сайте, но как раз о нем никаких статей и сравнений качества распознавания применяемых там алгоритмов я не нашел.
Возможно я чего-то не знаю. Если у вас есть ссылки на другие статьи по использованию HTM в задачах распознавания, буду рад их получить.
Но тем не менее направление весьма интересное, будем следить за продолжением.
В т.н. глубоких архитектурах низкоуровневые признаки объединяются в высокоуровневые абстрактные представления. Для SVM при определенном усложнении задачи наступает проклятье размерности — их становится просто не выгодно использовать.
Радиальные базисные сети редко используются самостоятельно в задачах распознавания изображений. Их обычно ставят на выходе. Смысл их можно приблизительно пояснить следующим сравнением: если функции активации такие как линейная, логистическая, тангенциальная и другие делят гиперпространство гиперплоскостью (читать как делят плоскость на две области прямой), то радиальные базисные функции активации делят гиперпространство на «внутри сферы» и «вне сферы», что в задачах классификации часто бывает полезно.