«The echo state network (ESN)[1][2] is a type of reservoir computer that uses a recurrent neural network with a sparsely connected hidden layer (with typically 1% connectivity). The connectivity and weights of hidden neurons are fixed and randomly assigned.»
Да видел, спасибо. Возможно, как не раз бывало в истории науки, междисциплинарный подход поможет выработать более компактную модель мира и эволюционные биологи, программисты помогут физикам найти нужное правило на графах, а математики с физиками подскажут биологам как работает эволюция сложных систем.
Подскажите пожалуйста, 10 лет назад я наткнулся на вот это ЖЖ: muha-a.livejournal.com/694.html («Клеточный автомат 37R и законы физики») — это не ваш случайно?
И в мыслях не было. Но, кстати, надеюсь помог Вам уточнить и условия Вашей задачи. Мне кажется это понимание будет смутным, если полагать, что распознование формы это прерогативатолько человека. А то получится как раньше «Сейчас мы сделаем общий ИИ, для этого надо чтобы он смог приблизился к человеку в игре в шахматы… ой, в игру Го… ой, решал задачу машинного перевода… ой, распознавал кошек и собак… ой, различал форму».
Да, диван тоже вспомнился. Согласен, датасет и аугментация (таже стилизация) лишь смягчают проблему игнорирования формы… и вращения. И Хинтон мотивируя работу над архитектурой капсульных сетей пытается моделировать композицию объектов («рот», «глаз», «нос») — их относительного расположения и ориентации — в нечто целое («лицо») и это целое в свою очередь может быть частью чего-то другого.
А ещё это только обычные, приземлённые и недалёкие человеки воспринимают форму фильтруя текстуру, а вот продвинутые творчески одарённые люди смотрят на мир как раз в режиме BagNet :-), что весело обыграно в кинофильме «Приключения принца Флоризеля»" (link)
Задача — решить задачу :-), можно даже хуже человека, зато дешевле и быстрей.
Я был бы рад что-то сделать даже с интеллектом кошки, которые, уверен способны различать формы и имеют в голове модель мира и объектов его населяющих пусть и не такую совершенную как у большинства людей. Роботы и дроны с интеллектуальными возможностями кошачих уже зрелищно решат большой спектр задач.
Кстати, свёрточные слои были вдохновлены экспериментами на мозгах как раз кошек. Может у них ещё что есть подсмотреть? Например, может не случайно правое полушарие обрабатывает детали образа, а левое полушарие отвечает за абстракции. Просто разговоры о том, чтобы сделать «интеллект как у людей» с середины прошлого века ещё шли и иногда заводили не совсем туда (экспертные системы, тот ещё механистический машинный перевод и тп.) излишне зацикливаясь на человеке. А «кошачий» deep learning «взлетел».
А может и не так уж и плохо, на текстуры реагировать? Лучше ошибиться и в панике отскочить от предмета, текстура которого напоминает слона (бенгальского тигра), чем переваривать внутренними слоями нейронной сети форму. :-)
Возможно. Но скорее всего просто разный горизонт планирования и чёткой границы между животными и людьми нет. Глядя на некоторых людей, кстати, сомневаюсь что они прогнозирут что с ними произойдёт через год или через 10 лет.
Мне кажется, никаких особенных диформизмов у дата сайнтистов нет — многое из того что Вы описали похоже на обычные привычки хороших учёных с их «научным методом», когда полезная научная теория проверяеется экспериментом, а при прочих равных бритвой Оккама выбирается наиболее вероятная.
Правда, по себе могу судить о как минимум трёх развитых привычек больше подходящих для датасайнтиста или датаинжинера или учёного-эксперементатора:
1. В исходных данных всегда есть глюки, как бы нас не заверяли в обратном их поставщики. и чем больше наблюдений, тем все более невероятные случаи там зарегистрированы.
2. Если эксперимент показывает слишком высокие значения метрик — значит где-то ошибка, дата лик или оверфит.
3. Лучше 3 дня потраить на проверку (сприпт извлечения) исходных данных, чем через месяц выяснить, что модель училась совсем не тому.
«человеку нужна модель окружающего мира, адекватно решающая его текущие задачи.»
Почему только человеку? Животным тоже надо. В процессе эволюции от скинноровских созданий как минимум до попперовких дошли (http://www.psylib.ukrweb.net/books/dennd01/txt04.htm)
Речь не совсем об этом. Речь о предобучении нижнего слоя, выход из которого можно рассматривать как преобразованные (перекодированные) исходные данные.
2. Насчёт «сильно» и «улучшить», покажет только эксперимент, да и результаты будут зависить от датасета/задачи.
Интуитивно кажется, что таким образом можно «поймать» слова-синонимы, часть которых отсутствует в обучающей выборке, но присутствует в целевом множестве (будущие твиты) и, наверняка, в неразмеченном большом датасете. Полагаю, что слова синонимы будут близко расположены в векторном пространстве.
Про использование предобученного на неразмеченном датасете нижнего слоя конкретно в задаче анализа тональности текста статей не припоминаю, но у ЛеКуна в уже прошлогодней статье Text understanding from Scratch описана попытка расширить текстовый корпус (data augmentation) заменой синонимов из тезауруса. Кстати, в статье изложен любопытный способ обработки текста — текст перекодируют с уровня символов (а не слов!) в изображения, а уж к ним применяют хорошо себя зарекомендовавшую в задачах обработки изображений свёрточную сеть.
Конечно, лексика, грамматика и образы «твиттерного мышления» нексколько отличаются от таковых в развёрнутых текстах. Но… вопрос, насколько.
1. >«Результат предсказания сетки мы сравнивали с обыкновенной логистической регрессией, которая показывала [...] примерно те же самые 75%, но при использовании tf-idf для биграмм.»
Ну а так как «принципы действия» этих методов (RNN и bags of bigrams) несколько различаются и они дают не совсем коррелированные предсказания, то при объединении их в ансамбль результат предсказания скорее всего можно заметно улучшить
Скорее всего Вы уже читали статью Миколова и Ко по этому поводу: Ensemble of Generative and Discriminative Techniques for Sentiment Analysis of Movie Reviews Там же есть ссылка (Baselines and Bigrams: Simple, Good Sentiment and Topic Classification) на то, что достаточно простые модели (bags of n-grams + Naive Bayes, SVM и даже NB-SVM) на некоторых датасетах показывают таки лучшие результаты по сравнению с различными вариантами RCC.
2.
>«обучающая выборка была всё-таки маловата (по-честному для такой сети нужно не меньше 1 млн твитов обучающей выборки)»
А вы не пробовали предобучить Embedding слой на не размеченных (т.е. более доступных) данных? Или воспользоваться готовыми обученными моделями типа Word2Vec? Интуитивно кажется, что требования к размеру обучающей выборки тогда ослабеют.
По поводу «ориентационной карты».
Нечто похожее получается у ЛеКуна (http://www.frontiersincomputervision.com/slides/FCV_Learn_LeCun.pdf) при обучении свёрточных нейронных сетей на массиве изображений.
И алгоритм свёрточных сетей не сказать что бы уж очень сложен
Да, согласен, что рассуждения в статье базирующиеся на оценке дельты количества генетической информации и остальные — немного наивны и неправомерны.
Просто Ваше утверждение правильнее было бы сформулировать так: количество «Генетической информации» на прямую не соответствует количеству информации необходимой для описания архитектуры мозга.
Утверждение же "«Генетическая информация» не описывает никакую архитектуру в принципе." ложно в принципе.
Отсюда и реакция buriy
Аналогия: размер листинга программы в байтах не имеет прямой корреляции с количеством данных на выходе программы, измеренным в байтах. Но программа может описывать выходные данные (особенно если исключить входные данные включая данные с датчика случайных чисел — тогда описание будет однозначным)
В общем-то это очевидно, но счёл нужным обратить внимание.
Привет. Ссылка на исходники указана в UPD2. Уже тогда несколько продвинулся дальше и «рожаю» с помощью генетического алгоритма новые «виды», но на это планируется (уже который год) отдельная статья
Для обучающей выборки мы использовали открытый набор данных с сайта www.kaggle.com, а именно, набор включающий в себя данные из 50000 обзоров фильма из сайта IMDB, специально отобранных для анализа тональности.
В этой TED-пятиминутке рассказывается о стартапчике, который нацелился радикально снизить стоимость сканирования сетчатки. Примерно с с 2:50 показано, как на 3D принтере печатают оптичесукю насадку на смартфон и демонстрируют процесс и результат сканирования. www.ted.com/talks/andrew_bastawrous_get_your_next_eye_exam_on_a_smartphone?language=en
Статья 2010 года: www.ai.rug.nl/minds/uploads/EchoStatesTechRep.pdf
en.wikipedia.org/wiki/Echo_state_network
«The echo state network (ESN)[1][2] is a type of reservoir computer that uses a recurrent neural network with a sparsely connected hidden layer (with typically 1% connectivity). The connectivity and weights of hidden neurons are fixed and randomly assigned.»
Я был бы рад что-то сделать даже с интеллектом кошки, которые, уверен способны различать формы и имеют в голове модель мира и объектов его населяющих пусть и не такую совершенную как у большинства людей. Роботы и дроны с интеллектуальными возможностями кошачих уже зрелищно решат большой спектр задач.
Кстати, свёрточные слои были вдохновлены экспериментами на мозгах как раз кошек. Может у них ещё что есть подсмотреть? Например, может не случайно правое полушарие обрабатывает детали образа, а левое полушарие отвечает за абстракции. Просто разговоры о том, чтобы сделать «интеллект как у людей» с середины прошлого века ещё шли и иногда заводили не совсем туда (экспертные системы, тот ещё механистический машинный перевод и тп.) излишне зацикливаясь на человеке. А «кошачий» deep learning «взлетел».
Правда, по себе могу судить о как минимум трёх развитых привычек больше подходящих для датасайнтиста или датаинжинера или учёного-эксперементатора:
1. В исходных данных всегда есть глюки, как бы нас не заверяли в обратном их поставщики. и чем больше наблюдений, тем все более невероятные случаи там зарегистрированы.
2. Если эксперимент показывает слишком высокие значения метрик — значит где-то ошибка, дата лик или оверфит.
3. Лучше 3 дня потраить на проверку (сприпт извлечения) исходных данных, чем через месяц выяснить, что модель училась совсем не тому.
По поводу построения моделей других людей: естесственный путь эволюции управляющей системы. Ссылка в тему: www.facebook.com/sergey.karelov.5/posts/2123155404386805
Почему только человеку? Животным тоже надо. В процессе эволюции от скинноровских созданий как минимум до попперовких дошли (http://www.psylib.ukrweb.net/books/dennd01/txt04.htm)
2. Насчёт «сильно» и «улучшить», покажет только эксперимент, да и результаты будут зависить от датасета/задачи.
Интуитивно кажется, что таким образом можно «поймать» слова-синонимы, часть которых отсутствует в обучающей выборке, но присутствует в целевом множестве (будущие твиты) и, наверняка, в неразмеченном большом датасете. Полагаю, что слова синонимы будут близко расположены в векторном пространстве.
Про использование предобученного на неразмеченном датасете нижнего слоя конкретно в задаче анализа тональности текста статей не припоминаю, но у ЛеКуна в уже прошлогодней статье Text understanding from Scratch описана попытка расширить текстовый корпус (data augmentation) заменой синонимов из тезауруса. Кстати, в статье изложен любопытный способ обработки текста — текст перекодируют с уровня символов (а не слов!) в изображения, а уж к ним применяют хорошо себя зарекомендовавшую в задачах обработки изображений свёрточную сеть.
Конечно, лексика, грамматика и образы «твиттерного мышления» нексколько отличаются от таковых в развёрнутых текстах. Но… вопрос, насколько.
1.
>«Результат предсказания сетки мы сравнивали с обыкновенной логистической регрессией, которая показывала [...] примерно те же самые 75%, но при использовании tf-idf для биграмм.»
Ну а так как «принципы действия» этих методов (RNN и bags of bigrams) несколько различаются и они дают не совсем коррелированные предсказания, то при объединении их в ансамбль результат предсказания скорее всего можно заметно улучшить
Скорее всего Вы уже читали статью Миколова и Ко по этому поводу: Ensemble of Generative and Discriminative Techniques for Sentiment Analysis of Movie Reviews Там же есть ссылка (Baselines and Bigrams: Simple, Good Sentiment and Topic Classification) на то, что достаточно простые модели (bags of n-grams + Naive Bayes, SVM и даже NB-SVM) на некоторых датасетах показывают таки лучшие результаты по сравнению с различными вариантами RCC.
2.
>«обучающая выборка была всё-таки маловата (по-честному для такой сети нужно не меньше 1 млн твитов обучающей выборки)»
А вы не пробовали предобучить Embedding слой на не размеченных (т.е. более доступных) данных? Или воспользоваться готовыми обученными моделями типа Word2Vec? Интуитивно кажется, что требования к размеру обучающей выборки тогда ослабеют.
Нечто похожее получается у ЛеКуна (http://www.frontiersincomputervision.com/slides/FCV_Learn_LeCun.pdf) при обучении свёрточных нейронных сетей на массиве изображений.
И алгоритм свёрточных сетей не сказать что бы уж очень сложен
Просто Ваше утверждение правильнее было бы сформулировать так: количество «Генетической информации» на прямую не соответствует количеству информации необходимой для описания архитектуры мозга.
Утверждение же "«Генетическая информация» не описывает никакую архитектуру в принципе." ложно в принципе.
Отсюда и реакция buriy
Аналогия: размер листинга программы в байтах не имеет прямой корреляции с количеством данных на выходе программы, измеренным в байтах. Но программа может описывать выходные данные (особенно если исключить входные данные включая данные с датчика случайных чисел — тогда описание будет однозначным)
В общем-то это очевидно, но счёл нужным обратить внимание.
word2vec-nlp-tutorial Data
Дело в том, что на форуме сразу была поднята тема, что простенькая (shallow) линейная регрессия на Bags of words (tfidf) без всякого Word2Vec достигает 0,95 accuracy
www.kaggle.com/c/word2vec-nlp-tutorial/forums/t/11261/beat-the-benchmark-with-shallow-learning-0-95-lb
Если мне не изменяет память, на десктопе считалось не так уж и долго (минуты или десятки минут)
(А вот на рецензиях Rotten Tomates www.kaggle.com/c/sentiment-analysis-on-movie-reviews где оценивается каждая фраза рекордный результат не больше 80% )
Или речь идёт о другом датасете?
www.ted.com/talks/andrew_bastawrous_get_your_next_eye_exam_on_a_smartphone?language=en