В машинном обучении этим сейчас занимаются в разделе imitation learning. Вот, например, интересная статья про подход к этой задаче через соревнующиеся сети — https://openreview.net/pdf?id=B16dGcqlx. Это без учителя, чисто «инстинктивная» имитация действий другого «существа».
Однако, при всём этом пока нельзя сказать, что нейросети доросли до нормального имитирования действий человека.
плотность множества рациональных позволяет сколь угодно точно измерить что-угодно
не сколь угодно точно, а с точностью до бесконечно малого эпсилон. Это разные вещи! Если надо именно сколь угодно точно (в т.ч. с ошибкой равной нулю) — то без иррациональных чисел никак. По сути, рациональные — это дискретная бесконечность, а рациональные + иррациональные это «аналоговая».
Попробуйте описать множество иррациональных чисел, не вводя определение предела или других контринтуитивных идей.
Просто возьмите их определение из вики — оно такое, как вы и хотите.
А предел — довольно сложная идея, которая решила всевозможные апории Зенона и им подобные.
нет, предел их не решил! Зенон — классный парень, который показал нам, что математическая модель с бесконечной делимостью всего подряд фейлится при попытке описать ею физическое движение.
Разговоры о пределе это подмена предмета спора, т.к. предел связан с бесконечной малостью, а Зенон как раз и указывает, что ее введение противоречит физике движения. В реальном мире движение происходит, по всей видимости, в системе конечно-малых (атомы, кварки, вот это всё), а не бесконечно малых.
Нет правда. Мощность множества рациональных чисел это мощность счетного множества. Мощность же у вещественных чисел — континуум. А это значит, что если мы хотим иметь возможность точно (не с точностью до бесконечно малого, а именно точно) мерить непрерывные величины, то рациональных чисел недостаточно. Т.к. биекция между счетным и континуумом невозможна.
Когда же мы говорим про всюду плотность, то речь идет про бесконечно хорошее приближение любой точки объемлющего множества (вещественного в нашем случае) — т.е. про точность до бесконечно малого эпсилон. Инженерам этого зачастую достаточно. Но моего высказывания выше это, конечно, не отменяет)
Иррациональные числа очень даже интуитивны! Если бы их не было, то в пространстве вещественных чисел зияли бы выколотые точки, и это бы значило, что мы не можем качественно измерять непрерывные величины.
И вот здесь наша проблема: современные сети (которым до ИИ далеко) уже имеют миллионы обучаемых параметров. В мозге их триллионы. Их можно видеть в отладчике, но интерпретировать их и предсказывать взаимное влияние в перспективе становится невозможно. Это не как в наших простых программах, где мы в отладчике ковыряемся с взаимодейстивем, ну, скажем, десятка сущностей.
Вы, видимо, говорите про древних философов — в те времена, когда наука была не столь сильна, и знания о мире было более примитивны. А я про современность. Какая польза от современных философов?
Ну, то, как появился человек, планета и все дела — это пытаются выяснить ученые. Философы же, в основном, выдают ответы, по ценности не превосходящие «потому что 42». Так что если машинка сможет объяснять на уровне ученых — пожалуй, у нее явные признаки интеллекта))
А если как философ, то возможно стоит еще нейронов добавить.
Когда речь про очень слабый интеллект, то объяснения это хорошо. А сильному — они помогут лучше нами манипулировать.
Пикантность же ситуации в том, что мы не можем формально отличить сильный от слабого. Если во всех тестах система ведет себя как слабый интеллект, то она может действительно быть слабой. А может притворяться, пока готовит план по нашему уничтожению)
300-мерные входные данные и всего 95 обучащюих пар?
Делать самостоятельно маленький текстовый корпус, когда есть готовые и большие?
Взять для работы с последовательностями прямую сеть вместо полагающейся рекуррентной?
Матлаб, а не ставший стандартным в этой области питон (theano/tensorflow etc)?
Необычно.
Но даже при такой реализации word2vec не делает нужных связей между словами с точки зрения русского языка.
Вот классическая реализация ворд2век. Она хорошо выискивает связи. Например, vec(“Madrid”) — vec(“Spain”) + vec(“France”) выдаст ~ vec(“Paris”)
ИНС не могла запомнить более 15 предложений
Обычно стремятся избежать, чтоб нейросеть запоминала обучающие примеры (переобучение). Заставляют генерализовать. Если хочется, чтобы модель быстро запоминала маппинг «вопрос»-«ответ», то это не к обычным нейросетям. Возможно, стоит глянуть one-shot learning.
У меня пара вопросов:
1) Как бы вы объяснили, почему младенцы сначала учатся фокусировать взгляд на движущихся объектах, а не статических? Почему они лучше учатся по динамике, чем по статике (первая попавшаяся статья из Dev. Psychol.)
2) Про структуру воспоминаний. Как в вашей модели воспоминания встраивают в себя время? Т.е. воспоминиание у людей имеет структуру типа «Я помню, что сначала поел, потом стал собираться на работу, и потом понял, что сегодня выходной. И затем я погладил кота». Похоже на сжатое предстатвление некоторого динамического процесса — его основных вех. Как такую штуку «завернуть» в один «код».
Наверняка есть какая-то скрытая переменная, которая независимо влечет оба этих следствия( и сдвиг homicide rate, и сдвиг sex ratio). Может, это что-то в географическом распределении профессий или хорошего высшего образования? Или в структуре промышленности? Маловероятно, что преступность и sex-ratio имеют причинно-следственную связь.
Со вторым вопросом понятно, спасибо. С первым не очень, но тут надо, видимо, дождаться следующих статей. Будем ждать, пока получается чудовищно интересно!
У нас есть колонка (она же контекст). Ей на вход поступает текущее описание (узор волны), и она осуществляет его преобразование, чтобы затем сравнить результат этого преобразования со словарем. А в каком виде хранится в ней это преобразование и чем обеспечивается, что у всех колонок будут выучены разные преобразования ( т.е. вот эта колонка будет сдвигать нашу черточку из верхнего угла в середину, а вот та колонка — поворачивать на 30 градусов).
И еще — а что делать, если для того, чтоб узнать нашу черточку, над ней надо проделать сразу серию таких преобразований (и сдвинуть, и повернуть, и еще масштаб и цвет поменять). Это ведь разные колонки-контексты будут делать, или нет?
То, что в движениях появляется тремор — не доказательство поломки именно тайминга. Мне попадалось мнение, что кинематика движения дается кортексом, а мозжечок отвечает за регулирование мгновенного усилия по обратным связям от сенсорных систем. Поломка силовой адаптации тоже вполне могла бы объяснить тремор.
Если черепки уникальные и можно однозначно воссоздать статую по ним, то «информации об античной культуре» окажется ровно столько же, сколько и в не разбитой статуе. Из-за уникальности черепков энтропия на них будет выше энтропии исходной статуи. Но это не «ошибка» — информации в таких черепках больше, потому что они содержат информацию не только об античной культуре, но и о способе разбиения статуи.
Если черепки неуникальные в достаточной степени, чтоб статуя была по ним невосстановима — то информация о разбиении в них по прежнему останется, а вот об исходной статуе — потеряется. Поэтому мы ожидали бы, что и энтропия у таких черепков будет ниже, чем у предыдущих (чтоб учесть потерю инфоррмации об античной культуре). И это в самом деле выполняется — энтропия на этих черепках будет ниже, т.к. из неуникальности черепка следует более хорошая предсказуемость, что и приводит к уменьшению значения энтропии.
Модель красивая и очень наглядная, спасибо.
А удалось на каком-нибудь конкретном животном и его рефлексе доказать, что мозжечок участвует в подгонке тайминга?
Однако, при всём этом пока нельзя сказать, что нейросети доросли до нормального имитирования действий человека.
не сколь угодно точно, а с точностью до бесконечно малого эпсилон. Это разные вещи! Если надо именно сколь угодно точно (в т.ч. с ошибкой равной нулю) — то без иррациональных чисел никак. По сути, рациональные — это дискретная бесконечность, а рациональные + иррациональные это «аналоговая».
Просто возьмите их определение из вики — оно такое, как вы и хотите.
нет, предел их не решил! Зенон — классный парень, который показал нам, что математическая модель с бесконечной делимостью всего подряд фейлится при попытке описать ею физическое движение.
Разговоры о пределе это подмена предмета спора, т.к. предел связан с бесконечной малостью, а Зенон как раз и указывает, что ее введение противоречит физике движения. В реальном мире движение происходит, по всей видимости, в системе конечно-малых (атомы, кварки, вот это всё), а не бесконечно малых.
Когда же мы говорим про всюду плотность, то речь идет про бесконечно хорошее приближение любой точки объемлющего множества (вещественного в нашем случае) — т.е. про точность до бесконечно малого эпсилон. Инженерам этого зачастую достаточно. Но моего высказывания выше это, конечно, не отменяет)
Что за проблема у философов с этим?
А если как философ, то возможно стоит еще нейронов добавить.
Пикантность же ситуации в том, что мы не можем формально отличить сильный от слабого. Если во всех тестах система ведет себя как слабый интеллект, то она может действительно быть слабой. А может притворяться, пока готовит план по нашему уничтожению)
Делать самостоятельно маленький текстовый корпус, когда есть готовые и большие?
Взять для работы с последовательностями прямую сеть вместо полагающейся рекуррентной?
Матлаб, а не ставший стандартным в этой области питон (theano/tensorflow etc)?
Необычно.
Вот классическая реализация ворд2век. Она хорошо выискивает связи. Например, vec(“Madrid”) — vec(“Spain”) + vec(“France”) выдаст ~ vec(“Paris”)
Обычно стремятся избежать, чтоб нейросеть запоминала обучающие примеры (переобучение). Заставляют генерализовать. Если хочется, чтобы модель быстро запоминала маппинг «вопрос»-«ответ», то это не к обычным нейросетям. Возможно, стоит глянуть one-shot learning.
У меня пара вопросов:
1) Как бы вы объяснили, почему младенцы сначала учатся фокусировать взгляд на движущихся объектах, а не статических? Почему они лучше учатся по динамике, чем по статике (первая попавшаяся статья из Dev. Psychol.)
2) Про структуру воспоминаний. Как в вашей модели воспоминания встраивают в себя время? Т.е. воспоминиание у людей имеет структуру типа «Я помню, что сначала поел, потом стал собираться на работу, и потом понял, что сегодня выходной. И затем я погладил кота». Похоже на сжатое предстатвление некоторого динамического процесса — его основных вех. Как такую штуку «завернуть» в один «код».
Интересно, сколько выводов профессоров читал автор.
У нас есть колонка (она же контекст). Ей на вход поступает текущее описание (узор волны), и она осуществляет его преобразование, чтобы затем сравнить результат этого преобразования со словарем. А в каком виде хранится в ней это преобразование и чем обеспечивается, что у всех колонок будут выучены разные преобразования ( т.е. вот эта колонка будет сдвигать нашу черточку из верхнего угла в середину, а вот та колонка — поворачивать на 30 градусов).
И еще — а что делать, если для того, чтоб узнать нашу черточку, над ней надо проделать сразу серию таких преобразований (и сдвинуть, и повернуть, и еще масштаб и цвет поменять). Это ведь разные колонки-контексты будут делать, или нет?
Если черепки уникальные и можно однозначно воссоздать статую по ним, то «информации об античной культуре» окажется ровно столько же, сколько и в не разбитой статуе. Из-за уникальности черепков энтропия на них будет выше энтропии исходной статуи. Но это не «ошибка» — информации в таких черепках больше, потому что они содержат информацию не только об античной культуре, но и о способе разбиения статуи.
Если черепки неуникальные в достаточной степени, чтоб статуя была по ним невосстановима — то информация о разбиении в них по прежнему останется, а вот об исходной статуе — потеряется. Поэтому мы ожидали бы, что и энтропия у таких черепков будет ниже, чем у предыдущих (чтоб учесть потерю инфоррмации об античной культуре). И это в самом деле выполняется — энтропия на этих черепках будет ниже, т.к. из неуникальности черепка следует более хорошая предсказуемость, что и приводит к уменьшению значения энтропии.
Вроде, все ок.
А удалось на каком-нибудь конкретном животном и его рефлексе доказать, что мозжечок участвует в подгонке тайминга?