Cybersoph, в таком случае просьба к Вам более точно задавать вопросы, а то их смысл остается неясным. На вопрос об определении термина «смысл» на удивление точный общий ответ дает википедия. Если Вы просите дать определение этого понятия в каком-то более узком контексте, сформулируйте этот контекст.
Касательно вопроса: Вы считаете, что в словах скрывается смысл? — смысл скрывается в отображении слов на элементы внеязыковой реальности. Это отображение обычно выполняется концептуальной системой человеческого разума (не всегда удачно). Но ничто не мешает ее также выполнять и когнитивным архитектурам воплощенных интеллектуальных агентов.
Смысл — многозначное и многоплановое понятие. Но, коротко говоря, смысл символов (элементов мышления верхнего уровня) — это их соотнесенность с внешним миром, а смысл данных (элементарной сенсорики и моторики) — включенность их описаний в общую модель мира.
Сейчас, скорее, группа активистов ( aideus.ru; на сайте, кстати, есть некие предшествующие материалы, хотя подход к сильному ИИ в целом пока еще не представлен ).
это не перцептрон Розенблатта
Да, конечно; просто возникло подозрение, что вы о MLP. Но если вы об исходном перцептроне, пусть будет о нем. Разницы в контексте нашего разговора почти нет.
Без большой статистики — предсказания никакими статистическими методами не возможно.
Именно! А алгоритмической индукцией — возможно.
способности человека предсказывать — сильно завышены
Это как раз полностью понятно, если принять, что человек работает в универсальном пространстве моделей, поэтому ему сложнее, чем тем неуниверсальным методам, которые он создает под конкретную задачу. Только и всего.
способности перцептронов заканчиваются там, где начинается необходимость различать инвариантности. Если же посмотреть на эту проблему с другой стороны — то окажется, что это проблема не умения обобщать — выявлять в той же обучающей выборке закономерности, и строить законы.
Совершенно верно. Вы же сами все понимаете! В этом и заключается неуниверсальность — в неспособности выявлять произвольные закономерности. Перцептрон работать в ограниченном пространстве закономерностей, поэтому что-то «сжимать» умеет, но до универсального метода обучения он не расширяется.
Анализ главных компонент также неуниверсальный метод, так как выясляет только закономерности частных типов.
Поэтому действительно проблемы у перцептронов есть, но это не говорит о их не универсальности. Это лишь говорит о том, что до сих пор не решена проблема обобщения в общем виде.
Да в теории решена она еще в 1960-х годах! Но все на это закрывают глаза, потому что непонятно, как эту теорию применить на практике (а у нас, как раз, есть результаты в этом направлении).
Спасибо за конкретный вопрос!
Универсальность перцептрона Розенблатта (или, вернее, многослойных сетей прямого распространения) — это какое-то универсальное заблуждение, которое кроме, как массовым гипнозом, сложно по-другому объяснить. Да, Колмогоров доказал теорему об аппроксимации функций многих переменных композицией функций одной переменной. Да, эту теорему можно применить к перцептронам. Но какой в этом смысл? Также и полиномами мы любую гладкую функцию на ограниченном интервале можем аппроксимировать с любой наперед заданной точностью. Это замечательно, но что это означает с точки зрения машинного обучения? Во-первых, в машинном обучении у нас всегда конечная обучающая выборка. Точная аппроксимация точек обучающей выборки вовсе не гарантирует точного предсказания значений в новых точках. Более того, напротив, повышение точности аппроксимации в таких случаях ведет к ухудшению точности предсказания. Это классический эффект чрезмерно близкой подгонки или переобучения, который свойственен и перцептронам. Перцептроны приходится недообучать, прерывать их обучение, оставляя точность на обучающей выборке конечной. Во-вторых, чтобы теорема Колмогорова была выполнена, нам нужна потенциально бесконечная обучающая выборка. В математике это не проблема, но на практике как-то выглядит сомнительно. Так откуда берется переобучение или требование к большим выборкам? Из неуниверсальности перцептрона! На полиномах эту проблему проще продемонстрировать. Если у нас есть экспонента, которую мы хотим аппроксимировать полиномами, то для заданной обучающей выборки мы всегда сможем найти полином, который точно пройдет через заданные точки. Но вне заданного интервала ошибка будет накапливаться экспоненциально быстро. Экспонента представима бесконечным полиномиальным рядом, для чего нужна бесконечная обучающая выборка, чтобы восстановить этот ряд. На практике это невозможно, и экспонента ничем другим, кроме экспоненты, заменена быть не может. Так вот, алгоритмически полное пространство моделей эту экспоненту содержит (и ее описание укладывается в полторы сотни байт). То есть, имея конечное и не очень большое число точек мы сможем восстановить именно экспоненту и погрешность предсказания будет, если и не нулевой при наличии шумов, то очень низкой. Вот в этом и заключается универсальность алгоритмической индукции и неуниверсальность перцептронов и прочих эвристических методов.
У Хокинса и Пенроуза — книги, причем достаточно наукообразные. У нас это начало. Если взять введение в какой-нибудь книге и оценивать его само по себе, то впечатление, понятно, будет совершенно не таким, как в рамках всей книги. Естественно, мы планируем продолжать и «делиться наработками». Пока эти наработки нигде не опубликованы. Но есть более частные предварительные результаты (правда, относящиеся к сильному ИИ косвенно).
Что касается доказуемости, то Пенроуз и Хокинс создают лишь ее видимость. Тот же Пенроуз в более ранней своей книге категорично доказывал, что нейроны — квантовые компьютеры, которые за линейное время решают NP-полные задачи, тогда как в более поздней книге столь же «убедительно» стал говорить, что они совершают невычислимые операции. Тем не менее, множество людей ему до сих пор верят.
Подход же Хокинса был исходно обречен на неудачу (в плане создания сильного ИИ), поскольку его модель иерархической темпоральной памяти не способна выявлять произвольные закономерности. Но, опять же, его обоснования убеждают многих людей (как, наверное, и самого автора).
Такой простой вопрос стоит десяти сложных.
Исследования в области ИИ должны развиваться по пути достижения универсальности системами ИИ, о чем, собственно, и была статья. Эта универсальность относится ко всем указанными Вами методам (естественно, сами задачи, решаемые этими методами, не окажутся «вчерашними»). Скажем, все современные системы машинного обучения неуниверсальны в том плане, что могут выявить в данных заранее ограниченный набор закономерностей. Именно поэтому толпе исследователей приходится мучиться и под каждую конкретную задачу подстраивать те или иные алгоритмы обучения. Также и модели самоорганизующихся систем никогда не будут неограниченно развиваться, пока эти модели будут неуниверсальными в том, что в них в принципе могут порождаться структуры заранее фиксированного вида. Это отчетливо видно на всех попытках моделирования эволюции или создания каких-нибудь самоорганизующихся нейронных сетей. Все это остается лишь частными инструментами, самостоятельность которых, утрированно говоря, не многим больше, чем у сливного бочка.
Здесь можно провести такую аналогию. Компьютер является универсальной машиной в том смысле, что может выполнить любой мыслимый алгоритм. Этим он принципиально отличается от автоматизированных систем прошлых веков, каждая из которых физически воплощала некий отдельный алгоритм. Возникновение компьютеров стало возможным благодаря тому, что математики строго определили понятие алгоритма и вывели понятие универсальной машины. При этом компьютер универсален, но полностью неавтономен: алгоритмы для него пишут программисты.
Так вот, универсальный искусственный интеллект так относится к современным системам ИИ, как компьютер относится к механическим устройствам прошлых веков. И так же, как создание компьютеров стало возможным после конструктивного определения универсальной машины, выполняющей любые алгоритмы, создание универсального ИИ станет возможным после конструктивного определения универсальной машины, порождающей любые алгоритмы.
Возникновение сверхразума неизбежно. Вопрос лишь в том, когда, в какой форме он возникнет, и какие последствия это повлечет для человечества. Так что это задача, которой, в любом случае, стоит заниматься.
Бытовые роботы и дополненная реальность как раз не принципиальное достижение ИИ
А чем распознавание 3D изображений вам меньше угодило, чем распознавание рукописного текста? Тогда в равной степени и последнее можно назвать непринципиальным достижением ИИ.
Ну или по крайней мере, не особо свежий взгляд, потому что в книгах семидесятых-восьмидесятых годов всё уже это описывалось.
«Все это» — очень сомнительно… Но, собственно, статья вводная, поэтому она не претендует на оригинальность, а просто подготавливает почву для последующего материала, поэтому спорить не будем.
Смотря что называть принципиальным достижением. Некоторые из нас успели за свою жизнь и участие принять в разработке того, чего до этого не было, а потом раз — и появилось. Это, к примеру, бытовые роботы и системы дополненной реальности. Но это все (включая распознавание рукописного текста) как раз относится к слабому ИИ. Да, такие системы весело создавать. Ощущаешь себя на переднем крае прогресса. Особенно приятно, когда роботы, половина софта в которых написана тобой с коллегами, расходится по миру многотысячными тиражами, пусть деньги с этого и получает выпускающая их корпорация (в конце концов, она оплачивала разработку). Да, здорово, когда соответствующие методы упрощаются и помещаются в библиотеки с открытым кодом, так что даже школьник без особых проблем может за пол часа реализовать простенькую софтину дополненной реальности. Но именно участие в подобных процессах и дает четкое понимание того, что (несмотря на всю свою интересность и бесспорную полезность) это не есть путь к настоящему ИИ. А нас именно он и интересует.
Во-первых, понятие воплощенного ИИ является стандартным и подразумевает интеллектуальные системы (не обязательно сильный ИИ), взаимодействующие с внешним миром через сенсорику и моторику. Такие системы существуют и в большом количестве.
Во-вторых, то, что теорема Гёделя что-то там опровергает относительно возможности создания ИИ, — это заблуждение. С точкой зрения не надо соглашаться или нет, надо знать математику. Теорема Гёделя говорит о формальных системах. Алгоритм как формальная система в начальный такт своей работы имеет ленту, содержащую неизменную информацию. Алгоритм прекращает свою работу и выдает результат. Компьютерная «интеллектуальная» программа, безостановочно взаимодействующая с внешним миром, получающая из него новые данные (скажем с камеры) и изменяющая что-то в нем (скажем, с помощью манипуляторов), не является в формальном смысле алгоритмом. Для нее входная лента — это мир. Чтобы формализовать действие такой программы, вам потребуется формализовать весь мир. Раз программа, действующая в реальном мире, не является формальной системой, то к ней неприменима и теорема Гёделя.
В-третьих, где у нас говорится, что «мало кто из ученых действительно сомневается...», далее уточняется «сильный ИИ в том или ином виде может быть создан». Под «тем или иным видом» подразумеваются и алгоритмические альтернативы. Даже тот же Пенроуз, ошибочно интерпретирующий теорему Гёделя, не говорит о невозможности ИИ вообще; напротив, он говорит о том, что ИИ возможен, просто он должен создаваться на других физических принципах. Так что в заблуждение читателя мы вовсе не вводим.
У мухи, вроде, порядка 100 тыс. нейронов (хотя у разных, наверное, по-разному). По самым скромным оценкам это соответствует мегабайту кода. Не так уж и мало. Система управления на основе компьютерного зрения такой сложности вполне может заменить муху. Но не в этом дело. Подход на основе постепенного усложнения адаптивных систем от простейших к более сложным (категориальные архитектуры Брукса) за 25 лет так и остался на уровне реактивных систем. Это все равно, что путем постепенного совершенствования велосипедов пытаться построить космический корабль. Прагматический подход, решающий конкретные задачи на основе ограниченных ресурсов, тоже большого прогресса в фундаментальные исследования ИИ не вносит. Узкоспециализированные системы можно разрабатывать сколь угодно долго, а сильного ИИ не построить. «Системы искусственного интеллекта уровня человека» — это не наше понятие; оно широко используется в литературе, поэтому без него обойтись сложно. Мы как раз предлагаем не столько ориентироваться на человека, сколько разрабатывать теорию универсального интеллекта. Такие теории сначала неизбежно будут абстрактными, как абстрактными долгое время были полеты в космос на абстрактных ракетах. Но если все время говорить, зачем эта абстракция, давайте лучше делать вполне реальный велосипед, то вы будете просто решать другую задачу, искать «не там, где потеряли, а там, где светло».
Сильный ИИ — это ИИ, обладающий теми же когнитивными функциями, что и человек. Слабый ИИ — это (в том числе современные) системы, решающие конкретные интеллектуальные задачи и не обладающие соответствующими когнитивными функциями. Удобнее, конечно, говорить об универсальном и специализированном ИИ (вместо сильного и слабого), чтобы не спорить о том, будет ли та или иная система иметь истинное понимание, чувства и т.д. Мы, однако, считаем, что универсальный ИИ можно реализовать алгоритмическим путем, и даже знаем, в каком направлении для этого нужно двигаться. Пенроуз же неправильно применяет теорему Гёделя и из неверной посылки выводит массу неправильных следствий, но это отдельная тема для обсуждения…
У нас есть 15-тилетний опыт работы в области создания систем специализированного ИИ, которые были внедрены в продукты (как программные, так и аппаратные) нескольких корпораций. Опыт прикладных разработок сопровождался их обобщением в форме теоретических исследований. Наш взгляд на проблему сильного ИИ — результат всей этой деятельности.
Касательно вопроса:
Вы считаете, что в словах скрывается смысл? — смысл скрывается в отображении слов на элементы внеязыковой реальности. Это отображение обычно выполняется концептуальной системой человеческого разума (не всегда удачно). Но ничто не мешает ее также выполнять и когнитивным архитектурам воплощенных интеллектуальных агентов.
Да, конечно; просто возникло подозрение, что вы о MLP. Но если вы об исходном перцептроне, пусть будет о нем. Разницы в контексте нашего разговора почти нет.
Без большой статистики — предсказания никакими статистическими методами не возможно.
Именно! А алгоритмической индукцией — возможно.
способности человека предсказывать — сильно завышены
Это как раз полностью понятно, если принять, что человек работает в универсальном пространстве моделей, поэтому ему сложнее, чем тем неуниверсальным методам, которые он создает под конкретную задачу. Только и всего.
способности перцептронов заканчиваются там, где начинается необходимость различать инвариантности. Если же посмотреть на эту проблему с другой стороны — то окажется, что это проблема не умения обобщать — выявлять в той же обучающей выборке закономерности, и строить законы.
Совершенно верно. Вы же сами все понимаете! В этом и заключается неуниверсальность — в неспособности выявлять произвольные закономерности. Перцептрон работать в ограниченном пространстве закономерностей, поэтому что-то «сжимать» умеет, но до универсального метода обучения он не расширяется.
Анализ главных компонент также неуниверсальный метод, так как выясляет только закономерности частных типов.
Поэтому действительно проблемы у перцептронов есть, но это не говорит о их не универсальности. Это лишь говорит о том, что до сих пор не решена проблема обобщения в общем виде.
Да в теории решена она еще в 1960-х годах! Но все на это закрывают глаза, потому что непонятно, как эту теорию применить на практике (а у нас, как раз, есть результаты в этом направлении).
Универсальность перцептрона Розенблатта (или, вернее, многослойных сетей прямого распространения) — это какое-то универсальное заблуждение, которое кроме, как массовым гипнозом, сложно по-другому объяснить. Да, Колмогоров доказал теорему об аппроксимации функций многих переменных композицией функций одной переменной. Да, эту теорему можно применить к перцептронам. Но какой в этом смысл? Также и полиномами мы любую гладкую функцию на ограниченном интервале можем аппроксимировать с любой наперед заданной точностью. Это замечательно, но что это означает с точки зрения машинного обучения? Во-первых, в машинном обучении у нас всегда конечная обучающая выборка. Точная аппроксимация точек обучающей выборки вовсе не гарантирует точного предсказания значений в новых точках. Более того, напротив, повышение точности аппроксимации в таких случаях ведет к ухудшению точности предсказания. Это классический эффект чрезмерно близкой подгонки или переобучения, который свойственен и перцептронам. Перцептроны приходится недообучать, прерывать их обучение, оставляя точность на обучающей выборке конечной. Во-вторых, чтобы теорема Колмогорова была выполнена, нам нужна потенциально бесконечная обучающая выборка. В математике это не проблема, но на практике как-то выглядит сомнительно. Так откуда берется переобучение или требование к большим выборкам? Из неуниверсальности перцептрона! На полиномах эту проблему проще продемонстрировать. Если у нас есть экспонента, которую мы хотим аппроксимировать полиномами, то для заданной обучающей выборки мы всегда сможем найти полином, который точно пройдет через заданные точки. Но вне заданного интервала ошибка будет накапливаться экспоненциально быстро. Экспонента представима бесконечным полиномиальным рядом, для чего нужна бесконечная обучающая выборка, чтобы восстановить этот ряд. На практике это невозможно, и экспонента ничем другим, кроме экспоненты, заменена быть не может. Так вот, алгоритмически полное пространство моделей эту экспоненту содержит (и ее описание укладывается в полторы сотни байт). То есть, имея конечное и не очень большое число точек мы сможем восстановить именно экспоненту и погрешность предсказания будет, если и не нулевой при наличии шумов, то очень низкой. Вот в этом и заключается универсальность алгоритмической индукции и неуниверсальность перцептронов и прочих эвристических методов.
Что касается доказуемости, то Пенроуз и Хокинс создают лишь ее видимость. Тот же Пенроуз в более ранней своей книге категорично доказывал, что нейроны — квантовые компьютеры, которые за линейное время решают NP-полные задачи, тогда как в более поздней книге столь же «убедительно» стал говорить, что они совершают невычислимые операции. Тем не менее, множество людей ему до сих пор верят.
Подход же Хокинса был исходно обречен на неудачу (в плане создания сильного ИИ), поскольку его модель иерархической темпоральной памяти не способна выявлять произвольные закономерности. Но, опять же, его обоснования убеждают многих людей (как, наверное, и самого автора).
Исследования в области ИИ должны развиваться по пути достижения универсальности системами ИИ, о чем, собственно, и была статья. Эта универсальность относится ко всем указанными Вами методам (естественно, сами задачи, решаемые этими методами, не окажутся «вчерашними»). Скажем, все современные системы машинного обучения неуниверсальны в том плане, что могут выявить в данных заранее ограниченный набор закономерностей. Именно поэтому толпе исследователей приходится мучиться и под каждую конкретную задачу подстраивать те или иные алгоритмы обучения. Также и модели самоорганизующихся систем никогда не будут неограниченно развиваться, пока эти модели будут неуниверсальными в том, что в них в принципе могут порождаться структуры заранее фиксированного вида. Это отчетливо видно на всех попытках моделирования эволюции или создания каких-нибудь самоорганизующихся нейронных сетей. Все это остается лишь частными инструментами, самостоятельность которых, утрированно говоря, не многим больше, чем у сливного бочка.
Здесь можно провести такую аналогию. Компьютер является универсальной машиной в том смысле, что может выполнить любой мыслимый алгоритм. Этим он принципиально отличается от автоматизированных систем прошлых веков, каждая из которых физически воплощала некий отдельный алгоритм. Возникновение компьютеров стало возможным благодаря тому, что математики строго определили понятие алгоритма и вывели понятие универсальной машины. При этом компьютер универсален, но полностью неавтономен: алгоритмы для него пишут программисты.
Так вот, универсальный искусственный интеллект так относится к современным системам ИИ, как компьютер относится к механическим устройствам прошлых веков. И так же, как создание компьютеров стало возможным после конструктивного определения универсальной машины, выполняющей любые алгоритмы, создание универсального ИИ станет возможным после конструктивного определения универсальной машины, порождающей любые алгоритмы.
Упрощенно говоря, да, отчасти это имеется в виду.
А чем распознавание 3D изображений вам меньше угодило, чем распознавание рукописного текста? Тогда в равной степени и последнее можно назвать непринципиальным достижением ИИ.
Ну или по крайней мере, не особо свежий взгляд, потому что в книгах семидесятых-восьмидесятых годов всё уже это описывалось.
«Все это» — очень сомнительно… Но, собственно, статья вводная, поэтому она не претендует на оригинальность, а просто подготавливает почву для последующего материала, поэтому спорить не будем.
Во-вторых, то, что теорема Гёделя что-то там опровергает относительно возможности создания ИИ, — это заблуждение. С точкой зрения не надо соглашаться или нет, надо знать математику. Теорема Гёделя говорит о формальных системах. Алгоритм как формальная система в начальный такт своей работы имеет ленту, содержащую неизменную информацию. Алгоритм прекращает свою работу и выдает результат. Компьютерная «интеллектуальная» программа, безостановочно взаимодействующая с внешним миром, получающая из него новые данные (скажем с камеры) и изменяющая что-то в нем (скажем, с помощью манипуляторов), не является в формальном смысле алгоритмом. Для нее входная лента — это мир. Чтобы формализовать действие такой программы, вам потребуется формализовать весь мир. Раз программа, действующая в реальном мире, не является формальной системой, то к ней неприменима и теорема Гёделя.
В-третьих, где у нас говорится, что «мало кто из ученых действительно сомневается...», далее уточняется «сильный ИИ в том или ином виде может быть создан». Под «тем или иным видом» подразумеваются и алгоритмические альтернативы. Даже тот же Пенроуз, ошибочно интерпретирующий теорему Гёделя, не говорит о невозможности ИИ вообще; напротив, он говорит о том, что ИИ возможен, просто он должен создаваться на других физических принципах. Так что в заблуждение читателя мы вовсе не вводим.