«И вот получается что ни для какого ИИ таких показателей нет.»
А, скажем, для программиста есть? 20 строк кода в минуту? Или путем собеседования при приеме на работу? Или путем решения олимпиадных задачек?
А экзаменатор как проверяет студентов? На стандартных тестах? Опять же собеседованием? Ответом на билеты?
Как только мы выходим за рамки предельно узких предметных областей типа машинисток, печатающих на машинках с такой-то скоростью и с таким-то количеством ошибок, эффективность решателя становится весьма сложно выразить парой чисел. И это тоже объективная характеристика сложных задач.
«Для Геделевского ИИ можно наработать достаточно плотный массив данных для проверки.»
Можно, но почти бесполезно. Поскольку на каждом конкретном наборе будет выигрывать та машина, индуктивное смещение которой лучше соответствует именно этим данным. В условиях априорной неопределенности субъективность неизбежна.
«А сколько лет потребуется машине Тьюринга с бумажной лентой для расчета корня уравнения четвертой степени?
Мы говорим о концепции и классах эквивалентности.»
А машина Гёделя разве реализуется не на машине Тьюринга? Но, собственно, речь не об этом, а именно о концепциях. О том, что индуктивное смещение реального интеллекта столь велико, что за этим смещением сложно разглядеть машину Гёделя (или какой-то другой универсальный самооптимизирующийся решатель). И дело здесь не в том, как реализовать машину Гёделя, а в том, что нужная реализация — это нечто гораздо большее, чем просто машина Гёделя как универсальный unbiased решатель.
«Хм, а можно ссылку на это? Я всегда считал что Колмогоровская сложность наблюдаемой среды однозначно определяет такие вещи.»
Вовсе нет. Общеизвестно (в том смысле, что это не наше мнение), что Колмогоровская сложность определяется с точностью до «способа программирования» (опорной машины). По некоторым причинам сей факт обычно игнорируется. К чему это ведет, можно почитать, например, здесь aideus.ru/research/doc/preprints/02_paper2_RMDL.pdf
(Мы как-нибудь напишем об этом на хабре в более легкой манере, чем научная статья)
«NFL теорема, не всегда правда применимая»
Верно. Ее, правда, действительно часто применяют неправильно. Речь идет сугубо о Парето-множестве универсальных решателей в классе произвольных сред.
«А я вот думаю что С4.5 будет по крайней мере не хуже подбрасывания монетки в любой среде.
И индуктивного смещения, что характерно, не требует.»
Спорно. Думаю, он (по крайней мере, некая его реализация) может оказаться хуже в игре «камень-ножницы-бумага». Кроме того, неявным индуктивным смещением он обладает, поскольку использует вполне определенное представление информации. Но, собственно, речь шла про алгоритмически универсальные решатели, коими не являются ни C4.5, ни подбрасывание монетки. Их сравнение было бы как раз некорректным примером применения NFL.
Разделение на тьюринговский и геделевский ИИ в терминах автора статьи мы называем подходом на основе когнитивных архитектур и подходом на основе универсального ИИ. Это разделение (действительно имеющее быть в современных работах по Artificial General Intelligence) очень грубое и не имеющее хороших перспектив. Когнитивные архитектуры остаются слабым ИИ; универсальный ИИ остается непрактичным. И даже Шмидхуберовской машине Гёделя (которая отчасти сомнительна) потребуются многие миллиарды лет, чтобы научиться решать даже не очень сложные задачи. Выход из этого «простой» — нужно совмещать оба подхода (чем мы — группа aideus — и занимаемся). Неправильно считать, что машина Гёделя строится на полностью объективных основаниях, не имеющих отношения к человеку. Любой универсальный решатель имеет индуктивное смещение. Если мы хотим «непредвзятый» решатель, который не ориентирован на какой-то конкретный класс сред, то нам безразлично, какое именно индуктивное смещение в нем заложено — оно закладывается «от балды», главное, чтобы сохранялась универсальность. Парето-множество оптимальных универсальных решателей задается на всем классе вычислимых сред. Если какой-то решатель чуть лучше в одной среде, то он будет чуть хуже в другой среде. Ни один решатель не обладает преимуществом над другими на классе всех возможных сред. Но нас-то не интересуют абсолютно все возможные среды. Нас интересует вполне определенный класс сред, задаваемый реальным миром вообще и человеческим социумом в частности. Для этого класса можно построить решатель с таким индуктивным смещением, который будет эффективнее той же машины Гёделя или любого другого «непредвзятого» решателя. Это и будет настоящий сильный ИИ, который совмещает в себе «тьюринговскую» и «гёделевскую» (по терминологии автора статьи) парадигмы ИИ.
У Соломонова, вроде, были и экспериментальные воплощения его идей. А OOPS не единственная система такого класса.
Но ответа на Ваш вопрос конкретно относительно OOPS я не знаю. Есть подозрение, что «без последовательного перебора» не справится.
Но здесь нужно понимать, что любая система обучения обладает некоторым индуктивным смещением. Если имеется смещение в нужную сторону, то задача существенно облегчается. В этом смысле нельзя оценивать некоторый метод обучения по одной задаче. Вы оцениваете при этом не столько способность системы к «чистому обобщению», сколько смотрите, насколько ее индуктивное смещение соответствует той конкретной закономерности, которую в данном конкретном случае требуется обнаружить. Грубо говоря, инвариант к сдвигу можно заложить априорно, но Вы, очевидно, согласитесь, что это совсем не интересно. Но индуктивное смещение можно быть и более мягким; оно может задавать просто предрасположенность к выявлению закономерностей определенного типа. Если Вы, к примеру, будете давать задачи только на выявление инвариантов в зрительных образах, то некоторые способы представления изображений будут задавать индуктивное смещение, которое будет облегчать выявление соответствующих инвариантов. Однако «не бывает бесплатных обедов»: смещение в сторону одного класса закономерностей будет приводить к уменьшению априорных вероятностей для другого класса закономерностей, то есть их будет извлечь из данных сложнее. Скажем, OOPS может решить задачу точного различения четных и нечетных чисел легко, но для инвариантного распознавания зрительных образов ей потребуется существенный перебор.
В этом смысле все методы обучения (которые имеют возможность извлечь из данных любую закономерность) оптимальны по Парето. Если же мы рассматриваем множество не всех возможных задач на обучение, а какой-то их подкласс, то можно выделить некоторое подмножество методов, индуктивное смещение которых соответствует этому подклассу. И для Вашего случая не так сложно задать такое представление моделей для методов, построенных на расширениях универсальной индукции, что, с одной стороны, требуемый инвариант не будет задан в явном виде, и, с другой стороны, он будет относительно легко извлекаться.
Да, это первая статья на эту тему. Возможно, именно ее читать не стоит, поскольку в более поздних статьях изложение и проще, и глубже. Переводы, к сожалению, не попадались.
Термин «чистое обобщение» сам Соломонов, вроде, не использовал, но то, как в Вашем изложении сформулировано у Розенблатта, то у Соломонова дается теоретическое решение этой проблемы в терминах предсказания.
На практике, конечно, все не так просто в силу вычислительных трудностей, но какие-то приближенные или частные решения есть давно. А создание законченного решения является «ИИ-полной» задачей.
На русском и с примерами есть разве что книжка «Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания»; но там про «чистое обобщение» все же нет.
На русском, к сожалению, не встречал. Конкретных примеров больше у Шмидхубера (ссылку дал выше, но у него можно и другие методы глянуть; к сожалению, тоже все на английском).
Искать надо. Здесь кое какие примеры можно найти: world.std.com/~rjs/nips02.pdf
Но если хочется больше практики, можно познакомиться, например, с OOPS от Шмидхубера www.idsia.ch/~juergen/oops.html
Именно у него единственного (по крайней мере в плане исторического приоритета) и дается решение проблемы чистого обобщения. Все остальные потуги в этом направлении — детская наивность.
tac: «Почему сейчас эти задачи не решаются ни представителями сильного ИИ, не представителями слабого ИИ? У меня есть лишь один ответ: первые не понимают суть подобных экспериментов, вторые не понимают значимость таких экспериментов.»
Все же хочется получить ответ: чем Вас не устраивает решение, предложенное Соломоновым?
tac: «Они указывали как решать более общее задачи слабого ИИ, с попыткой приблизится к человеческому интеллекту. Начать со слабого ИИ и обобщить попытки, подходы — да это путь наверх.»
Еще раз, прочитайте указанные статьи от президентов AAAI. Вот еще пара в добавок:
Brachman R. Getting Back to “The Very Idea” // AI Magazine. 2005. V. 26. No 4. P. 48–50.
Cassimatis N., Mueller E.T., Winston P.H. Achieving Human-Level Intelligence through Integrated Systems and Research // AI Magazine. 2006. V. 27. No 2. P. 12–14. После прочтения ответьте на вопрос, вы уверены, что они смирились? Не додумывайте абстрактно за них, а почитайте, что они пишут. Никто «на место» этих людей не поставил. У философов и психологов для этого слишком «кишка была тонка».
Познакомьтесь с современной обширной литературой по семантическому основанию символов, где есть множество вполне обоснованных претензий на разрешение парадокса китайской комнаты (который, вообще говоря, специалисты по ИИ особой проблемой и не считали никогда).
Именно работы, претендующие на достижение настоящего ИИ, и двигали реально вперед эту область, пусть они пост фактум и оказывались недостаточными. А философствования на тему «круга Таубе» — вот это как раз и является оракулизмом.
Да, антропоморфизм «сильного ИИ» мешает дать ему четкое определение. Поэтому сейчас и говорят об «artificial general intelligence», который на человека вообще никак не ссылается и описывается в чисто кибернетических терминах. И абсолютно не важно, будут ли за таким ИИ философы признавать разум или окрестят «бездушной машиной». Суть работ в данной области от этого не меняется.
Извиняюсь, первая цитата Маккарти должна быть эта:
«The long-term goal of AI is human-level AI… Basic researchers in AI should measure their work as to the extent to which it advances this goal.»
Ну, хорошо, чтобы не уходить в словоблудие, поставим точки над ё.
Для сравнения:
tac: «Адекватных людей в области сильного ИИ вообще нет»; «Если Вы молодой человек который еще в этом не повяз — выбирайтесь из этого болота, оно засасывает хорошие умные головы.»
Маккарти: «I think the best hope for human-level AI is logical AI, based on the formalizing of commonsense knowledge and reasoning in mathematical logic.»; «AI research should not be dominated by near-term applications. DARPA should recall the extent to which its applied goals were benefitted by basic research. NSF should not let itself be seduced by impatience.»
И пусть каждый, как хочет, так эти высказывания и интерпретирует, сравнивает и делает из них свои выводы.
Ой, интересно, а с кем же тогда так усиленно спорили Дрейфус, Сёрл и прочие философы? А чем является Общий Решатель Задач Ньюэлла и Саймона или Универсальная Индукция Соломонова как не работами в области «сильного ИИ» (пусть тогда этого термина еще не было)? А разве многие будущие классики в середине прошлого века не говорили, что создание компьютеров, обладающих уровнем интеллекта, сопоставимым с человеческим, будет возможно в ближайшие десятилетия?.. А чего Вы еще не помните и не встречали?
Читаем Маккарти дальше:
«I think the best hope for human-level AI is logical AI, based on the formalizing of commonsense knowledge and reasoning in mathematical logic.»
А именно этим он и занимался. Вы можете сказать, что его подход к human-level intelligence может дать в итоге лишь слабый ИИ. И с этим я соглашусь. Но это не отменяет того факта, что сам Маккарти полагает, что работал именно в направлении human-level intelligence.
Теперь о терминах. С ними, конечно, все плохо. Но «human-level intelligence» — это эфвемизм, замена термина «сильный ИИ». Сейчас еще есть «artificial general intelligence». Мы предпочитаем говорить про «универсальный интеллект», но он тоже вызывает вопросы. Однако, может, люди расходятся в терминах и в их понимании относительно сильного ИИ, но всем понятно, что такое слабый или специализированный ИИ. И всем понятно, что слабый ИИ не является ни сильным, ни универсальным, ни human-level. И где на вашей пирамиде находятся люди, которые занимаются «неслабым» интеллектом?
(На остальное ответ ниже)
А, скажем, для программиста есть? 20 строк кода в минуту? Или путем собеседования при приеме на работу? Или путем решения олимпиадных задачек?
А экзаменатор как проверяет студентов? На стандартных тестах? Опять же собеседованием? Ответом на билеты?
Как только мы выходим за рамки предельно узких предметных областей типа машинисток, печатающих на машинках с такой-то скоростью и с таким-то количеством ошибок, эффективность решателя становится весьма сложно выразить парой чисел. И это тоже объективная характеристика сложных задач.
«Для Геделевского ИИ можно наработать достаточно плотный массив данных для проверки.»
Можно, но почти бесполезно. Поскольку на каждом конкретном наборе будет выигрывать та машина, индуктивное смещение которой лучше соответствует именно этим данным. В условиях априорной неопределенности субъективность неизбежна.
«А сколько лет потребуется машине Тьюринга с бумажной лентой для расчета корня уравнения четвертой степени?
Мы говорим о концепции и классах эквивалентности.»
А машина Гёделя разве реализуется не на машине Тьюринга? Но, собственно, речь не об этом, а именно о концепциях. О том, что индуктивное смещение реального интеллекта столь велико, что за этим смещением сложно разглядеть машину Гёделя (или какой-то другой универсальный самооптимизирующийся решатель). И дело здесь не в том, как реализовать машину Гёделя, а в том, что нужная реализация — это нечто гораздо большее, чем просто машина Гёделя как универсальный unbiased решатель.
«Хм, а можно ссылку на это? Я всегда считал что Колмогоровская сложность наблюдаемой среды однозначно определяет такие вещи.»
Вовсе нет. Общеизвестно (в том смысле, что это не наше мнение), что Колмогоровская сложность определяется с точностью до «способа программирования» (опорной машины). По некоторым причинам сей факт обычно игнорируется. К чему это ведет, можно почитать, например, здесь
aideus.ru/research/doc/preprints/02_paper2_RMDL.pdf
(Мы как-нибудь напишем об этом на хабре в более легкой манере, чем научная статья)
«NFL теорема, не всегда правда применимая»
Верно. Ее, правда, действительно часто применяют неправильно. Речь идет сугубо о Парето-множестве универсальных решателей в классе произвольных сред.
«А я вот думаю что С4.5 будет по крайней мере не хуже подбрасывания монетки в любой среде.
И индуктивного смещения, что характерно, не требует.»
Спорно. Думаю, он (по крайней мере, некая его реализация) может оказаться хуже в игре «камень-ножницы-бумага». Кроме того, неявным индуктивным смещением он обладает, поскольку использует вполне определенное представление информации. Но, собственно, речь шла про алгоритмически универсальные решатели, коими не являются ни C4.5, ни подбрасывание монетки. Их сравнение было бы как раз некорректным примером применения NFL.
Но ответа на Ваш вопрос конкретно относительно OOPS я не знаю. Есть подозрение, что «без последовательного перебора» не справится.
Но здесь нужно понимать, что любая система обучения обладает некоторым индуктивным смещением. Если имеется смещение в нужную сторону, то задача существенно облегчается. В этом смысле нельзя оценивать некоторый метод обучения по одной задаче. Вы оцениваете при этом не столько способность системы к «чистому обобщению», сколько смотрите, насколько ее индуктивное смещение соответствует той конкретной закономерности, которую в данном конкретном случае требуется обнаружить. Грубо говоря, инвариант к сдвигу можно заложить априорно, но Вы, очевидно, согласитесь, что это совсем не интересно. Но индуктивное смещение можно быть и более мягким; оно может задавать просто предрасположенность к выявлению закономерностей определенного типа. Если Вы, к примеру, будете давать задачи только на выявление инвариантов в зрительных образах, то некоторые способы представления изображений будут задавать индуктивное смещение, которое будет облегчать выявление соответствующих инвариантов. Однако «не бывает бесплатных обедов»: смещение в сторону одного класса закономерностей будет приводить к уменьшению априорных вероятностей для другого класса закономерностей, то есть их будет извлечь из данных сложнее. Скажем, OOPS может решить задачу точного различения четных и нечетных чисел легко, но для инвариантного распознавания зрительных образов ей потребуется существенный перебор.
В этом смысле все методы обучения (которые имеют возможность извлечь из данных любую закономерность) оптимальны по Парето. Если же мы рассматриваем множество не всех возможных задач на обучение, а какой-то их подкласс, то можно выделить некоторое подмножество методов, индуктивное смещение которых соответствует этому подклассу. И для Вашего случая не так сложно задать такое представление моделей для методов, построенных на расширениях универсальной индукции, что, с одной стороны, требуемый инвариант не будет задан в явном виде, и, с другой стороны, он будет относительно легко извлекаться.
На практике, конечно, все не так просто в силу вычислительных трудностей, но какие-то приближенные или частные решения есть давно. А создание законченного решения является «ИИ-полной» задачей.
world.std.com/~rjs/nips02.pdf
Но если хочется больше практики, можно познакомиться, например, с OOPS от Шмидхубера
www.idsia.ch/~juergen/oops.html
Все же хочется получить ответ: чем Вас не устраивает решение, предложенное Соломоновым?
Это и означает «заниматься сильным ИИ».
Brachman R. Getting Back to “The Very Idea” // AI Magazine. 2005. V. 26. No 4. P. 48–50.
Cassimatis N., Mueller E.T., Winston P.H. Achieving Human-Level Intelligence through Integrated Systems and Research // AI Magazine. 2006. V. 27. No 2. P. 12–14.
После прочтения ответьте на вопрос, вы уверены, что они смирились? Не додумывайте абстрактно за них, а почитайте, что они пишут. Никто «на место» этих людей не поставил. У философов и психологов для этого слишком «кишка была тонка».
Познакомьтесь с современной обширной литературой по семантическому основанию символов, где есть множество вполне обоснованных претензий на разрешение парадокса китайской комнаты (который, вообще говоря, специалисты по ИИ особой проблемой и не считали никогда).
Именно работы, претендующие на достижение настоящего ИИ, и двигали реально вперед эту область, пусть они пост фактум и оказывались недостаточными. А философствования на тему «круга Таубе» — вот это как раз и является оракулизмом.
Да, антропоморфизм «сильного ИИ» мешает дать ему четкое определение. Поэтому сейчас и говорят об «artificial general intelligence», который на человека вообще никак не ссылается и описывается в чисто кибернетических терминах. И абсолютно не важно, будут ли за таким ИИ философы признавать разум или окрестят «бездушной машиной». Суть работ в данной области от этого не меняется.
«The long-term goal of AI is human-level AI… Basic researchers in AI should measure their work as to the extent to which it advances this goal.»
Для сравнения:
tac: «Адекватных людей в области сильного ИИ вообще нет»; «Если Вы молодой человек который еще в этом не повяз — выбирайтесь из этого болота, оно засасывает хорошие умные головы.»
Маккарти: «I think the best hope for human-level AI is logical AI, based on the formalizing of commonsense knowledge and reasoning in mathematical logic.»; «AI research should not be dominated by near-term applications. DARPA should recall the extent to which its applied goals were benefitted by basic research. NSF should not let itself be seduced by impatience.»
И пусть каждый, как хочет, так эти высказывания и интерпретирует, сравнивает и делает из них свои выводы.
«I think the best hope for human-level AI is logical AI, based on the formalizing of commonsense knowledge and reasoning in mathematical logic.»
А именно этим он и занимался. Вы можете сказать, что его подход к human-level intelligence может дать в итоге лишь слабый ИИ. И с этим я соглашусь. Но это не отменяет того факта, что сам Маккарти полагает, что работал именно в направлении human-level intelligence.
Теперь о терминах. С ними, конечно, все плохо. Но «human-level intelligence» — это эфвемизм, замена термина «сильный ИИ». Сейчас еще есть «artificial general intelligence». Мы предпочитаем говорить про «универсальный интеллект», но он тоже вызывает вопросы. Однако, может, люди расходятся в терминах и в их понимании относительно сильного ИИ, но всем понятно, что такое слабый или специализированный ИИ. И всем понятно, что слабый ИИ не является ни сильным, ни универсальным, ни human-level. И где на вашей пирамиде находятся люди, которые занимаются «неслабым» интеллектом?