Комментарии 21
tac: «Почему сейчас эти задачи не решаются ни представителями сильного ИИ, не представителями слабого ИИ? У меня есть лишь один ответ: первые не понимают суть подобных экспериментов, вторые не понимают значимость таких экспериментов.»
Все же хочется получить ответ: чем Вас не устраивает решение, предложенное Соломоновым?
Все же хочется получить ответ: чем Вас не устраивает решение, предложенное Соломоновым?
А Вы решите предложенную здесь задачу методом Соломонова (имеется введу его «Машина для выводов по индукции» ?), и тогда посмотрим сравнима ли она хотя бы с перцептроном, не говоря уже о большем.
Вы о статье 1956 года? Нет, речь идет о теории, предложенной в статьях 1964 года, и последующих за ними исследованиях на протяжении почти полувека.
«A Formal Theory of Inductive Inference »? Не знаете на русский это кто-то переводил?
Там голая теория, есть что-то более современное с конкретными практическими примерами?
Искать надо. Здесь кое какие примеры можно найти:
world.std.com/~rjs/nips02.pdf
Но если хочется больше практики, можно познакомиться, например, с OOPS от Шмидхубера
www.idsia.ch/~juergen/oops.html
world.std.com/~rjs/nips02.pdf
Но если хочется больше практики, можно познакомиться, например, с OOPS от Шмидхубера
www.idsia.ch/~juergen/oops.html
По сути там простой частотный анализ, который с трудом может прогнозировать, а не то что заниматься структурной адаптацией.
И еще, как раз в духе «не понимают суть подобных экспериментов», проблематики «чистого обобщения» у Соломонова даже близко нет.
Именно у него единственного (по крайней мере в плане исторического приоритета) и дается решение проблемы чистого обобщения. Все остальные потуги в этом направлении — детская наивность.
Раз, Вы так говорите… укажите, что почитать, чтобы понять о чем речь? (желательно на русском и с конкретными примерами)
На русском, к сожалению, не встречал. Конкретных примеров больше у Шмидхубера (ссылку дал выше, но у него можно и другие методы глянуть; к сожалению, тоже все на английском).
На русском и с примерами есть разве что книжка «Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания»; но там про «чистое обобщение» все же нет.
Впрочем, у меня ощущение, что вы по другому понимаете проблему «чистого обобщения», можете её сформулировать (в терминах Соломонова, т.е. как он понимает эту проблему)?
Термин «чистое обобщение» сам Соломонов, вроде, не использовал, но то, как в Вашем изложении сформулировано у Розенблатта, то у Соломонова дается теоретическое решение этой проблемы в терминах предсказания.
На практике, конечно, все не так просто в силу вычислительных трудностей, но какие-то приближенные или частные решения есть давно. А создание законченного решения является «ИИ-полной» задачей.
На практике, конечно, все не так просто в силу вычислительных трудностей, но какие-то приближенные или частные решения есть давно. А создание законченного решения является «ИИ-полной» задачей.
Хорошо, а можно немного конкретнее. Как я понимаю у Соломонова есть лишь теория. OOPS от Шмидхубера Соломонов признает как наиболее приближенную к его теории реализацию.
Теперь сможет ли OOPS от Шмидхубера справится с такой частной задачей чистого обобщения как: имеем входной слой сетчатки 64х32 пикселя. В левой части (32х32) изображаем квадрат и говорим машине, что это за квадрат. В правой части снова изображаем тот же квадрат, так чтобы не касаться левой части сетчатки. И спрашиваем машину — что изображено справа? Решения последовательным перебором не интересуют.
Теперь сможет ли OOPS от Шмидхубера справится с такой частной задачей чистого обобщения как: имеем входной слой сетчатки 64х32 пикселя. В левой части (32х32) изображаем квадрат и говорим машине, что это за квадрат. В правой части снова изображаем тот же квадрат, так чтобы не касаться левой части сетчатки. И спрашиваем машину — что изображено справа? Решения последовательным перебором не интересуют.
У Соломонова, вроде, были и экспериментальные воплощения его идей. А OOPS не единственная система такого класса.
Но ответа на Ваш вопрос конкретно относительно OOPS я не знаю. Есть подозрение, что «без последовательного перебора» не справится.
Но здесь нужно понимать, что любая система обучения обладает некоторым индуктивным смещением. Если имеется смещение в нужную сторону, то задача существенно облегчается. В этом смысле нельзя оценивать некоторый метод обучения по одной задаче. Вы оцениваете при этом не столько способность системы к «чистому обобщению», сколько смотрите, насколько ее индуктивное смещение соответствует той конкретной закономерности, которую в данном конкретном случае требуется обнаружить. Грубо говоря, инвариант к сдвигу можно заложить априорно, но Вы, очевидно, согласитесь, что это совсем не интересно. Но индуктивное смещение можно быть и более мягким; оно может задавать просто предрасположенность к выявлению закономерностей определенного типа. Если Вы, к примеру, будете давать задачи только на выявление инвариантов в зрительных образах, то некоторые способы представления изображений будут задавать индуктивное смещение, которое будет облегчать выявление соответствующих инвариантов. Однако «не бывает бесплатных обедов»: смещение в сторону одного класса закономерностей будет приводить к уменьшению априорных вероятностей для другого класса закономерностей, то есть их будет извлечь из данных сложнее. Скажем, OOPS может решить задачу точного различения четных и нечетных чисел легко, но для инвариантного распознавания зрительных образов ей потребуется существенный перебор.
В этом смысле все методы обучения (которые имеют возможность извлечь из данных любую закономерность) оптимальны по Парето. Если же мы рассматриваем множество не всех возможных задач на обучение, а какой-то их подкласс, то можно выделить некоторое подмножество методов, индуктивное смещение которых соответствует этому подклассу. И для Вашего случая не так сложно задать такое представление моделей для методов, построенных на расширениях универсальной индукции, что, с одной стороны, требуемый инвариант не будет задан в явном виде, и, с другой стороны, он будет относительно легко извлекаться.
Но ответа на Ваш вопрос конкретно относительно OOPS я не знаю. Есть подозрение, что «без последовательного перебора» не справится.
Но здесь нужно понимать, что любая система обучения обладает некоторым индуктивным смещением. Если имеется смещение в нужную сторону, то задача существенно облегчается. В этом смысле нельзя оценивать некоторый метод обучения по одной задаче. Вы оцениваете при этом не столько способность системы к «чистому обобщению», сколько смотрите, насколько ее индуктивное смещение соответствует той конкретной закономерности, которую в данном конкретном случае требуется обнаружить. Грубо говоря, инвариант к сдвигу можно заложить априорно, но Вы, очевидно, согласитесь, что это совсем не интересно. Но индуктивное смещение можно быть и более мягким; оно может задавать просто предрасположенность к выявлению закономерностей определенного типа. Если Вы, к примеру, будете давать задачи только на выявление инвариантов в зрительных образах, то некоторые способы представления изображений будут задавать индуктивное смещение, которое будет облегчать выявление соответствующих инвариантов. Однако «не бывает бесплатных обедов»: смещение в сторону одного класса закономерностей будет приводить к уменьшению априорных вероятностей для другого класса закономерностей, то есть их будет извлечь из данных сложнее. Скажем, OOPS может решить задачу точного различения четных и нечетных чисел легко, но для инвариантного распознавания зрительных образов ей потребуется существенный перебор.
В этом смысле все методы обучения (которые имеют возможность извлечь из данных любую закономерность) оптимальны по Парето. Если же мы рассматриваем множество не всех возможных задач на обучение, а какой-то их подкласс, то можно выделить некоторое подмножество методов, индуктивное смещение которых соответствует этому подклассу. И для Вашего случая не так сложно задать такое представление моделей для методов, построенных на расширениях универсальной индукции, что, с одной стороны, требуемый инвариант не будет задан в явном виде, и, с другой стороны, он будет относительно легко извлекаться.
Эк я вас за живое задел, одни цитаты. «Выкидыша» и «лулзы» оставлю на вашей совести — на блаженных не обижаются, потому что их высказывания не имеют отношения к объективной реальности. По той же причине не вижу смысла обсуждать эту статью — пока вы сами здраво не взгляните на свои результаты и не ознакомитесь с публикациями хотя бы чуть моложе полувека, вы, видимо, не поймёте, что возитесь в болоте, и вас, очевидно, никакие внешние доводы оттуда не вытащат.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Понятие о структурной адаптации и введение в «чистое обобщение»