Комментарии 18
После провала ожиданий по скорому созданию ИИ эту тему корпорации свернули. Деньги на исследования по теме давать перестали. Тема ИИ стала не модной.
Развитие получили только смежные области близкие к практике: распознавание образов, автоматический перевод текстов и т.п.
Попытка построить ИИ на основе разработанных подходов (нейросети и пр.) потребует огромных вычислительных ресурсов. Учитывая непопулярность темы, такие исследования невозможны.
В результате серьезное продвижение в создании ИИ следует ожидать только, если будут найдены новые технические и математические решения, удешевляющие процесс создания ИИ.
Учитывая, что в этой области сохраняется налет романтики, а денег мало, то вполне вероятно, что такие решения будут созданы именно в России.
Развитие получили только смежные области близкие к практике: распознавание образов, автоматический перевод текстов и т.п.
Попытка построить ИИ на основе разработанных подходов (нейросети и пр.) потребует огромных вычислительных ресурсов. Учитывая непопулярность темы, такие исследования невозможны.
В результате серьезное продвижение в создании ИИ следует ожидать только, если будут найдены новые технические и математические решения, удешевляющие процесс создания ИИ.
Учитывая, что в этой области сохраняется налет романтики, а денег мало, то вполне вероятно, что такие решения будут созданы именно в России.
Позволю с тобой не согласится.
Как показывает история - деньги начинают вливатся только тогда, когда есть острая необходимость в той или иной технологии. Сейчас то, что предлогают нам - всех в той или иной степени устраивает.
И как раз професор и говорит о том, что при узучении проблем создания применяют _стандартные_, по мнению професора, тупиковые.
По моему мнению до тех пор, пока не будет полностью изучен человеческий мозг до степени его искуственного воспроизводства - ни о каком ИИ говорить вряд ли можно. Как в русской сказки: Поди туда, не знаю куда, приниси то, не знаю что. В контексте ИИ можно сказать так: Разработайка ИИ как не знаю что.
p.s.
С патриотизмом славо Богу всё у тя нормально)
Таким как ты ВВП доплачивать должен)
Как показывает история - деньги начинают вливатся только тогда, когда есть острая необходимость в той или иной технологии. Сейчас то, что предлогают нам - всех в той или иной степени устраивает.
И как раз професор и говорит о том, что при узучении проблем создания применяют _стандартные_, по мнению професора, тупиковые.
По моему мнению до тех пор, пока не будет полностью изучен человеческий мозг до степени его искуственного воспроизводства - ни о каком ИИ говорить вряд ли можно. Как в русской сказки: Поди туда, не знаю куда, приниси то, не знаю что. В контексте ИИ можно сказать так: Разработайка ИИ как не знаю что.
p.s.
С патриотизмом славо Богу всё у тя нормально)
Таким как ты ВВП доплачивать должен)
Это проблема частных и общих решений. Есть конкретные узкие проблемы, и если их решать по очереди, то мы приходим к одном состоянию (в данном случае - развитию частных программ, которые решают частные задачи вроде распознавания).
В принципе если выбрать другой подход (нейронные сети), то он мог бы дать большие результаты. Но вложения денег в развитие такого подхода почти с нуля должны быть огромными. Кто способен финансировать такие затраты? Видимо только государство, но оно находится под давлением лоббистов. Final.
В принципе если выбрать другой подход (нейронные сети), то он мог бы дать большие результаты. Но вложения денег в развитие такого подхода почти с нуля должны быть огромными. Кто способен финансировать такие затраты? Видимо только государство, но оно находится под давлением лоббистов. Final.
Я уже много лет занимаюсь искусственными нейронными сетями, и моё скромное мнение такое: существует одна основная проблема, по которой нейронные сети не развиваются — правительства ведущих стран, имеющих серьёзные наработки в этой области, используют мощь нейронных сетей в оборонной промышленности, а в гражданской науке дискредитируют это направление и всячески подавляют. Ещё в середине 90-х имелись аппаратные ускорители, которые позволяли увеличивать скорость нейровычислений до 1000 раз по сравнению с аналогичными, запускаемыми на ПК. Вот, например, пара списков таких плат:
http://www.particle.kth.se/~lindsey/elba…
http://www.avaye.com/showdetails.php/neu…
Вы не сможете купить ни одну из этих плат или их развитие (что более резонно). Было около 20-и организаций производящих как нейроплаты, так и нейрокомпьютеры. Время шло, все предприятия перекупались государствами, закрывались и засекречивались. Сейчас нет ни одной (!) организации, у которой гражданские могли бы купить современное нейрооборудование. Устаревшие железяки типа отечественного NeuroMatrix и американского NC3003-PCI — не в счёт, они даже первое поколение Pentium не способны «обогнать».
При этом все мы знаем, как развивается вычислительная мощь CPU и GPU. Те же самые технологии при применении к нейросетям, могли бы произвести революцию в информационных технологиях. Но это не выгодно сильным мира сего… вот мощь видеокарт развивать — это сподручно, пусть народ штаны в игрушки просиживает. Все знают о линуксовом проекте «Беовульф», когда энтузиасты решили разработать метод создания суперкластеров. Мощь обещала позволять моделировать ядерные взрывы. Естественно проект закрыли.
О том как государство искореняет нейротехнологии хорошо проиллюстрировано одним случаем описанным в книге «Гигабайты власти» Бёрда Киви в главе «Жертвы аборта».
Вот так вот… не в моде дело.
http://www.particle.kth.se/~lindsey/elba…
http://www.avaye.com/showdetails.php/neu…
Вы не сможете купить ни одну из этих плат или их развитие (что более резонно). Было около 20-и организаций производящих как нейроплаты, так и нейрокомпьютеры. Время шло, все предприятия перекупались государствами, закрывались и засекречивались. Сейчас нет ни одной (!) организации, у которой гражданские могли бы купить современное нейрооборудование. Устаревшие железяки типа отечественного NeuroMatrix и американского NC3003-PCI — не в счёт, они даже первое поколение Pentium не способны «обогнать».
При этом все мы знаем, как развивается вычислительная мощь CPU и GPU. Те же самые технологии при применении к нейросетям, могли бы произвести революцию в информационных технологиях. Но это не выгодно сильным мира сего… вот мощь видеокарт развивать — это сподручно, пусть народ штаны в игрушки просиживает. Все знают о линуксовом проекте «Беовульф», когда энтузиасты решили разработать метод создания суперкластеров. Мощь обещала позволять моделировать ядерные взрывы. Естественно проект закрыли.
О том как государство искореняет нейротехнологии хорошо проиллюстрировано одним случаем описанным в книге «Гигабайты власти» Бёрда Киви в главе «Жертвы аборта».
Вот так вот… не в моде дело.
Практика показывает что использование кластеров из обычных комплектующих серийного производства себя окупает куда лучше, нежели создание уникальных железок чуть ли не штучного производства. Военные организации так же считают деньги, как и все остальные, куда рациональнее использовать те же современные gpu, которые уже по сути стали достаточно универсальными вычислительными устройствами с многоконвеерной архитектурой.
Я работал с нейронными сетями в области задач, связанных с кластеризацией данных и столкнулся с проблемами несколько другого характера - под каждую уникальную задачу приходится создавать и настраивать свою уникальную ахитектуру сети, искать оптимальные способы представления данных для нее и так далее, в сравнении со временем, каждый раз уходящим на эту работу: создание типовых паттернов, натаскивание на них и т.д., время уходящее непосредственно на расчеты было весьма небольшим. Мало того, полученные результаты были достаточно непредсказуемы и вряд ли кто взялся бы объяснить почему результат получился именно таким. Если подытожить по результатам конкретных проектов в прикладном плане нейросети оказались весьма сложным, капризным и непредсказуемым инструментом, сильно привязанным к квалификации непосредственно живого специалиста.
Возможно у военных есть что-то такое невероятное, но от отечественных военных мне точно не доводилось слышать о разработке столь специфического оборудования, а гадать и разводить конспирологию можно сколько угодно.
Не стоит недооценивать коммерческий фактор, и понимать, что среди огромного количества возможных статей для расходов разработка аппаратной части для технологий с достаточно туманной перспективой будет идти в конце списка. Современные технологии распознавания образов, голоса и т.д. путь и работают по "тупым" жестко прописанным алгоритмам, но они хотя бы предсказуемы в своей эффективности и УЖЕ себя зарекомендовали.
Я работал с нейронными сетями в области задач, связанных с кластеризацией данных и столкнулся с проблемами несколько другого характера - под каждую уникальную задачу приходится создавать и настраивать свою уникальную ахитектуру сети, искать оптимальные способы представления данных для нее и так далее, в сравнении со временем, каждый раз уходящим на эту работу: создание типовых паттернов, натаскивание на них и т.д., время уходящее непосредственно на расчеты было весьма небольшим. Мало того, полученные результаты были достаточно непредсказуемы и вряд ли кто взялся бы объяснить почему результат получился именно таким. Если подытожить по результатам конкретных проектов в прикладном плане нейросети оказались весьма сложным, капризным и непредсказуемым инструментом, сильно привязанным к квалификации непосредственно живого специалиста.
Возможно у военных есть что-то такое невероятное, но от отечественных военных мне точно не доводилось слышать о разработке столь специфического оборудования, а гадать и разводить конспирологию можно сколько угодно.
Не стоит недооценивать коммерческий фактор, и понимать, что среди огромного количества возможных статей для расходов разработка аппаратной части для технологий с достаточно туманной перспективой будет идти в конце списка. Современные технологии распознавания образов, голоса и т.д. путь и работают по "тупым" жестко прописанным алгоритмам, но они хотя бы предсказуемы в своей эффективности и УЖЕ себя зарекомендовали.
Практика показывает что использование кластеров из обычных комплектующих серийного производства себя окупает куда лучше, нежели создание уникальных железок чуть ли не штучного производства.
Это неправда. Не существует сейчас коммерческих нейропакетов, способных работать с кластерами. Если же делать систему с нуля, для оптимизации параллельной работы на кластере потребовались бы знания целого НИИ и умение работать в соответствии с MPI. Это если не говорить, о том, что нейросети хорошо распараллеливаются только в железе, когда каждому нейрону соответствует отдельный вычислитель. C GPU та же проблема — использовать для вычислений можно, но программная реализация окажется непомерно сложной.
По своему опыту я могу сказать следующее. Есть элементарный многослойный персептрон. Доказано, что он работает. По идее можно использовать эту архитектуру как базис практически для любых задач с учителем. Но для каждой конкретной задачи требуется подобрать эффективные параметры этой нейронной сети: размеры сенсорных и выходных слоёв, решить какими будут скрытые слои, определить нужный момент и скорость обучения, решить какая функция активации наиболее подходит — и вы писали об этом. Задача этого подбора, ныне считается нетривиальной и напоминает некое «шаманство». В настоящий момент не существует конкретных, математически-обоснованных, алгоритмов по поиску эффективной конфигурации в зависимости от имеющихся данных и задачи, которая стоит (конечно, есть некие методы типа нахождения оптимальной глубины погружения, но они часто противоречивы между собой). В этой ситуации есть простое решение — попробовать так, да этак, т. е. попросту перебрать некоторые варианты и выбрать наиболее зарекомендовавший себя. И вот здесь кроется основная проблема: в настоящее время любой подбор рискует затянуться на годы. Вы не сможете прогнать за один день, скажем, тысячу вариантов конфигураций, поступательно меняя параметры. Вы будете вынуждены «прыгать» наугад, а это неизбежно отразиться на ваших выводах и эффективности конечной нейронной сети.
То же самое относится к генетическим алгоритмам — чтобы дождаться поколений, которые могли бы восхищать, придётся ждать годы. А для задач большой размерности тем более нужны большие сети.
Из всего вышеперечисленного я делаю вывод: загвоздка в отсутствии быстрого железа, которое позволяло бы быстро использовать большие сети и находить в них закономерности. Но это железо для гражданских ни кто не делает, по причинам высказанным мной выше.
Шаманство действительно выходит то еще :)
В принципе алгоритмическая сторона нейросетей за пару-тройку десятков лет существенно не видоизменилась и она достаточно проста и хорошо изложена в литературе. Так же существует колоссальное количество исходников, библиотек и т.д. связанных с ними. Ясно что бысродействие в зависимости от реализации может на порядки отличаться от, например, матлабовского в большую сторону.
В распределении подобных задач я не вижу абсолютно никаких проблем. То есть создания той среды которая позволит работать с нейросетками в кластере задача, по сути, достаточно тривиальная.
Я встречал немало приложений связанных с "биологическим" нейросетевым моделированием, например GLISSOM которые распараллеливаются ну прямо как душе угодно, а это несколько более сложные системы, нежели классические нейросети.
Другой вопрос: как избежать самих камланий, "давайте добавим побольше слоев, замкнем вход на выход" и прочие очевидные решения как мне кажется малоперспективны.
Перспективным же мне кажется нечто вроде этого: http://www.numenta.com/Numenta_HTM_Conce…
В принципе алгоритмическая сторона нейросетей за пару-тройку десятков лет существенно не видоизменилась и она достаточно проста и хорошо изложена в литературе. Так же существует колоссальное количество исходников, библиотек и т.д. связанных с ними. Ясно что бысродействие в зависимости от реализации может на порядки отличаться от, например, матлабовского в большую сторону.
В распределении подобных задач я не вижу абсолютно никаких проблем. То есть создания той среды которая позволит работать с нейросетками в кластере задача, по сути, достаточно тривиальная.
Я встречал немало приложений связанных с "биологическим" нейросетевым моделированием, например GLISSOM которые распараллеливаются ну прямо как душе угодно, а это несколько более сложные системы, нежели классические нейросети.
Другой вопрос: как избежать самих камланий, "давайте добавим побольше слоев, замкнем вход на выход" и прочие очевидные решения как мне кажется малоперспективны.
Перспективным же мне кажется нечто вроде этого: http://www.numenta.com/Numenta_HTM_Conce…
Шаманство действительно выходит то еще :)
Да уж… похоже многие на этом шишки набили. :)
В распределении подобных задач я не вижу абсолютно никаких проблем. То есть создания той среды которая позволит работать с нейросетками в кластере задача, по сути, достаточно тривиальная.
Я всё-таки не соглашусь с вами. Я пытался распараллеливать работу персептрона на несколько процессоров (что легче, чем кластеры), и это оказалось очень сложно. Дело в том, что каждый нейрон следующего слоя, связан с каждым нейроном предыдущего слоя. Соответственно и воспринимать сигналы с предыдущего слоя может только одним скопом (т. е. нельзя разделить слой на 4-е части и вычислять их отдельно). В обучении тоже используются два слоя целиком и «одновременно». Распараллеливать можно только на уровне векторных операций «внутри» каждого нейрона. Но поскольку нейронов много и операции нужно делать часто, сам процесс распараллеливания занимает львиную долю процессорного времени (хотя признаюсь, в целом ускорение наблюдается, особенно если использовать SSL). В Интернете были научные публикации одного китайского учённого, где выводы были такими же. Если вам задача распараллеливания кажется проще, объясните, пожалуйста, ваш метод распараллеливания, я буду счастлив узнать что-то новое. :)
Перспективным же мне кажется нечто вроде этого...
Огромное спасибо за ссылку, обязательно ознакомлюсь! Беглый осмотр очень заинтересовал.
Собственно ниже я дал еще пару ссылок - так же рекомендую, кстати подобная HTM архитектура полностью снимает вопрос о распараллеливании.
Основная проблема распараллеливания, как мне кажется, в том, что отдельная сетка у нас получается слишком большой, а отдельный "нейрон" слишком мелкой единицей.
В "органическом прототипе", нейроны не существуют в виде однородных слоев а группируются в виде "колонок" из нескольких сотен оных, при этом количество связей между колонками на порядки меньше нежели внутри них - вот, по сути, и готовый кластер. (подробнее посмотреть можно в любом учебнике по нейрофизиологии, например лекции Хьюбела) Другое дело что подобная архитектура это несколько большее, нежели многослойные сетки в их классическом виде, так как по сути мы уже имеем дело на уровне "блоков" более высокого порядка, нежели отдельные нейроны, поэтому еще раз рекомендую обратить внимание на HTM.
Существуют книжки исключительно по этой проблеме:
http://eu.wiley.com/WileyCDA/WileyTitle/…
http://www.powells.com/biblio?isbn=97802…
http://doi.ieeecomputersociety.org/10.11…
К сожалению, бесплатных электронных версий не нашел, так что если вдруг случайно попадутся буду очень благодарен за ссылку.
Так же еще одна статейка, на этот раз бесплатная:
http://www.rmc.ca/academic/math_cs/labon…
На самом деле информации по этому вопросу немало, если покопаться.
Основная проблема распараллеливания, как мне кажется, в том, что отдельная сетка у нас получается слишком большой, а отдельный "нейрон" слишком мелкой единицей.
В "органическом прототипе", нейроны не существуют в виде однородных слоев а группируются в виде "колонок" из нескольких сотен оных, при этом количество связей между колонками на порядки меньше нежели внутри них - вот, по сути, и готовый кластер. (подробнее посмотреть можно в любом учебнике по нейрофизиологии, например лекции Хьюбела) Другое дело что подобная архитектура это несколько большее, нежели многослойные сетки в их классическом виде, так как по сути мы уже имеем дело на уровне "блоков" более высокого порядка, нежели отдельные нейроны, поэтому еще раз рекомендую обратить внимание на HTM.
Существуют книжки исключительно по этой проблеме:
http://eu.wiley.com/WileyCDA/WileyTitle/…
http://www.powells.com/biblio?isbn=97802…
http://doi.ieeecomputersociety.org/10.11…
К сожалению, бесплатных электронных версий не нашел, так что если вдруг случайно попадутся буду очень благодарен за ссылку.
Так же еще одна статейка, на этот раз бесплатная:
http://www.rmc.ca/academic/math_cs/labon…
На самом деле информации по этому вопросу немало, если покопаться.
За рубежом в отличие от России наука не делится на гражданскую и военную. Главная цель бизнеса - получение прибыли. Если где-то в промышленных КБ были разработано нечто для военных, что можно хорошо продавать в невоенном секторе, то это будет продаваться и невоенным, по крайней мере, странам-союзникам.
Берд Киви хороший журналист, но он - журналист. Его стиль подачи материала претенциозен. Многообещающие проекты действительно могут закрывать для экономии денег, когда нужно потратить их на что-то другое. Так, в США программа по супервертолетам Команч была свернута на этапе действующей модели, не смотря на то, что были потрачены миллиарды.
Вроде, NeuroMatrix сообщали в свое время, что сделали самый мощный нейропроцессор. Лукавят?
Большую ставку на ИИ в свое время делали в Японии. И сильно на этом прогорели. Как результат, распыление ресурсов на ИИ привело к тому, что Япония сильно отстала от США по компьютерным технологиям. Где он, японский процессор?! Только сейчас появился Cell, но его считают "мертворожденным". Sony урезает его финансирование. Однако, следует отдать должное, в робототехнике Япония сильно обходит других, как результат увлечения ИИ.
Берд Киви хороший журналист, но он - журналист. Его стиль подачи материала претенциозен. Многообещающие проекты действительно могут закрывать для экономии денег, когда нужно потратить их на что-то другое. Так, в США программа по супервертолетам Команч была свернута на этапе действующей модели, не смотря на то, что были потрачены миллиарды.
Вроде, NeuroMatrix сообщали в свое время, что сделали самый мощный нейропроцессор. Лукавят?
Большую ставку на ИИ в свое время делали в Японии. И сильно на этом прогорели. Как результат, распыление ресурсов на ИИ привело к тому, что Япония сильно отстала от США по компьютерным технологиям. Где он, японский процессор?! Только сейчас появился Cell, но его считают "мертворожденным". Sony урезает его финансирование. Однако, следует отдать должное, в робототехнике Япония сильно обходит других, как результат увлечения ИИ.
За рубежом в отличие от России наука не делится на гражданскую и военную.
Делится. В бюджете США есть «чёрные» пункты финансирования оборонных проектов размером иногда в 9 миллиардов долларов. Есть даже энтузиасты, которые каждый год разыскивают их в бюджете своей страны. Вот, например, самолёт «Aurora Mach 6-plus», о котором известно только название, и несколько догадок. Примеров множество. И я подчёркиваю, что речь идёт о научной работе, об авангарде научно-технического прогресса.
Вроде, NeuroMatrix сообщали в свое время, что сделали самый мощный нейропроцессор. Лукавят?
«Лукавят» — не то слово. В Интернете до сих пор можно найти восторженные статьи об этом «русском чуде». Я имел неприятность работать с этим «чудом» около года, жалею о каждой минуте потраченной на эту ерунду.
Большую ставку на ИИ в свое время делали в Японии. И сильно на этом прогорели. Как результат, распыление ресурсов на ИИ привело к тому, что Япония сильно отстала от США по компьютерным технологиям.
Мне кажется развивать нужно всё, а не делать ставки на что-то конкретное. Я убеждён, что сейчас развивать-то и не обязательно, взять к примеру GPU, который уже сейчас по 16 векторных операций за такт делает и просто аппаратно заточить его под нейросети. Всё! Больше ничего не надо, революция произошла бы.
1. Все эти "черные" пункты в большинстве случаев - зарывание денег налогоплательщиков. И у них, и у нас. У них этим честно занимается DARPA, у нас не ясно кто, а значит все. Пока в DARPA выделяли гранты на создание антигравитационных машин, у нас зарывали средства в торсионные поля.
2. Развивать все - денег не хватит.
3. Одно совершенно ясно. Любые публикации об ИИ вызывают бурное обсуждение в российском сегменте сети. Поэтому я и полагаю, что он будет создан здесь. Поскольку нигде в мире не осталось такого романтического отношения к ИИ, как у нас.
Как-то мне довелось послушать доклад про наш нейрокомпьютер "Эмбрион". Сильно. С моей точки зрения, выбрано верное направление. Но где этот нейрокомпьютер? Сейчас модно - нанотехнологии.
2. Развивать все - денег не хватит.
3. Одно совершенно ясно. Любые публикации об ИИ вызывают бурное обсуждение в российском сегменте сети. Поэтому я и полагаю, что он будет создан здесь. Поскольку нигде в мире не осталось такого романтического отношения к ИИ, как у нас.
Как-то мне довелось послушать доклад про наш нейрокомпьютер "Эмбрион". Сильно. С моей точки зрения, выбрано верное направление. Но где этот нейрокомпьютер? Сейчас модно - нанотехнологии.
Ну да, ну да. Нас всех облучает кровавая гэбня.
Странно, буквально несколько лет назад вышла революционная, на мой взгляд, книга J. Hawkins-а "On intellegence", с которой настоятельно рекомендую ознакомиться всем, интересующимся данной темой.
Ссылки:
http://www.onintelligence.org/
http://www.numenta.com
Ссылки:
http://www.onintelligence.org/
http://www.numenta.com
По фотографии не скажешь, что он недоволен
Создать аналог человеческого мозга - это утопия.
А вот создать центры по математическим вычислениям огромной мощности это уже реалии, но это лишь неболшая часть выполнения прикладных задач, требующая большого количества вычислений в единицу времени.
А вот создать центры по математическим вычислениям огромной мощности это уже реалии, но это лишь неболшая часть выполнения прикладных задач, требующая большого количества вычислений в единицу времени.
Странно, почему ИИ ассоциируется исключительно с нейросетями. Не буду спорить с Мински - подкасты не слушал - но на мой взгляд нейросети - только одна из областей Machine Learning, развитие которой на месте совершенно не стоит.
Вот тут человек тоже говорит об этом.
Вот тут человек тоже говорит об этом.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Марвин Мински недоволен развитием искусственного интеллекта