Я счастлив, что мудаки, скрывающие примитивным самообманом собственную творческую импотенцию за некомпетентностью клиентов («богатеньких профанов») и верящие в какую-то эфемерную профессиональную гордость, подобным образом самоуничтожаются. Естественный отбор.
В распределении подобных задач я не вижу абсолютно никаких проблем. То есть создания той среды которая позволит работать с нейросетками в кластере задача, по сути, достаточно тривиальная.
Я всё-таки не соглашусь с вами. Я пытался распараллеливать работу персептрона на несколько процессоров (что легче, чем кластеры), и это оказалось очень сложно. Дело в том, что каждый нейрон следующего слоя, связан с каждым нейроном предыдущего слоя. Соответственно и воспринимать сигналы с предыдущего слоя может только одним скопом (т. е. нельзя разделить слой на 4-е части и вычислять их отдельно). В обучении тоже используются два слоя целиком и «одновременно». Распараллеливать можно только на уровне векторных операций «внутри» каждого нейрона. Но поскольку нейронов много и операции нужно делать часто, сам процесс распараллеливания занимает львиную долю процессорного времени (хотя признаюсь, в целом ускорение наблюдается, особенно если использовать SSL). В Интернете были научные публикации одного китайского учённого, где выводы были такими же. Если вам задача распараллеливания кажется проще, объясните, пожалуйста, ваш метод распараллеливания, я буду счастлив узнать что-то новое. :)
Перспективным же мне кажется нечто вроде этого...
Огромное спасибо за ссылку, обязательно ознакомлюсь! Беглый осмотр очень заинтересовал.
За рубежом в отличие от России наука не делится на гражданскую и военную.
Делится. В бюджете США есть «чёрные» пункты финансирования оборонных проектов размером иногда в 9 миллиардов долларов. Есть даже энтузиасты, которые каждый год разыскивают их в бюджете своей страны. Вот, например, самолёт «Aurora Mach 6-plus», о котором известно только название, и несколько догадок. Примеров множество. И я подчёркиваю, что речь идёт о научной работе, об авангарде научно-технического прогресса.
Вроде, NeuroMatrix сообщали в свое время, что сделали самый мощный нейропроцессор. Лукавят?
«Лукавят» — не то слово. В Интернете до сих пор можно найти восторженные статьи об этом «русском чуде». Я имел неприятность работать с этим «чудом» около года, жалею о каждой минуте потраченной на эту ерунду.
Большую ставку на ИИ в свое время делали в Японии. И сильно на этом прогорели. Как результат, распыление ресурсов на ИИ привело к тому, что Япония сильно отстала от США по компьютерным технологиям.
Мне кажется развивать нужно всё, а не делать ставки на что-то конкретное. Я убеждён, что сейчас развивать-то и не обязательно, взять к примеру GPU, который уже сейчас по 16 векторных операций за такт делает и просто аппаратно заточить его под нейросети. Всё! Больше ничего не надо, революция произошла бы.
Практика показывает что использование кластеров из обычных комплектующих серийного производства себя окупает куда лучше, нежели создание уникальных железок чуть ли не штучного производства.
Это неправда. Не существует сейчас коммерческих нейропакетов, способных работать с кластерами. Если же делать систему с нуля, для оптимизации параллельной работы на кластере потребовались бы знания целого НИИ и умение работать в соответствии с MPI. Это если не говорить, о том, что нейросети хорошо распараллеливаются только в железе, когда каждому нейрону соответствует отдельный вычислитель. C GPU та же проблема — использовать для вычислений можно, но программная реализация окажется непомерно сложной.
По своему опыту я могу сказать следующее. Есть элементарный многослойный персептрон. Доказано, что он работает. По идее можно использовать эту архитектуру как базис практически для любых задач с учителем. Но для каждой конкретной задачи требуется подобрать эффективные параметры этой нейронной сети: размеры сенсорных и выходных слоёв, решить какими будут скрытые слои, определить нужный момент и скорость обучения, решить какая функция активации наиболее подходит — и вы писали об этом. Задача этого подбора, ныне считается нетривиальной и напоминает некое «шаманство». В настоящий момент не существует конкретных, математически-обоснованных, алгоритмов по поиску эффективной конфигурации в зависимости от имеющихся данных и задачи, которая стоит (конечно, есть некие методы типа нахождения оптимальной глубины погружения, но они часто противоречивы между собой). В этой ситуации есть простое решение — попробовать так, да этак, т. е. попросту перебрать некоторые варианты и выбрать наиболее зарекомендовавший себя. И вот здесь кроется основная проблема: в настоящее время любой подбор рискует затянуться на годы. Вы не сможете прогнать за один день, скажем, тысячу вариантов конфигураций, поступательно меняя параметры. Вы будете вынуждены «прыгать» наугад, а это неизбежно отразиться на ваших выводах и эффективности конечной нейронной сети.
То же самое относится к генетическим алгоритмам — чтобы дождаться поколений, которые могли бы восхищать, придётся ждать годы. А для задач большой размерности тем более нужны большие сети.
Из всего вышеперечисленного я делаю вывод: загвоздка в отсутствии быстрого железа, которое позволяло бы быстро использовать большие сети и находить в них закономерности. Но это железо для гражданских ни кто не делает, по причинам высказанным мной выше.
Я уже много лет занимаюсь искусственными нейронными сетями, и моё скромное мнение такое: существует одна основная проблема, по которой нейронные сети не развиваются — правительства ведущих стран, имеющих серьёзные наработки в этой области, используют мощь нейронных сетей в оборонной промышленности, а в гражданской науке дискредитируют это направление и всячески подавляют. Ещё в середине 90-х имелись аппаратные ускорители, которые позволяли увеличивать скорость нейровычислений до 1000 раз по сравнению с аналогичными, запускаемыми на ПК. Вот, например, пара списков таких плат: http://www.particle.kth.se/~lindsey/elba… http://www.avaye.com/showdetails.php/neu…
Вы не сможете купить ни одну из этих плат или их развитие (что более резонно). Было около 20-и организаций производящих как нейроплаты, так и нейрокомпьютеры. Время шло, все предприятия перекупались государствами, закрывались и засекречивались. Сейчас нет ни одной (!) организации, у которой гражданские могли бы купить современное нейрооборудование. Устаревшие железяки типа отечественного NeuroMatrix и американского NC3003-PCI — не в счёт, они даже первое поколение Pentium не способны «обогнать».
При этом все мы знаем, как развивается вычислительная мощь CPU и GPU. Те же самые технологии при применении к нейросетям, могли бы произвести революцию в информационных технологиях. Но это не выгодно сильным мира сего… вот мощь видеокарт развивать — это сподручно, пусть народ штаны в игрушки просиживает. Все знают о линуксовом проекте «Беовульф», когда энтузиасты решили разработать метод создания суперкластеров. Мощь обещала позволять моделировать ядерные взрывы. Естественно проект закрыли.
О том как государство искореняет нейротехнологии хорошо проиллюстрировано одним случаем описанным в книге «Гигабайты власти» Бёрда Киви в главе «Жертвы аборта».
P. S. Жену только жалко.
Да уж… похоже многие на этом шишки набили. :)
Я всё-таки не соглашусь с вами. Я пытался распараллеливать работу персептрона на несколько процессоров (что легче, чем кластеры), и это оказалось очень сложно. Дело в том, что каждый нейрон следующего слоя, связан с каждым нейроном предыдущего слоя. Соответственно и воспринимать сигналы с предыдущего слоя может только одним скопом (т. е. нельзя разделить слой на 4-е части и вычислять их отдельно). В обучении тоже используются два слоя целиком и «одновременно». Распараллеливать можно только на уровне векторных операций «внутри» каждого нейрона. Но поскольку нейронов много и операции нужно делать часто, сам процесс распараллеливания занимает львиную долю процессорного времени (хотя признаюсь, в целом ускорение наблюдается, особенно если использовать SSL). В Интернете были научные публикации одного китайского учённого, где выводы были такими же. Если вам задача распараллеливания кажется проще, объясните, пожалуйста, ваш метод распараллеливания, я буду счастлив узнать что-то новое. :)
Огромное спасибо за ссылку, обязательно ознакомлюсь! Беглый осмотр очень заинтересовал.
Делится. В бюджете США есть «чёрные» пункты финансирования оборонных проектов размером иногда в 9 миллиардов долларов. Есть даже энтузиасты, которые каждый год разыскивают их в бюджете своей страны. Вот, например, самолёт «Aurora Mach 6-plus», о котором известно только название, и несколько догадок. Примеров множество. И я подчёркиваю, что речь идёт о научной работе, об авангарде научно-технического прогресса.
«Лукавят» — не то слово. В Интернете до сих пор можно найти восторженные статьи об этом «русском чуде». Я имел неприятность работать с этим «чудом» около года, жалею о каждой минуте потраченной на эту ерунду.
Мне кажется развивать нужно всё, а не делать ставки на что-то конкретное. Я убеждён, что сейчас развивать-то и не обязательно, взять к примеру GPU, который уже сейчас по 16 векторных операций за такт делает и просто аппаратно заточить его под нейросети. Всё! Больше ничего не надо, революция произошла бы.
Это неправда. Не существует сейчас коммерческих нейропакетов, способных работать с кластерами. Если же делать систему с нуля, для оптимизации параллельной работы на кластере потребовались бы знания целого НИИ и умение работать в соответствии с MPI. Это если не говорить, о том, что нейросети хорошо распараллеливаются только в железе, когда каждому нейрону соответствует отдельный вычислитель. C GPU та же проблема — использовать для вычислений можно, но программная реализация окажется непомерно сложной.
По своему опыту я могу сказать следующее. Есть элементарный многослойный персептрон. Доказано, что он работает. По идее можно использовать эту архитектуру как базис практически для любых задач с учителем. Но для каждой конкретной задачи требуется подобрать эффективные параметры этой нейронной сети: размеры сенсорных и выходных слоёв, решить какими будут скрытые слои, определить нужный момент и скорость обучения, решить какая функция активации наиболее подходит — и вы писали об этом. Задача этого подбора, ныне считается нетривиальной и напоминает некое «шаманство». В настоящий момент не существует конкретных, математически-обоснованных, алгоритмов по поиску эффективной конфигурации в зависимости от имеющихся данных и задачи, которая стоит (конечно, есть некие методы типа нахождения оптимальной глубины погружения, но они часто противоречивы между собой). В этой ситуации есть простое решение — попробовать так, да этак, т. е. попросту перебрать некоторые варианты и выбрать наиболее зарекомендовавший себя. И вот здесь кроется основная проблема: в настоящее время любой подбор рискует затянуться на годы. Вы не сможете прогнать за один день, скажем, тысячу вариантов конфигураций, поступательно меняя параметры. Вы будете вынуждены «прыгать» наугад, а это неизбежно отразиться на ваших выводах и эффективности конечной нейронной сети.
То же самое относится к генетическим алгоритмам — чтобы дождаться поколений, которые могли бы восхищать, придётся ждать годы. А для задач большой размерности тем более нужны большие сети.
Из всего вышеперечисленного я делаю вывод: загвоздка в отсутствии быстрого железа, которое позволяло бы быстро использовать большие сети и находить в них закономерности. Но это железо для гражданских ни кто не делает, по причинам высказанным мной выше.
http://www.particle.kth.se/~lindsey/elba…
http://www.avaye.com/showdetails.php/neu…
Вы не сможете купить ни одну из этих плат или их развитие (что более резонно). Было около 20-и организаций производящих как нейроплаты, так и нейрокомпьютеры. Время шло, все предприятия перекупались государствами, закрывались и засекречивались. Сейчас нет ни одной (!) организации, у которой гражданские могли бы купить современное нейрооборудование. Устаревшие железяки типа отечественного NeuroMatrix и американского NC3003-PCI — не в счёт, они даже первое поколение Pentium не способны «обогнать».
При этом все мы знаем, как развивается вычислительная мощь CPU и GPU. Те же самые технологии при применении к нейросетям, могли бы произвести революцию в информационных технологиях. Но это не выгодно сильным мира сего… вот мощь видеокарт развивать — это сподручно, пусть народ штаны в игрушки просиживает. Все знают о линуксовом проекте «Беовульф», когда энтузиасты решили разработать метод создания суперкластеров. Мощь обещала позволять моделировать ядерные взрывы. Естественно проект закрыли.
О том как государство искореняет нейротехнологии хорошо проиллюстрировано одним случаем описанным в книге «Гигабайты власти» Бёрда Киви в главе «Жертвы аборта».
Вот так вот… не в моде дело.