Как стать автором
Обновить
104.1
Карма
0
Рейтинг
Kiriyama @Kiriyama

Пользователь

  • Подписчики 6
  • Подписки 8
  • Публикации
  • Комментарии

Аппаратное ускорение глубоких нейросетей: GPU, FPGA, ASIC, TPU, VPU, IPU, DPU, NPU, RPU, NNP и другие буквы

Big Data *Машинное обучение *Компьютерное железо Научно-популярное Искусственный интеллект


14 мая, когда Трамп готовился спустить всех собак на Huawei, я мирно сидел в Шеньжене на Huawei STW 2019 — большой конференции на 1000 участников — в программе которой были доклады Филипа Вонга, вице-президента по исследованиям TSMC по перспективам не-фон-неймановских вычислительных архитектур, и Хенга Ляо, Huawei Fellow, Chief Scientist Huawei 2012 Lab, на тему разработки новой архитектуры тензорных процессоров и нейропроцессоров. TSMC, если знаете, делает нейроускорители для Apple и Huawei по технологии 7 nm (которой мало кто владеет), а Huawei по нейропроцессорам готова составить серьезную конкуренцию Google и NVIDIA.

Google в Китае забанен, поставить VPN на планшет я не удосужился, поэтому патриотично пользовался Яндексом для того, чтобы смотреть, какая ситуация у других производителей аналогичного железа, и что вообще происходит. В общем-то за ситуацией я следил, но только после этих докладов осознал, насколько масштабна готовящаяся в недрах компаний и тиши научных кабинетов революция.

Только в прошлом году в тему было вложено больше 3 миллиардов долларов. Google уже давно объявил нейросети стратегическим направлением, активно строит их аппаратную и программную поддержку. NVIDIA, почувствовав, что трон зашатался, вкладывает фантастические усилия в библиотеки ускорения нейросетей и новое железо. Intel в 2016 году потратил 0,8 миллиарда на покупку двух компаний, занимающихся аппаратным ускорением нейросетей. И это при том, что основные покупки еще не начались, а количество игроков перевалило за полсотни и быстро растет.


TPU, VPU, IPU, DPU, NPU, RPU, NNP — что все это означает и кто победит? Попробуем разобраться. Кому интересно — велкам под кат!
Читать дальше →
Всего голосов 168: ↑168 и ↓0 +168
Просмотры 60K
Комментарии 112

Нейробиология и искусственный интеллект: часть первая — ликбез

Искусственный интеллект
Из песочницы
Так уж получилось, что я уже давненько читаю Хабр и особенно раздел про искусственный интеллект, однако до сих пор так и не отважился внести свою лепту в общий уровень энтропии.

Оживленные дискуссии в комментариях показывают живой интерес к теме и одновременно большое разнообразие точек зрения, мнений и уровней подготовки. Просмотрев историю публикаций, я как-то не нашел важного отправного пункта для многих рассуждений, а именно – какого-нибудь описания механизмов передачи сигналов в мозге. Те, кто пишут про нейронные сети и прогресс в компьютерных моделях интеллекта обычно вскользь упоминают про синапсы и медиаторы (что вполне достаточно для их целей), те же, кто пытается понять природу естесственного интеллекта в основном рассуждают философскими категориями. В результате, множество коментариев содержат отсылки к популярным домыслам и мифам, не находящим подтверждения в современных исследованиях.

В данной статье я в сжатой форме попытаюсь дать ответы на следующие вопросы:
— что же такое нейрон, как он устроен и работает?
— что происходит в синапсах, когда нейроны общаются друг с другом?

А в следующей (-щих):
— как интеллект и сознание связаны с активностью нейронов? (здесь же про то, как информация обрабатывается мозгом, нейропластичность, квантовую теорию сознания, сон и т.д.)
Читать дальше →
Всего голосов 68: ↑64 и ↓4 +60
Просмотры 64K
Комментарии 43

SICP теперь по-русски

Программирование *
image

Удивительно, что до сих пор никому еще не пришла в голову идея перевести эти легендарные лекции на русский язык.

В качестве эксперимента выкладываю перевод первой из 20 лекций. Если это получит должный отклик, буду переводить дальше.
Читать дальше →
Всего голосов 97: ↑92 и ↓5 +87
Просмотры 37K
Комментарии 61

Сохраняем мозг со всеми синапсами

Мозг
Вчера мне довелось пообщаться с Monir Mazaheri — научным сотрудником отделения нейробиологии в Karolinska Institutet, Швеция. Она рассказала о последних открытиях в исследованиях деградации мозга и болезни Альцгеймера. Оказалось, есть очень простые способы развить свой интеллект, если вы молоды, и сберечь его, если вам ближе к 60. Суть в том, что не обязательно много заниматься чисто интеллектуальной работой, важнее задействовать все зоны мозга.
Как же это сделать?
Всего голосов 180: ↑167 и ↓13 +154
Просмотры 1.8K
Комментарии 52

Как не быть обманутым злыми буратинами

Законодательство в IT

Уж сколько раз твердили миру,
Что лесть гнусна, вредна; но только все не впрок,
И в сердце льстец всегда отыщет уголок.
«Ворона и Лисица» (1807) И. А. Крылов
1807 год, вдумайтесь! 1807, 200 лет назад!F

Небольшие инструкции по материальным взаимоотношениям.


Для всех обиженных опсосами, банками, сервис центрами и прочими злыми буратинами.
Читать дальше →
Всего голосов 210: ↑201 и ↓9 +192
Просмотры 12K
Комментарии 210

Много книг, хороших и разных

Профессиональная литература
Мой список книг, которые мне хочется прочесть, изрядно вырос, спасибо топику “запасаемся на зиму”. Под катом вы обнаружите список книг, составленный по комментариям в том топике.
Читать дальше →
Всего голосов 139: ↑124 и ↓15 +109
Просмотры 55K
Комментарии 88

Мухи, математика… Роботы?

Искусственный интеллект
Перевод
image

Формализуя активность клеток мозга мухи, задействованных в зрительных процессах, ученые нашли новый способ извлечения траекторий движения из необработанных визуальных данных.
Читать дальше →
Всего голосов 107: ↑100 и ↓7 +93
Просмотры 2.2K
Комментарии 54

Сравнительный обзор матплат на платформе nVidia ION

Компьютерное железо
Автор данной статьи — юзер(пока не хабра) Inc, который рассчитывает на вашу помощь в получении инвайта.

Вступление



В комментариях к предыдущему топику многие хабрачеловеки сравнивали плату от ASUS с аналогичными продуктами других производителей. Это подтолкнуло меня к мысли о публикации этого сравнительного обзора, в котором будут относительно подробно освещены анонсированные и уже поступившие в продажу платы на платформе nVidia ION. Дабы добавить объективности, разбавлять это ION-ное семейство будет плата Intel D945GCLF2.

image

На данной схеме представлены технические возможности платформы. Разумеется, в форм-фактор mini-ITX накладывает существенные ограничения на разводку плат и каждый производитель старается придать своему продукту капельку индивидуальности. Именно это и позволяет нам сравнивать эти, в общем-то очень похожие платы.

Хочу увидеть обзор...
Всего голосов 56: ↑52 и ↓4 +48
Просмотры 1.5K
Комментарии 54

Как бороться с нерадивыми копипастерами?

Копирайт
Доброго времени суток, хабрасообщество.
Столкнулся я с ситуацией, которая натолкнулся меня на некоторые вопросы.
Тема эта не новая, ситуация классическая — копирование контента в интернете.
Многие скажу: «не хочешь, чтоб копировали — не пиши», и отчасти с ними можно согласиться, но лишь отчасти.
Интернет переполнен сайтами аггрегаторами, которые собирают инфу по всему интернету в одном месте, и обвешивают это место тоннами рекламы и всплывающих окон.

image

Как же с ними бороться? Кто-нибудь знает?
Читать дальше →
Всего голосов 99: ↑76.5 и ↓22.5 +54
Просмотры 755
Комментарии 194

Спокойной ночи!

Разработка под Android *
image Около месяца назад я приобрел HTC Hero. Основной причиной, по которой был выбран этот телефон, а не iPhone, была возможность полноценно разрабатывать приложения под Windows.

В качестве пробы пера я написал небольшую программу, которая выключает звук на ночь. Под катом описание процесса разработки и ссылка на программу.
Читать дальше →
Всего голосов 139: ↑126 и ↓13 +113
Просмотры 12K
Комментарии 72

Мысли вслух: распознание текста.

Искусственный интеллект
1. Первый момент по поводу распознания рукописного текста с помощью нейронных сетей.

«Летом 1987 я получил опыт, который еще больше охладил мой и так невысокий энтузиазм относительно нейронных сетей. Я пришел на конференцию по нейронным сетям, где я увидел презентацию, устроенную компанией, называемой Nestor. Nestor пыталась продать приложение на нейронной сети для распознавания рукописных символов на подложке. Она предлагала лицензию на программу за один миллион долларов. Это привлекло мое внимание. Хотя Nestor провела улучшение алгоритма ее нейронной сети и рекламировала ее как еще один большой прорыв, я чувствовал, что проблема распознавания рукописных символов могла бы быть решена более простым, более традиционным путем. Я пришел домой той ночью, размышляя о проблеме, и за два дня разработал распознаватель рукописных символов который был быстрым, маленьким и гибким. Мое решение не использовало нейронную сеть и оно работало совершенно не так, как мозг. Хотя эта конференция разожгла мой интерес в разработке компьютеров со стилусом (в конечном счете приведший к проекту PalmPilot десять лет спустя), это также убедило меня, что нейронные сети были не таким уж большим улучшением по сравнению с традиционными методами. Распознаватель рукописных символов, который я создал, пригодился в конечном счете для системы текстового ввода, названной Graffiti, использованной в первых сериях продукции Palm. Я думаю, компания Nestor ушла из бизнеса». Джеф Хокинс, «Об интеллекте»

В своей книге Джеф предлагает теорию искусственного интеллекта, предполагающую его в виде нейронной сети, повторяющую структурой неокортекс, кору головного мозга. В своей теории он объясняет интеллектуальность моделью «память-предсказание» и инвариантным представлением данных:
Читать дальше →
Всего голосов 47: ↑33 и ↓14 +19
Просмотры 3K
Комментарии 49

ИИ — Сделай сам

Искусственный интеллект
Очень приятно, что тема искусственного интеллекта не заглохла, а продолжает развиваться. Здесь уже набралось множество статей с прекрасными идеями и интересными комментариями. Глядя на все это многообразие, захотелось вернуться к начатой полгода назад серии публикаций и поделиться некоторыми возникшими с тех пор мыслями и рассуждениями. Все это я попытался скомпоновать в одну большую статью, которая описывает все аспекты того, как будет работать конечный продукт, и содержит соображения по его реализации.
Читать дальше →
Всего голосов 80: ↑69 и ↓11 +58
Просмотры 20K
Комментарии 176

MySQL: разрушаем стереотипы

MySQL *
В последнее время часто стал натыкаться на различные рассуждения людей, по поводу того, что MySQL — это плохо, это очень плохо — потому что… а вот дальше идут описания различных фич MySQL, которые четко документированы, но пользователь их просто не знает. Кто-то добавляет в БД данные без валидации и удивляется почему они сохранились в неверном формате, а кто-то описывает кучу особенностей myIsam движка, и на этих основаниях делает вывод, что MySQL это отстой — который невозможно использовать в реальных проектах. Всю документацию прочитать невозможно, и да — я с этим абсолютно согласен, но поверьте у нас есть куча других недокументированных и не менее интересных особенностей. Давайте начнем с малого, к примеру докажем, что NULL равно нулю.
это новогодний пост - отнеситесь к нему с юмором, качаем последний MySQL и поехали
Всего голосов 131: ↑118 и ↓13 +105
Просмотры 59K
Комментарии 125

Символьная регрессия

Программирование *Data Mining *
Из песочницы
При решении задач с применением методов машинного обучения, как правило, мы выбираем наиболее подходящий алгоритм в контексте задачи, а также способ настройки его параметров.

Давайте рассмотрим несколько иной подход: вместо того, чтобы самостоятельно выбирать алгоритм, разработаем программу, которая способна автоматически генерировать алгоритмы для решения задач.

Читать дальше →
Всего голосов 78: ↑74 и ↓4 +70
Просмотры 36K
Комментарии 76

Прогресс в разработке нейросетей для машинного обучения

Data Mining *Алгоритмы *
В пятничном номере NY Times опубликована статья о значительных успехах, который демонстрируют в последние годы разработчики алгоритмов для самообучаемых нейросетей. В глубоких структурах есть несколько скрытых слоёв, которые традиционно тяжело было обучать. Но всё изменилось с использованием стека из машин Больцмана (RBM) для предварительной тренировки. После этого можно удобно перенастраивать веса, применяя метод обратного распространения ошибки (backpropagation). Плюс появление быстрых GPU — всё это привело к существенному прогрессу, который мы наблюдаем в последние годы.

Сами разработчики не делают громких заявлений, чтобы не поднимать ажиотаж вокруг нейросетей — такой, как в 1960-е годы поднялся вокруг кибернетики. Тем не менее, можно говорить о возрождении интереса к исследованиям в этой области.
Читать дальше →
Всего голосов 87: ↑74 и ↓13 +61
Просмотры 43K
Комментарии 29

Подборка полезного для любителей Twitter Bootstrap

Разработка веб-сайтов *
В подборке сервисы, плагины, темы и другие полезности, облегчающие работу с Twitter Bootstrap.

Стилизация


BootSwatchr — быстрая стилизация Twitter Bootstrap.

Читать дальше →
Всего голосов 248: ↑243 и ↓5 +238
Просмотры 249K
Комментарии 58

Математический подход к созданию сайтов

Разработка веб-сайтов *Математика *
Из песочницы
«Математика прекрасна». Это может показаться абсурдным, для людей которые при одном только упоминании математики вздрагивают. Однако некоторые из самых красивых вещей в природе и нашей Вселенной — это проецирование математических свойств, от самых маленьких до крупнейших галактик. Один из древних философов, Аристотель сказал: «математическим наукам свойственно выстраивать все по порядку, в симметрии и ограничениях, они являются главными формами прекрасного».

Из-за своей природной красоты, математика является частью искусства и архитектуры. Но она практически не применяется  для дизайна сайтов и приложений. Это наблюдается из-за того, что многие не сопоставляют математику с дизайном. Хотя, наоборот, математика может быть инструментом для производства, поистине волшебных конструкций. Тем не менее, вы не должны полагаться на математику для каждого своего творения. Дело в том, что вы должны рассматривать математику как вашего помощника. Для наглядности мы создали пару сайтов, которые представляют математические принципы, обсуждаемые в этой статье. Мы также создали рекомендации, которые можно использовать в дизайне.

Читать дальше →
Всего голосов 145: ↑107 и ↓38 +69
Просмотры 62K
Комментарии 33

Грязное программирование с чистой душой: разработка эвристических систем (часть 1)

Блог компании ABBYY Разработка веб-сайтов *
Химики любят говорить, что химия занимается исследованием грязных веществ чистыми методами, физика — чистых веществ грязными методами, а физическая химия, дескать, исследует грязные вещества грязными методами. В областях, традиционно относящихся к искусственному интеллекту или смежных с ними (распознавание образов, решение NP-трудных задач, обработка текста и т.д.), большинство задач являются грязными. Т.е. плохо поддающимися формальному описанию и не имеющими четких критериев правильности решения. Не знаю, как выкручиваются химики, а программистам редко удается порешать такие задачи, не запачкавшись. Программирование грязных задач тоже грязно, и здесь грязное — не значит плохое. Эта статья не о том, как сохранить чистоту и стерильность. Эта статья о том, как, вооружившись ломом мужеством и терпением, погрузиться в глубинные литосферные слои и выжить.

Итак, предположим, что вам необходимо разработать систему, демонстрирующую сложное поведение (например, переводящую бабушек через дороги, или, в порядке экзотики, распознающую текст на изображении). Если вам кажется, что задача недостаточно грязная, попытайтесь написать работающую систему, улучшить качество ее работы, насколько это возможно, а затем улучшить еще сильнее. Желательно, если при этом не ухудшится быстродействие, идеально — если улучшится.
Читать дальше →
Всего голосов 88: ↑80 и ↓8 +72
Просмотры 24K
Комментарии 34

Грязное программирование с чистой душой: разработка эвристических систем (часть 2)

Блог компании ABBYY Разработка веб-сайтов *
В первой части этой статьи мы говорили о сложных эвристических программных системах, которые я назвал грязными. В этой части порассуждаем о некоторых практических аспектах работы с такими системами.

Мы говорили о пугающей сложности эвристических систем. Речь идет о жизни и смерти: либо сложность, которой вы платите за улучшение качества работы системы, растет, либо растет слишком быстро. Во втором случае даже небольшие улучшения с каждым разом даются все более тяжело, и Ахиллес никогда не добирается до черепахи. В первом случае появляется шанс успеть поесть супчика.

Читать дальше →
Всего голосов 61: ↑56 и ↓5 +51
Просмотры 22K
Комментарии 32

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность