В этой статье мы расскажем про более низкоуровневые оптимизации, которые можно делать на процессорах Эльбрус.

В принципе, оптимизации подобного уровня не являются необходимым этапом разработки под Эльбрус. Для большинства вычислительных операций, требующих высокой производительности, можно и нужно использовать функции из библиотеки EML.

Однако в текущей версии EML мы не нашли некоторых интересных нам функций, поэтому приняли решение написать их сами.

В прошлой статье мы рассмотрели концептуально все слои и функции, из которых будет состоять будущая модель. Сегодня мы выведем формулы, которые будут отвечать за обучение этой модели. Слои будем разбирать в обратном порядке — начиная с функции потерь и заканчивая сверточным слоем. Если возникнут трудности с пониманием формул, рекомендую ознакомиться с подробным объяснением (на картинках) метода обратного распространения ошибки, и также вспомнить о правиле дифференцирования сложной функции.

Несмотря на то, что можно найти не одну статью, объясняющую принцип метода обратного распространения ошибки в сверточных сетях (раз, два, три и даже дающих “интуитивное” понимание — четыре), мне, тем не менее, никак не удавалось полностью понять эту тему. Кажется, что авторы недостаточно внимания уделяют обычным примерам либо же опускают какие-то хорошо понятные им, но не очевидные другим особенности, и весь материал по этой причине становится неподъемным. Мне хотелось разложить все по полочкам для самого себя и в итоге конспекты вылились в статью. Я постарался исключить все недостатки существующих объяснений и надеюсь, что эта статья ни у кого не вызовет вопросов или недопониманий. И, может, следующий новичок, который, также как и я, захочет во всем разобраться, потратит уже меньше времени.

Это заключительная часть статей о сверточных сетях. Перед прочтением рекомендую ознакомиться с первой и второй частями, в которых рассматриваются слои сети и принципы их работы, а также формулы, которые отвечают за обучение всей модели. Сегодня мы рассмотрим особенности и трудности, с которыми можно столкнуться при тестировании вручную написанной на python сверточной сети, применим написанную сеть к датасету MNIST и сравним полученные результаты с библиотекой pytorch.

Резюме

Хотя корни глубинного обучения уходят в прошлое на десятилетия, ни сам термин «глубинное обучение», ни этот подход, не были так популярны до того момента, когда пять лет назад в эту область вдохнули новую жизнь такие работы, как уже ставшее классическим исследование от 2012 года за авторством Крижевский, Сутскевер и Хинтон о глубинной сетевой модели Imagenet (Krizhevsky, Sutskever, & Hinton, 2012).

Что в этой области было открыто за последующие годы? На фоне внушительного прогресса в таких областях, как распознавание речи, распознавание изображений и игры, а также значительного энтузиазма в популярной прессе, я хотел бы рассмотреть десять проблем глубинного обучения (ГО), и заявить, что для создания искусственного интеллекта общего назначения (ИИОН) ГО необходимо дополнять другими техниками.

1. Приближается ли ГО к своему пределу?

Большинство задач, в которых ГО предложило принципиально новые решения (зрение, речь), в 2016-2017 годах вошло в зону уменьшающейся отдачи.

Франсуа Чоле, Google, автор библиотеки для нейросетей Keras

«Прогресс науки движется от одних похорон к другим». Будущее зависит от студента, с большим подозрением относящегося к тому, что я говорю.

Джофф Хинтон, дедушка глубинного обучения

Главный вопрос этого поста: какие же изменения претерпевает agile коммуникация (и скрам, в частности), натягиваясь на распределенные команды?

Для этого, давайте сначала классифицируем коммуникацию:

1. стратегические митинги (планирование / ретроспектива)
2. ежедневную синхронизацию (в том числе daily standups)
3. прояснение рабочих вопросов

Давайте добавим еще одно измерение! Если попробуем наложить вышеприведенную классификацию на географию, то появляются дополнительные срезы для вышепреведенного:

Привет, Хабр! В августе 2017 года платформа для проведения соревнований по машинному обучению Kaggle провела опрос среди более чем 16 000 респондентов с целью узнать, в каком состоянии сейчас находится анализ данных и машинное обучение. Результаты были выложены в открытый доступ, поэтому мы решили проанализировать, чем отечественный Data Science отличается от зарубежного, как выглядит типичный пользователь Kaggle в России и в мире, и, наконец, какие алгоритмы и фреймворки наиболее популярны.

Решил поделиться с вами опытом настройки кластера PostgreSQL 9.3, состоящего из двух нод, управлением которого занимается pgpool-II, без использования Stream Replication (WAL). Надеюсь, кому-нибудь будет интересно.

Схема:



Как Вы понимаете, это будут два отдельно стоящих сервера, которыми будет управлять pgpool-II.

Конфигурация нод с PostgreSQL:
Оба сервера идентичны по своим аппаратным составляющим.

• 4vCPU;
• 16 Гб памяти;
• CentOS 6.5;

Диски:

• 50 Гб — система;
• 100 Гб — pg_xlog
• 500 Гб — каталог с данными

Пример,

Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        48G  7.4G   38G  17% /
tmpfs           7.8G     0  7.8G   0% /dev/shm
/dev/sda1       194M   28M  157M  15% /boot
/dev/sdb1        99G  4.9G   89G   6% /var/lib/pgsql/9.3/data/pg_xlog
/dev/sdc1       493G  234G  234G  50% /var/lib/pgsql/9.3/my_data

Конфигурация нод с pgpool-II:

• 4vCPU;
• 8 Гб памяти;
• CentOS 6.5;

Диски:

• 50 Гб — система;

Про установку PostgreSQL в детали вдаваться не буду, так как она стандартная.

Настройка pgpool-II.
За основу настройки pgpool-II, взял инструкцию с официального сайта: www.pgpool.net/pgpool-web/contrib_docs/simple_sr_setting2_3.3/index.html

Хотел бы обратить внимание только самые важные моменты:

Если сообщения верны, Intel допустила весьма серьёзную уязвимость в своих центральных процессорах, и её нельзя исправить обновлением микрокода. Уязвимость затрагивает все процессоры Intel за последние лет десять как минимум.

Закрытие уязвимости требует обновления ОС, патчи для Linux уже вышли, Microsoft планирует закрыть её в рамках традиционного ежемесячного «вторника патчей». На данный момент детали уязвимости не разглашаются, но некоторые подробности всё-таки выплыли наружу благодаря Python Sweetness и The Register.

Год 2017 стал годом больших изменений в зарождающейся экосистеме российской микроэлектроники. Эти изменения заметило даже ранее безразличное к российскому железу общество. Российский чип ELISE для умных камер от ЭЛВИС-НеоТек вышел на удобной плате для разработчиков. Эту плату показали по Первому каналу российского телевидения. C российским процессором Байкалом-Т теперь может поработать любой программист через доступ к серверам удаленной лаборатории, которую байкаловцы создали вместе с МГУ. Российские процессоры от НИИСИ стали использовать для телекоммуникационного оборудования.

Для перехода от единичных успехов к развитой экосистеме необходимо подкрутить образование. В сентябре в Томске прошло совещание, на котором преподаватели и инженеры из Москвы, Сибири, Поволжья, Калифорнии и других мест обменялись опытом в преподавании микроэлектроники. Одновременно там же прошел учебный семинар по SystemVerilog, VHDL, FPGA, CPU IP, на который пришли не только россияне, но и студенты из Китая и Вьетнама, среди которых быстро распостранилась информация, что рядом учат чему-то полезному для их карьеры. Под катом — отчет об этом и сопутствующих событиях. Действующие лица: томские и новосибирские университеты, московские МГУ, МФТИ и МИЭТ, новосибирские лицеи, российская компания МЦСТ, американские MIPS, AMD и National Instruments, британская Imagination и казахский Назарбаевский Университет.

Фото: zelao.ru

Владимир Евтушенков, основной акционер АФК «Система», попросил у Путина финансирование для дочерней компании «Системы», завода «Микрон», 25 млрд рублей. Деньги планируется потратить на строительство фабрики микросхем по технологии 28 нм, пишут «Ведомости». По словам источника, знакомого с условиями выделения кредита, Минфину и Минпрому уже была спущена резолюция посодействовать.

Сейчас 62,6% акций зеленоградского завода «Микрон» принадлежит холдингу РТИ, который, в свою очередь, подконтролен АФК «Система». Еще 8,05% акций принадлежит Росимуществу, 25,101% — «Роснано». Остальные акции — на руках у частных инвесторов.

Cnews сообщает, что в текущем году начнутся поставки отечественных компьютеров «Эльбрус-3М» на основе одноимённых процессоров «Эльбрус».
<img src=«habrastorage.org/getpro/habr/olpictures/7de/127/3ed/7de1273ed3c6d99a893e8e66b0b9cbca.jpg» width=300 height=158 border=0 alt=«Внешний вид процессора „Эльбрус“. (фото с ru.wikipedia.org)» hspace=10 vspace=10>

Первый «стопроцентно российский» компьютер «Эльбрус-3М» на уникальном процессоре «Эльбрус», который обсуждался недавно на Хабре, впервые показан прессе (по ссылке есть видео). В присутствии журналистов на компьютере запустили тест SPEC, в котором «Эльбрус» 300 МГц в режиме совместимости с платформой x86 обогнал Pentium III 500 МГц. Разработчики машины при этом сообщили, что на госиспытаниях «Эльбрус» показывал производительность, эквивалентную Pentum 4 2 ГГц.

Как сообщает Cnews, на компьютере «Эльбрус-3М» могут запускаться ОС семейства Linux, а также Windows 2000 и Microsoft Office. Без проблем проигрываются ролики формата MPEG-4 с разрешением 720x416 и запускается Quake (первый из четырёх).

«Эльбрус-3М» производится в топологии 130 нм. В силу отсутствия в России подходящих сборочных линий, собирается он на Тайване (на мощностях компании Taiwan Semiconductor Manufacturing Company).

К концу 2008 г. разработчики собираются поставить заказчикам сто первых 64-процессорных комплексов «Эльбрус-3М». Как ожидается, они будут работать в частях ПРО, ПВО и в криптографических подразделениях спецслужб.

МЦСТ (Московский Центр Спарк (SPARС) Технологии) — российская компания, специализирующаяся на разработке универсальных микропроцессоров, микроконтроллеров и управляющих вычислительных комплексов (wiki).

Есть вкратце, то это та самая организация, что разработала знаменитую серию процессоров «Эльбрус», используемых в отечественных суперкомпьютерах «Эльбрус» (с названиями они не заморачивались).
В принципе, вся информация лежит на википедии и оффсайте, и более подробно о TTX процов я вряд ли смогу рассказать, но вот небольшой фотоотчетег с поля боя предоставить могу.

Итак, в лохматом 1994 году Sun Microsystems выпускает процессор microSPARC II, которым комплектует SPARCStation 4/5/10/20 (к нам на растерзание попала SPARCStaion 5, которую, кстати, самые упоротые фанаты железа до сих пор могут достать):

Выдающийся конструктор вычислительной техники Сергей Алексеевич Лебедев.
Родился Сергей Алексеевич 2 ноября 1902 г. в Нижнем Новгороде.



В 1921 году С. А. Лебедев поступил в Московское высшее техническое училище им. Н. Э. Баумана на электротехнический факультет. В институте С.А.Лебедев сразу приобщился к научному творчеству. Специализировался в области техники высоких напряжений. Его учителями и научными руководителями были выдающиеся русские ученые-электротехники профессора К. А. Круг, Л. И. Сиротинский и А. А. Глазунов. Все они принимали активное участие в разработке знаменитого плана электрификации СССР — плана ГОЭЛРО. Для разработки этого плана и, главное, для его успешного осуществления потребовались уникальные теоретические и экспериментальные исследования. Из всех возникших при этом проблем С. А. Лебедев, еще будучи студентом, основное внимание уделял проблеме устойчивости параллельной работы электростанций. И следует сказать, что он не ошибся в выборе — весь дальнейший отечественный и зарубежный опыт создания высоковольтных энергообъединений определил проблему устойчивости как одну из центральных, от решения которой зависит эффективность дальних электропередач и энергосистем переменного тока.

Получил в апреле 1928 г. диплом инженера-электрика. Его дипломная работа, выполненная под руководством выдающегося учёного К.А. Круга, была посвящена проблеме устойчивости параллельной работы электростанций и имела большое научное и практическое значение.
С.А.Лебедев стал преподавателем МГТУ им. Баумана и одновременно старшим научным сотрудником Всесоюзного электротехнического института им. В.И. Ленина (ВЭИ). Вскоре он возглавил группу, а затем и лабораторию электрических сетей. В те страшные 30-е годы, когда подсиживание и доносительство были обычным явлением, в отделе ВЭИ, которым заведовал Сергей Алексеевич, сотрудники чувствовали себя уверенно и спокойно.

  Закрытое акционерное общество «МЦСТ», российская компания, специализирующаяся на разработке универсальных микропроцессоров, микроконтроллеров и управляющих вычислительных комплексов, завершила испытания своего нового 90-нм процессора Эльбрус-S.

Когда-то еще советские ЭВМ занимали лидирующую позицию среди своих конкурентов. В это мало верится, но знаменитая БЭСМ-6 (первая в СССР на основе транзисторов и ИС), разработанная под руководством легендарного Сергея Лебедева рассчитывала траекторию полета космического корабля «Союз-19» и американского «Аполлона»!
Но это было в 70-х, теперь Россия врядли может похвастаться своей компьютерной индустрией. Цель нижеследующего — выяснить, что на сегодняшний день творится с Российским компьютеростроением и ждет его в будущем…

По счастливой случайности мне в попала в руки консоль от двух спарков МЦСТ — R500 и R1000. Я признаюсь довольно скептически отношусь к проектам Российских электронщиков, так что мне захотелось посмотреть на их производительность. Результатами чего спешу поделиться.

Борис Бабаян о прошлом, настоящем и будущем вычислительной техники

Каким представляется развитие вычислительной техники человеку, который уже более полувека занимается разработкой компьютерных технологий?

Мне удалось побеседовать на эту тему с Борисом Арташесовичем Бабаяном, директором по архитектуре компании «Интел».

Борис Бабаян известен как главный архитектор компьютерных вычислительных систем «Эльбрус-1», «Эльбрус-2» и «Эльбрус-3». Некоторые из его идей использованы в архитектуре Transmeta. В настоящее время Борис возглавляет разработку новой микропроцессорной архитектуры в компании «Интел».

Чтобы совсем покончить с формальностями, перечислю звания, степени и должности Бориса: член-корреспондент РАН, доктор технических наук, профессор, заведующий кафедрой «Микропроцессорные технологии» МФТИ, Intel Fellow, лауреат Государственной и Ленинской премий.

Дальнейшее повествование построено от лица Бабаяна. Мои скупые комментарии оформлены в виде врезок либо ссылок на интернет-страницы.

Борис Бабаян о прошлом, настоящем и будущем вычислительной техники

Почти три месяца прошло с момента публикации первой части этой работы. Всё это время вызревала вторая часть и… наконец, созрела!

Как и в предыдущей части, повествование построено от лица Бабаяна. Большинство своих комментариев я оформил в виде врезок либо ссылок на интернет-страницы.