Иногда возникают идеи без должной проработки на начальном этапе и эти идеи за счёт убедительности их автора кажутся всем членам команды очень перспективными. Итак, некоторое время назад у группы компаний ВИТ и ComBox Technology родилась идея реализации сервера на базе множества микрокомпьютеров. Назначение сервера – исполнение нейронных сетей на CPU и GPU микрокомпьютеров. Предполагаемый форм-фактор будущего сервера – 1U, стоечный вариант. И все бы ничего, только идея включала пассивное охлаждение, так как анонсированное тепловыделение предполагаемых к использованию микрокомпьютеров было 25 Вт. Собственно, предполагаемым микрокомпьютером для реализации был выбран Intel NUC с процессором Intel Core i5 и встроенным GPU Iris Plus 655. 25 Вт, 1U, пассивное охлаждение, сервер – все это звучит ободряюще, но дальше стали всплывать нюансы.
Чипы Intel Myriad X и их масштабируемость в инференсе нейронных сетей
Из песочницы
Нейростики Intel NCS2, чипы Myriad X, решения сторонних производителей — компания Intel продвигает решения на базе Myriad X в самых различных вариантах.
Чем же так хороши эти ускорители? Во-первых, стоимостью одного FPS. Во-вторых, полной совместимостью с OpenVINO, где можно перенести существующие решения с CPU/GPU на стик или MyriadX без их доработки или дополнительной адаптации. Конечно же, адаптация это не особенность VPU, а, скорее, особенность OpenVINO, где каждая обученная сеть может работать на любой выбранной аппаратной платформе, будь то CPU, GPU, FPGA, VPU и выбор может быть сделан не до разработки, а после.
Архитектура современных систем объектовой видеоаналитики. Процесс становления или укоренившиеся со временем изъяны?
Анализ и проектирование систем *Проектирование и рефакторинг *Машинное обучение *Управление разработкой *Искусственный интеллект
Текущий год – это ралли среди различных систем распознавания и детекции объектов от различных вендоров. Новые устройства для исполнения нейронных сетей: FPGA, VPU, многоядерные процессоры с VNNI и многое другое предлагается от разработчиков аппаратной части. Параллельно наблюдается рост числа доступных топологий, а также готовых предобученных сеток. Детекция инцидентов, ДТП, подсчет пассажиропотоков, построение половозрастных портретов, распознавание эмоций и многое другое сегодня доступно для разработчиков. И все было бы хорошо, если бы не замысловатый «Time to market» (быстрее, быстрее на тот самый рынок, где деньги и если не мы первые, то точно не успеем), следствием которого мы видим на выходе слабо (читай – сложно, дорого) поддерживаемые монструозные системы All-in-one. А ведь параллельно существуют архитекторы (люди), виртуализация (подходы), способы автоматизации процессов, системы контроля состояний и параметров устройства или их множества. Но ввиду сжатых сроков, это опускается и появляются те самые, описанные выше, монстры. И да, задача «быстрее в рынок», часто бывает достигнутой. Но основная ошибка на начальном этапе заключается в том, что после достижения первичных целей сегодня, требования к скорости дополнения и развития решений будут только усугубляться. Рынок-то растущий, система несовершенна и требует развития, а не шага назад и переработки proof of concept в промышленное решение. И на этом этапе проверка гипотезы уходит в продакшн.
Промышленные безвентиляторные ПК на базе Intel NUC в объектовой видеоаналитике
Блог компании Intel Машинное обучение *Производство и разработка электроники *Искусственный интеллект Настольные компьютеры
Recovery mode
Пост-призер новогоднего NUCо-конкурса Intel.
Мы в компании ComBox работаем с Intel NUC начиная с четвертого поколения и используем их для исполнения нейронных сетей в объектовой видеоаналитике. В 2014 году мы начали знакомство с модели Intel NUC4i5MYHE, потом решения были мигрированы на Intel NUC5i3RYB, сейчас применяются Intel NUC8i5BEK.
Пример решения на базе Intel NUC: сервер на 8 Intel NUC8i5BEK в форм-факторе 1U и Outdoor Box NUC (промышленный безвентиляторный ПК для наружного использования) на базе Intel NUC5i3RYB
Мы в компании ComBox работаем с Intel NUC начиная с четвертого поколения и используем их для исполнения нейронных сетей в объектовой видеоаналитике. В 2014 году мы начали знакомство с модели Intel NUC4i5MYHE, потом решения были мигрированы на Intel NUC5i3RYB, сейчас применяются Intel NUC8i5BEK.
Пример решения на базе Intel NUC: сервер на 8 Intel NUC8i5BEK в форм-факторе 1U и Outdoor Box NUC (промышленный безвентиляторный ПК для наружного использования) на базе Intel NUC5i3RYB
Комплекс детекции курения по фото или видео на базе Intel NUC
Recovery mode
В этом посте мы расскажем о том, как решали задачу определения факта курения посредством объектовой видеоаналитики на Intel NUC. На входе – видеопотоки с камер видеонаблюдения, которые декодируются, нарезаются на вычислителе на фреймы, а далее каждый фрейм (с учетом делителя кадровой частоты) отдается нейронной сети, которая детектирует наличие факта курения и возвращает вероятность события.
Применение детектора курения на транспорте
Блог компании Intel Машинное обучение *Производство и разработка электроники *Компьютерное железо Искусственный интеллект
Recovery mode
Ранее мы рассказывали про детекцию курения посредством объектовой видеоаналитики. Попробуем теперь рассмотреть практические аспекты применения данных решений и конкретные отрасли внедрения, а также их преимущества для бизнеса.
На наш взгляд самой интересной сферой применения является транспорт, в частности – каршеринг, где уже сейчас предусмотрены меры наказания в виде штрафов за курение в салонах арендованных автомобилей. Сумма штрафа варьируется в зависимости от компании от 5 до 15 тысяч рублей. Возвращаясь к сравнению объектовой видеоаналитики и датчиков, датчики не улавливают вейпы и иные приспособления для курения смесей, а также практически не чувствительны при открытых окнах автомобиля. Но это не отменяет факт нарушения и, соответственно, законного наказания в виде штрафа в соответствии с договором.
Приемы повышения производительности инференса глубоких моделей с DL Workbench. Часть 1 — введение и установка
Если у вас есть проект с интенсивной обработкой данных глубокими моделями (или еще нет, но вы собираетесь его создать), то вам будет полезно познакомиться с приемами по повышению их производительности и уменьшению затрат на покупку / аренду вычислительных мощностей. Тем более, что многие из приемов сейчас выполняются буквально за несколько кликов мышкой, но при этом позволяют повысить производительность на порядок. В этом посте мы рассмотрим какие оптимизации бывают, установим Docker на Windows 10 и запустим DL Workbench, измерим производительность инференса без оптимизации и с применением оных.
Повышение производительности инференса глубоких моделей с DL Workbench. Часть 2 — квантизация и Throughput mode
В первой части мы уже познакомились с тем, какие существуют методы для повышения производительности, что такое DL Workbench, как в него загрузить модель для оптимизации. Настало время познакомиться еще с двумя методами повышения производительности инференса - квантизация моделей и Throughput mode.
Как мы сделали акселератор инференса нейронных сетей для ЦОД с 64 чипами Intel Movidius
Блог компании Intel Высокая производительность *Производство и разработка электроники *Компьютерное железо Искусственный интеллект
Некоторое время назад мы искали оптимальное аппаратное и программное обеспечение для исполнения нейронных сетей в ЦОД и "на краю" (edge computing). В рамках нашего исследования мы протестировали множество устройств, от процессоров до встроенной графики iGPU и GPGPU различных производителей. С результатами исследования можно ознакомиться по ссылке.
В рамках этого исследования нас заинтересовал VPU Intel Movidius (MyriadX). На его базе мы решили создать и компактное решения для исполнения "на краю", и мощный акселератор инференса для ЦОД. Что у нас из этого получилось - читайте под катом.
Защита моделей нейронных сетей при помощи аппаратных ключей SenseLock
Нейронные сети помогают нам решать различные задачи в сфере AI и компьютерного зрения. Например, детектирование, классификация, сегментация, распознавание объектов и многие другие. Во многих случаях используются готовые предобученные модели, которые дообучаются по собственным данным разработчика для получения готового отраслевого решения. В этом случае ценность представляет как сам датасет (набор размеченных данных для дообучения), так и полученная модель. Если модель эксплуатируется у Заказчика, распространяется по лицензионной схеме и обладает достаточными для рынка показателями точности, то она сама по себе представляет ценность, так как может быть скопирована и запущена в рамках сторонних решений.
Одной из задач, которая встает на этапе деплоймента готовых решений на базе нейронных сетей – это защита разработанных и предобученных моделей от несанкционированного использования с интеграцией системы лицензирования и лимитированием сроков в варианте срочных лицензий.
Защита нейронной сети может быть физическая и юридическая. Юридическая защита обычно заключается в использовании «водяных знаков», и поможет доказать, что нейронная сеть используется не законно. Физическая защита сводится к блокировке защищенной модели. В данной статье мы рассмотрим физическую защиту на основе ключей SenseLock и фреймворка Intel OpenVINO.
Мы в своих решениях используем оптимизацию моделей и инференс (исполнение моделей) в фреймворке Intel OpenVINO. Это позволяет оптимизировать скорость исполнения нейронных сетей на всей линейке устройств Intel начиная от CPU, встроенной графики iGPU и заканчивая ускорителями VPU на базе Intel Movidius (MyriadX).
Атака на Nvidia DeepStream с помощью некорректного фрейма видео в формате H264
Высокая производительность *Информационная безопасность *GPGPU *Машинное обучение *Искусственный интеллект
Nvidia DeepStream - широко известный в узких кругах инструмент для инференса на нейронных сетях и другой высокопроизводительной обработки видео-потоков в реальном времени на оборудовании от Nvidia.
Наша команда занимается разработкой и оптимизацией пайплайнов видео аналитики для работы на базе DeepStream. В текущем проекте мы обнаружили, что некоторые пайплайны виснут. В ходе расследования мы обнаружили вектор атаки, который позволяет сформировать специальный фрейм в H264, вызывающий зависание DeepStream.