Обработка изображений *

Бытует мнение, что C# не место в вычислительных задачах, и мнение это вполне обоснованное: JIT-компилятор вынужден компилировать и оптимизировать код на лету в процессе выполнения программы с минимальными задержками, у него попросту нет возможности потратить больше вычислительных ресурсов, чтобы сгенерить более эффективный код, в отличие от компилятора C++, которые может потратить на это дело минуты и даже часы.

Однако, в последние годы эффективность JIT-компилятора заметно возросла, да и в сам фреймворк завезли ряд полезных фишек, например, интринсики.

И вот стало мне интересно: а можно ли в 2020 году, используя .NET 5.0, написать код, который бы не сильно уступал по производительности C++? Оказалось, что можно.

На рынке IT технологий для финансового сектора и ретейла не так много решений, которые удобны одновременно и покупателям, и продавцам. Распознавание банковских карт – одно из таких решений. Сегодняшняя статья посвящена этой теме.

Кадр из фильма "Иван Васильевич меняет профессию"

Помните этот момент из легендарного произведения Гайдая? Удивительно, насколько по-разному может восприниматься один и тот же человек с одним и тем же лицом. А когда речь идет о миллионах разных людей и нужно найти одного единственного — даже человек уже бессилен, а сверточные нейросети продолжают справляться. Такое большое количество лиц вынуждает искать новые подходы к разграничению. Один из таких подходов — модификации функций потерь, которые помогают нам не потонуть в огромных датасетах при распознавании лиц, довольно точно определяя, кто есть кто.

Под катом мы рассмотрим различные модификации кросс-энтропии для задачи распознавания лиц.

Всем привет! Сегодня расскажем и покажем, как машинное обучение и компьютерное зрение в очередной раз помогают в решении различных задач. В этот раз наша команда приняла участие в кейсе от ООО «Финкейс» в рамках конкурса «Цифровой прорыв» Северо-Кавказского IT-хаба.

Нам предложили разработать прототип интеллектуальной системы по определению качества ремонта квартир на основе алгоритмов компьютерного зрения с использованием инструментария Intel – OpenVINO (Open Visual Inference & Neural Network Optimization).

Кейс:

При оценке любого объекта недвижимости мы сталкиваемся с задачей определения качества ремонта квартир. Качество отделки является одним из важных параметров ценообразования, который, к сожалению, часто не указывают в информации об объекте. Требуется разработать алгоритм оценки, позволяющий по фотографии определить наличие ремонта и качество отделки для последующего использования результата при оценке стоимости объектов.

Для решения задачи было реализовано два классификатора: первый для определения типа ремонта (без отделки, косметический ремонт, стандартный ремонт и ремонт класса люкс), второй – для определения типа помещения. Для обучения классификатора по типу ремонта использовалась модель нейронной сети Resnet50. Для ее обучения мы собрали датасет из 50 тысяч изображений, по 12500 изображений для каждой категории. Обучили и сконвертировали её в ONNX, а из ONNX уже в OpenVINO.

Для конвертации нашей ONNX модели в формат OpenVINO при помощи инструмента Model Optimizer использовалась следующая команда:

• Научная статья
• Pytorch: YOLOv4-CSP, YOLOv4-P5, YOLOv4-P6, YOLOv4-P7 (main repository — use to reproduce results)
  YOLOv4-CSP
  YOLOv4-tiny
  YOLOv4-large
  
• Darknet: YOLOv4-tiny, YOLOv4-CSP, YOLOv4x-MISH
• Структура YOLOv4-CSP

• Google EfficientDet D7x / DetectoRS or SpineNet-190 (self-trained on extra-data)
• Amazon Cascade-RCNN ResNest200
• Microsoft RepPoints v2
• Facebook RetinaNet SpineNet-190

Бесполезное видеонаблюдение или принцип "Чабудо" китайских производителей. Почему интерфейс софта производителей IP камер остался в стиле девяностых?

• КТ — трёхмерное изображение, каждый слой такого изображения называется срезом. При 300–800 срезах лёгких на КТ врачи тратят от 1 до 15 минут на поиск характерных зон, чтобы определить степень поражения. Одна минута — это «на глаз», 30 минут — это среднее при ручном выделении и подсчёте зон повреждённой ткани. В сложных случаях результат может обрабатываться до часа.
• Точность диагностики уровня поражения коронавирусом экспертами «на глаз» высока на границах 0–30 % и 70–100 %. В диапазоне 30–70 погрешность очень высока, и мы обратили внимание, что кто-то из рентгенологов, как правило, системно завышает процент поражения на глаз, а кто-то занижает.

Каждый раз, когда встает заветный вопрос, апгрейдить ли карточки в серверной или нет, я просматриваю подобные статьи и смотрю такие видосы (нет, маркетинговым материалам от Nvidia конечно верить нельзя, как показал недавний кейс с числом CUDA-ядер).

Канал "Этот Компьютер" очень сильно недооценен, но автор не занимается ML. А в целом при анализе сравнений акселераторов для ML в глаза как правило бросаются несколько вещей:

• Авторы учитывают как правило только "адекватность" для рынка новых карт в США;
• Рейтинги далеки от народа и делаются на весьма стандартных сетках (что наверное в целом хорошо) без деталей;
• Популярная мантра тренировать все более гигантские сетки вносит свои коррективы в сравнения;

Не нужно быть семи пядей во лбу, чтобы знать очевидный ответ на вопрос "а какая карта лучше?": карточки серии 20* в массы не пошли, 1080 Ti с Авито до сих очень привлекательны (и не особо дешевеют как ни странно, вероятно по этой причине).

Все это прекрасно и вряд ли стандартные бенчмарки сильно врут, но недавно я узнал про существование технологии Multi-Instance-GPU для видеокарт А100 и нативную поддержку TF32 и мне пришла идея поделиться своим опытом реального тестирования карточек на архитектуре Ampere (3090 и А100). В этой небольшой заметке я постараюсь ответить на вопросы:

• Стоит ли свеч обновление на Ampere? (спойлер для нетерпеливых — да);
• Стоят ли своих денег A100 (спойлер — в общем случае — нет);
• Есть ли кейсы, когда A100 все-таки интересны (спойлер — да);
• Полезна ли технология MIG (спойлер — да, но для инференса и для очень специфичных случаев для обучения);

За деталями прошу под кат.

В современном мире задача сегментации как оказалось решается на раз-два, хотя я думал что это что-то сложное и удивительное. Все что нужно, это прочитать пару статей, установить определенные библиотеки и разметить данные, на все про все нужно пару часов времени, кроме создания тестовой выборки.

В Go есть возможность создавать файлы изображений.

С помощью этого мы можем создавать картинки на лету (в runtime).

Где же это может пригодится?

Если вы в общих чертах представляете себе, как работает компьютерное зрение, но жаждете деталей, то эта статья для вас.

Под катом — о том, как работают нейросети, какого рода алгоритмы используются в системах компьютерного зрения и насколько улучшилось качество распознавания за последние годы. А также о сферах применения: от медицины и геологии до транспорта, строительства и безопасности.

В общем все то, что вы хотели знать, но боялись спросить, или не доходили руки погуглить.

Привет, Хабр! Продолжаем туториал по библиотеке opencv в python. Для тех кто не читал первую часть, сюда: Часть 1, а всем остальным — увлекательного чтения!