Обработка изображений *

С 12ого июля  по 21-ого августа проходило мероприятие Большая математическая мастерская. Я был руководителем проекта целью которого стала разработка метода оценки пигментного состава зерна ячменя на основе анализа цифровых изображений с помощью алгоритмов компьютерного зрения и машинного обучения. Цвет оболочки зерен злаков – важный признак, характеризующий содержащиеся в ней пигменты и метаболиты. Наличие пигментов в оболочке влияет на различные технологические свойства зерна. Показано, что растения с темной окраской зерна являются более холодо- и засухоустойчивыми, а также обладают повышенной устойчивостью к действию патогенов. Такие свойства окрашенных растений связаны с высоким содержанием антиоксидантов, а также с дополнительной механической прочностью оболочек зерна. Темная окраска колоса ячменя может быть обусловлена синтезом и накоплением двух групп пигментов. Голубая и фиолетовая окраска зерна связана с синтезом антоцианов. Серую и черную окраску ячменя обуславливают пигменты меланины. Данные пигменты могут накапливаться в оболочках зерна самостоятельно, либо совместно, поэтому визуально определить, накопление каких именно пигментов обуславливает темный цвет зерна, затруднительно. Для точного определения наличия/отсутствия пигментов используются химические и генетические методы, которые, однако, дороги и трудозатраты. Поэтому сознание нового метода для быстрой оценки наличия пигментов в зернах является актуальной задачей, решение которой поможет при исследовании механизмов генетического контроля окраски зерен.

В предыдущий раз я переводил краткую теорию цвета и описание управления цветом для формата PNG. Если пересказывать своими словами, то цветовые модели делятся на физические (XYZ) и логические (RGB или YUV). В форматах хранения изображений и видео используются логические форматы (потому что они ограничены в диапазоне значений), иногда с добавлением метаданных, описывающих правила конвертации из логической модели в физическую. В то время, как логическая модель обычно хранит значения в диапазоне от 0 до 255 или от 0 до 1, физическая модель оперирует комбинацией трех чисел, каждое из которых представляет взвешенную сумму энергий излучения по всему спектру видимого цвета, взятую с разными весами.

Что касается дисплеев, для них производитель указывает характеристики, описывающие то, как цифровой сигнал из, например, RGB преобразуется в значения XYZ, излучаемые этими самыми дисплеями. Такими характеристиками является точка белого (т.е. какому физическому цвету соответствует RGB-сигнал с компонентами max/max/max), основные цвета (максимумы RGB при остальных минимумах), гамма или передаточная функция, а также охват (gamut), который описывает всё множество физических цветов, которые в принципе может отобразить дисплей.

Upd. 04.12.2021. Наш телеграм канал

Upd 10.09.2021. Добавил ещё одну подборку Colab'ов для генерации картинок

Upd 21.09.2021. Добавил пару иллюстраций к Дюне для примера

Статья будет интересна всем любителям программирования, иностранных языков и красивых книг. Сначала мы сделаем параллельную книгу, имея на руках два обычных текста. Затем мы проиллюстрируем ее картинками в стиле pixel art на основе лишь текстовых подсказок.

Книгу можно сделать более чем на сотне языков с восстановлением и подсветкой связей между предложениями:

А теперь давайте сделаем такую книгу сами.

Привет, Хабр!

Сегодня мы, команда Sber AI, расскажем про различные подходы к FaceSwap с помощью нейросетей. Также мы хотим разобраться, какие у разных подходов есть преимущества и недостатки? И главное — как же все это работает?

Работая над багом под названием "разная цветокоррекция у видео и его скриншота", я наткнулся на интересный текст, простыми словами описывающий то, что происходит с цветом в PNG. Ниже представлен перевод приложения к спецификации PNG, которое может и устарело, но всё равно полезно для общего развития.

Если вам нужно быстро обработать фото для рекламы или запилить классную картинку для Фейсбука, необязательно смотреть туториалы по Фотошопу или просить друга-дизайнера помочь. Есть много сервисов, которые помогут сделать неплохую картинку с минимальными усилиями (иногда в несколько кликов).

Собрали подборку таких сервисов с кратким описанием функционала и основных нюансов. Подборка будет особенно полезна тем, кому нужно работать с графикой регулярно (SMMщики, таргетологи и т. д.).

Формирование бюджета, создание и масштабирование операций по разметке данных

Недооценка труда, необходимого для разметки данных — это распространённая ошибка, признаваемая даже тяжеловесами отрасли разработки ИИ. Большинство распространённых трудностей, с которыми AI/ML-компании сталкиваются в процессе разметки данных, сводится к неадекватному планированию. Эта проблема может принимать различные формы, например:

• Почему мы потратили 100 тысяч долларов на этот набор данных?
• Где набор данных, на создание которого у нас ушло пять месяцев?
• Почему наш data scientist тратит по 40 часов в неделю на разметку данных?

К счастью, все эти трудности можно решить адекватным планированием. В этой статье мы вкратце изложим ключевые элементы хорошего планирования и прогнозирования. Их можно разбить на пять категорий:

1. Установка целей
2. Планирование проекта
3. Оценка времени и затрат
4. Оценка партнёров
5. Назначение менеджера проекта

На современных картах все больше появляется 360 аэроснимков, которые принято называть "Сферические панорамы". Почти каждый владелец БПЛА с камерой может создавать свою собственную сферу. Разбираем подробный способ создания 360 панорамы с помощью бюджетного дрона DJI Mini 2.

Понятия переговорная комната и видеоконференцсвязь за последний год тесно сплелись друг с другом в одно целое.

Всё больше помещений выделяют под переговорные комнаты, и всё больше переговорных комнат оборудуют средствами для удалённых видео коммуникаций.
Учитывая, что планировка офиса многих небольших компаний не всегда позволяет выделить достаточно пространства под переговорные комнаты, такие переговорки, порой, занимают всего несколько квадратных метров.

Как правило, это часть коридора или общего офисного пространства, отделённое стеклянными или гипсокартонными перегородками.

Эти импровизированные переговорные комнаты получили название - Huddle Rooms. Такие "аквариумы" вмещают не больше 3-5 человек и имеют небольшой стол и телевизор. Из-за компактности переговорной комнаты и очень близкого расположения участников к ТВ, непросто подобрать оптимальную камеру ВКС, так как даже веб-камеры с углом обзора 90-120 градусов не всегда способны захватить крайних участников конференции.

На рынке появились панорамные камеры с обзором до 180 градусов, например Jabra Panacast, но они имеют весьма ограниченный функционал и посредственное качество.
Эта статья посвящается новому панорамному решению для ультра компактных переговорных комнат ProfAV Panorama 180. Это интеллектуальная USB-камера ВКС с множеством режимов отображения и отслеживания докладчиков, а также профессиональный спикерфон с объёмным звучанием и эхо/шумо-подавлением.

Полноценных школ по компьютерному зрению, таких, чтобы участники могли получить опыт от разработчиков алгоритмов из крупных технологических компаний, осталось очень немного. В этом плане больше всего повезло студентам из Нижнего Новгорода, ведь каждое лето силами преподавателей Университета Лобачевского и инженеров компании Intel проводится Computer Vision Summer Camp - Летняя школа по компьютерному зрению. А для тех, кому не удалось на нее попасть, мы расскажем самое важное и интересное…

Конфиденциальность это очень важная часть в современном мире. Снимая видео на своей телефон в общественном месте, не всегда, люди, которые попадают в кадр, будут довольны этим и можно получить "по жопке" за это. Для избежания этого лица рамывают или пикселизируются.

Сегодня я хочу поделиться реализацией такого блюра/пикселизации видео (изображения) в вебе.

Насколько мне известно, в большинстве русскоязычных тестировщиков скорости печати используется метрика CPM, наткнувшись на следующее видео мне стало интересно посмотреть на свои показатели метрики WPM.

По окончанию тестирования пользователю показывается результат написанный на картинке. И мне она показалась не совсем корректной.

В предыдущих двух частях мы научились анализировать нашу камеру и подбирать оптимальную экспозицию исходя из математических принципов.

Теперь мы бы хотели эти два умения объединить и получить некую дорожную карту, которая бы вела нас по этой ухабистой дороге любительской астрофотографии.

В первой части я обещал, что тут мы раскроем влияние изменения ISO на итоговое изображение, и мы это сделаем. Единственную оговорку, которую я должен буду сделать: представление, которое вы увидите ниже, потребует и некоторых усилий с вашей стороны, хотя я и постараюсь их [усилия] минимизировать. Но доступ к вашей камере есть только у вас и некоторые измерения вам придётся сделать самостоятельно, чтобы получить персонализированный гороскоп план действий под ясным ночным небом.

И в качестве тизера — картинка из конца статьи. ​

Если бы у data science существовал собственный зал славы, отдельную его часть нужно было бы посвятить разметке. Памятник отвечающим за разметку выглядел бы как атлант, держащий огромный камень, символизирующий их тяжелый и скрупулезный труд. Собственной стелы заслужила бы и база данных изображений ImageNet. За девять лет её контрибьюторы вручную разметили более 14 миллионов изображений. Даже представлять этот труд утомительно.

Хотя разметка и не является особо интеллектуальным трудом, она всё равно остаётся серьёзной проблемой. Разметка — неотъемлемый этап предварительной обработки данных для контролируемого обучения. Для этого стиля обучения моделей используются исторические данных с заранее заданными целевыми атрибутами (значениями). Алгоритм может находить целевые атрибуты, только если их указал человек.

Занимающиеся разметкой люди должны быть чрезвычайно внимательны, поскольку каждая ошибка или неточность отрицательно влияет на качество датасета и на общую производительность прогнозирующей модели.

Как получить высококачественный размеченный набор данных и не поседеть в процессе работы? Главной трудностью являются выбор ответственных за разметку, оценка необходимого для неё времени и подбор наиболее подходящих инструментов.

У современных фермеров сегодня миллион «умной» техники под рукой: дроны, датчики, бортовые компьютеры. Естественно, без мобильных и веб приложений тоже не обошлось. Все эти технологичные штуки делаются для того, чтобы повысить урожайность полей. Тем не менее, некоторые разработчики пошли дальше и помогают агробизнесам не только работать эффективно, но и экологично. Мы в OneSoil как раз работаем над таким приложением. Давайте посмотрим, что экологичного оно умеет делать.

Т.к. помидорами меня за первую часть не закидали — то я продолжу. Там я коснулся аппаратной стороны дела, а именно — определение того, что за рабочая лошадка камера нам досталась:сколько фотоэлектронов она способна удержать, какое усиление сигнала происходит в ряду её характерных ISO, и что шум, зовущийся фотонным, может быть очень даже полезным, даже если он и шум.

В этой части я предлагаю обсудить теоретическую сторону вопроса,а именно: если мы пока предположим, что будем снимать на нативном ISO, когда каждому дополнительному фотоэлектрону будет соответствовать один отсчёт АЦП ( 1e^- = 1 ADU), то каким критерием мы должны руководствоваться для того, чтобы наши исходники были наименее шумными.

Если открыть произвольный JPEG-файл в блокноте, то можно увидеть лишь хаотичный набор символов. Отсюда вопрос: возможно ли закодировать изображение так, чтобы его было можно просмотреть не только обычным способом, но и в обычном блокноте, в виде ASCII-графики.

Сегодня уже думаю уже у любого человека, который хоть чуть-чуть старается идти в ногу с прогрессом, в наличии имеется фотокамера, ну или хотя бы телефон с функцией фото/видеосъёмки. И наверняка, пусть и немногие, увлекающиеся фотосъёмкой любители в какой-то момент пробовали снимать и ночное небо в том числе. И задавались вопросом: "а почему же на своих снимках я вижу одно, а в интернете, порой на том же самом оборудовании, люди получают совершенно другое?.." В дальнейшем оказывается, что для того чтобы снимать небо нужно и выезжать из города, и свет копить не секундами, а минутами, экспозиций лучше делать как можно больше, а потом всё это надо ещё и обрабатывать.

При этом даже когда основы фотографии уже вроде бы известны, треугольник экспозиции с его тремя углами уже понятен как свои пять пальцев, всё-таки остаются некоторые вопросы. Например: если я зафиксирую диафрагму и буду увеличивать ISO, снижая при этом выдержку, то понятно, что шумы будут расти. Но насколько? Ведь даже имея в своём распоряжении астротрекер, мы далеко не всегда можем копить свет неограниченно. Существует ошибка установки полярной оси этого самого трекера (или в более продвинутом случае — монтировки). Есть погрешности ведения. Засветка. Облака в конце концов тоже могут налететь и испортить нам кадр, даже если монтировка отработала безупречно.

Предполагая, что читатель уже знаком с основами фотографии (а может и астрофотографии) и хочет разобраться с подбором оптимальных параметров в астросъёмке с математической точки зрения, я и буду вести повествование.

Привет, Хабр!

 Сегодня хотим поговорить на одну непростую тему, в той или иной степени всех нас затрагивающую, - про уличное видеонаблюдение. Тем более, что буквально вчера она вновь получила развитие со стороны государства: в России хотят создать «Национальную платформу видеонаблюдения», которая через пять лет должна объединить данные с городских камер всей страны.

Сразу оговоримся: всё сказанное - предмет для дискуссий и для попыток взглянуть на положение вещей "на холодную голову" и в перспективе.