Comments 8
Содержит исключительно живые фотографии, отображая всю сложность реального мира :)
Финальный набор будет в свободном доступе.
А есть более сложные примеры? Накрашенные губы это же совсем халява :(
На самом деле не всегда халява, поскольку цвет десны и языка часто оказывается близок.
Пример сложнее:
Кораблик уже интересней, хотя совсем не понятно откуда такая плохая сегментация мачты.
Это вы так говорите, поскольку уже пробовали? :)
Вроде того. Накрашенные губы + макияж это наверное лучшее что можно придумать для сегментации, на самом деле. Естественная разметка, так сказать, вместе с очень удобным фоном. Нейронкам должно очень хорошо заходить, т.к. они легко учат текстуру. У вас где-то в видео, кстати, был забавный пример, где сегментация цепляет ботинки, т.к. они одного цвета со штанами.
Самая большая проблема это обветренные мужские губы с большим диапазоном движений (крики, закусывание губы и т.д.). Практически нереально разметить консистентно, т.к. зачастую не видна граница между губой и кожей + не очевидно где кончается губа, и начинается ротовая полость. Отдельно — проблемы из-за оттока крови на некоторых эмоциях.
Видео несколько спасает, но требуется очень большой фпс и отличный свет, чтобы избежать motion blur.
Кораблик уже интересней, хотя совсем не понятно откуда такая плохая сегментация мачты.
Узка мачта слишком. Кстати, это именно та проблема, которая сильно мешает с насекомыми :) Все примеры в статье и вообще — исключительно алгоритмическая сегментация. Функция принадлежности реализована как усложненная delta E. Тем не менее, чем «проще» цвет — тем лучше результат. Собственно, это и объясняет «артефакты» с близкими по цвету предметами. Если сцена позволяет, можно и так:
Результаты оч. красивые, вопросов нет, но как я уже и сказал — это относительно простые случаи.
В любом случае с нетерпением жду статьи с обзором метода, думаю будет очень интересно
1. Алгоритмическая сегментация -> 2. Тренировочный набор -> 3. Универсальная модель.
Первый шаг, вполне ожидаемо, потребует выполнения некоторых условий (контраст, цвет и т.д.). Кроме того, губы это только первый результат :) Действительно проще, чем все остальное, но даже с «простыми» случаями есть масса нюансов, которые касаются стабильности, деталей и т.д. Например:
Тренировочные наборы из видео — быстро и качественно