Колыбель для AI

[@vfdev-5]

Как насчет приложения sloth?
Можно размечать изображения точками, прямоугольниками, многоугольниками, связанными с различными классами. Пример. Мне кажется, тоже удобно.

[@ZlodeiBaal]

Спасибо, добавлю в пост:)
Я всегда сам писал приложения такого плана, ибо мне нужна была разметка больших баз. При такой разметке всегда хочется выносить доступный функционал на кнопочки клавы. Это экономит часы работы. Те, что я видел мне не подходили. Но конкретно данное не проверял.

[@vfdev-5]

Мне как-то наоборот было немного лень писать такую программу и вот нашлось уже готовое open-source приложение…

В нем тоже можно связывать кнопки клавиатуры с классами для разметки. Классы для раметки и тип разметки можно конфигурировать, например :

Конфигурация

LABELS = (
    {"attributes": {"type":  "rect",
                    "class": "head"},
     "item":     "sloth.items.RectItem",
     "inserter": "sloth.items.RectItemInserter",
     "text":     "Head",
     "hotkey":   "w"
    },

    {"attributes": {"type":  "rect",
                    "class": "rhand"},
     "item":     "sloth.items.RectItem",
     "inserter": "sloth.items.RectItemInserter",
     "text":     "Right Hand",
     "hotkey":   "d",
    },

    {"attributes": {"type":  "rect",
                    "class": "lhand"},
     "item":     "sloth.items.RectItem",
     "inserter": "sloth.items.RectItemInserter",
     "text":     "Left Hand",
     "hotkey":   "a",
    },

    {"attributes": {"type":  "rect",
                    "class": "steer_wheel"},
     "item":     "sloth.items.RectItem",
     "inserter": "sloth.items.RectItemInserter",
     "text":     "Steering wheel",
     "hotkey":   "s",
    },
)

На выходе json файл типа

json

[
    {
        "annotations": [
            {
                "class": "head",
                "height": 150.0,
                "type": "rect",
                "width": 155.0,
                "x": 52.0,
                "y": 48.0
            },
            {
                "class": "lhand",
                "height": 51.0,
                "type": "rect",
                "width": 52.0,
                "x": 420.0,
                "y": 96.0
            },
            {
                "class": "rhand",
                "height": 73.0,
                "type": "rect",
                "width": 71.0,
                "x": 458.0,
                "y": 110.0
            },
            {
                "class": "steer_wheel",
                "height": 214.0,
                "type": "rect",
                "width": 115.0,
                "x": 406.0,
                "y": 99.0
            }
        ],
        "class": "image",
        "filename": "train\\c0\\img_34.jpg"
    },
    ...
]

Сама программа немного тупит на загрузке базы изображений, но потом все довольно плавно. При редактирование разметки, приходится использовать мышь (не особо искал, если есть шорткаты). Вот как-то так.

[@ZlodeiBaal]

Штука в том, что написать прогу на 50 строчек по мне быстрее, чем скачать-сконфигурить и запустить OpenSource проект:)
И, кстати, разметку раскраской эта программа судя по всему не сможет сделать. Можно, конечно, многоугольниками размечать, но это дольше + нужно будет писать свою прогу по переводу многоугольника в изображение.

[@leshabirukov]

А как с направлениями развития? Ну, я практически уверен, есть датасеты для видео. На картинках кроме базовых фич можно отмечать глубину (3D), движение зрачка эксперта, консервативность контекста (собака на скейте — не типовая ситуация), средства объединения кадров в группы, антипримеры (знак платной парковки на второй картинке, которая напоминает номер, если привлечь воорбражение)…
Применяется ли автоматизация разметки независимой обученной нейросетью?

[@ZlodeiBaal]

Развития чего? Датасет — не цель, датасет — средство. Его создают под задачу. Есть и 3D датасеты и видео датасеты. Статья про то, как это всё принято описывать и подавать при коммуникации с другими людьми.

[@leshabirukov]

Естественно, но средство создаётся под цель. Вы статью назвали «Колыбель для AI», но «нельзя вечно жить в колыбели», следующим уровнем может быть уточнение контекста, расстановка приоритетов, оценка уверенности в ответе. Стоит ли на практике расширять аннотацию датасета подобными фичами, вам виднее, но какие-то перспективы развития инструментария вероятно намечаются.