![](https://habrastorage.org/webt/uh/ze/cg/uhzecgjpivd1cnju4bmywab6fws.jpeg)
Благодаря доступности систем компьютерного зрения на основе ИИ, способных автоматизировать большую часть процессов, в последние годы активно развивается сфера визуального контроля, связанного с технологиями страхования. При помощи мобильных приложений или веб-сайтов пользователи могут выполнять удалённую оценку повреждений и мгновенно получать расчёт цены, что упрощает процесс и сильно снижает стресс пользователей. Эта сфера уже охватила не только оценку повреждений транспорта, но и другие виды собственности, например, недвижимость.
Однако обучение систем визуального контроля при помощи ИИ имеет свои сложности, поскольку требует постоянного наполнения высококачественными и разнообразными данными. Из-за расширения области действия таких сервисов на разные регионы стало необходимым получение из каждого региона данных, аннотированных в точности согласно таксономии каждой страховой компании.
Проблемы и решения
Мы хотим поделиться своими рекомендациями и советами, которые позволят добиться успеха вашему проекту в сфере ИИ:
Проблема | Решение |
У каждого страхователя и производителя автомобилей может быть собственные таксономия классификации и оценки повреждений транспорта. Кроме того, оценка повреждений автомобилей — это очень сложный процесс, потому что не все повреждения могут быть видны на поверхности. Выявление повреждений может быть недостаточно точным, особенно при низком качестве изображений или присутствии необычных типов повреждений. Кроме того, серьёзность ущерба — это очень субъективное понятие, а площадь повреждений может быть сложно оценить на основании одних фотографий или видео. | Готовясь к процессу аннотирования, мы рекомендуем прописывать очень чёткие инструкции по аннотированию повреждений. Например, в случае аннотирования группы близко расположенных царапин нужно определиться, должны ли они размечаться по отдельности или как группа? В случае отсутствия детали, например, зеркала, нужно ли размечать пустое место, где оно находилось? 1. С особенной тщательностью отнеситесь к таксономии повреждений, понятие «серьёзности» может быть крайне субъективным 2. Будьте аккуратны с увеличенными изображениями, где местоположение повреждения непонятно 3. Убедитесь, что включены все виды повреждений: спущенная шина, отсутствующее стекло, ржавчина, и так далее |
В датасетах осмотра автомобилей есть большая трудность с обеспечением равномерного распределения разных типов повреждений. Например, очень просто собрать изображения помятых бамперов, разбитых задних фар или поцарапанных дверей, но повреждения крыш или отсутствие стёкол сложно и собирать в достаточно больших количествах, и распознавать в целом. Кроме того, при расширении своей системы на другие рынки нужно будет учесть всё разнообразие самых популярных местных производителей и моделей. | Обнаружив недостаточно широко представленные классы или неоптимальные условия работы своей модели, мы рекомендуем использовать сервисы сбора состязательных примеров для получения конкретных экземпляров, представляющих сложные для модели условия или среды. Например, если ваша модель обеспечивает низкую точность в условиях съёмки на закате или ночью, то вы сможете собрать изображения, специально подобранные под эти пограничные случаи. Если точность вашей модели ниже в Восточной Европе, где многие машины старше, чем в западных датасетах, а среди изображений встречается множество советских автомобилей, например, «Лады» и «Москвичи», то нужно собрать все необходимые данные, чтобы ваша модель была как можно более точной во всех регионах. |
После развёртывания ИИ оценки ущерба должен обеспечивать определение повреждений почти мгновенно, однако есть существенный риск неточной оценки, если уверенность модели низка, если автомобиль имеет необычное повреждение или происходит попытка мошенничества. | В таких случаях мы рекомендуем нанять команду human-in-the-loop и обучить её согласно конкретным требованиям каждого страховщика. Они работают в различных географических регионах и часовых поясах и способны выполнять обработку пограничных случаев и алертов в реальном времени при помощи простых запросов API. Благодаря этому у вас будет гарантированный второй слой контроля, помогающий избегать ошибочных оценок |
Именно поэтому очень важно начинать с подходящих данных обучения и применять методику human-in-the-loop для постоянного совершенствования используемых вами моделей визуальных проверок! Это включает в себя обработку в реальном времени пограничных случаев, чтобы гарантировать выявление и оценку всех повреждений перед расчётом стоимости ремонта.
Типы аннотаций для распознавания повреждений при помощи ИИ
Ниже представлено несколько сценариев аннотирования изображений и видео для визуального контроля транспорта при помощи ИИ, а также рекомендации по каждому из сценариев:
Распознавание повреждений
![](https://habrastorage.org/webt/nf/wk/t-/nfwkt-i6zokbfgumlvi0cfcgpw4.jpeg)
Для распознавания повреждений автомобилей необходимо собрать обширный датасет различных типов повреждений и аннотировать их при помощи многоугольников или кистей. Аннотирование ограничивающими прямоугольниками применять не рекомендуется, поскольку они не обеспечивают необходимой точности и накладываются друг на друга, что может запутать модель.
Оценка повреждений
![](https://habrastorage.org/webt/o0/9s/wp/o09swpdew9wulpngumjxrstsuqa.jpeg)
Для каждого аннотированного тип повреждения датасет оценки повреждений должен содержать классификацию типа повреждения: например, царапина, разбитая деталь, скол краски, разбитое стекло и так далее. Кроме того, для оценки степени повреждения можно добавлять метки: например, малая, средняя, высокая.
Распознавание деталей автомобилей
![](https://habrastorage.org/webt/bf/hr/im/bfhrimvo5lpxmv6okktzscnmalm.jpeg)
Распознавание деталей автомобиля — необходимый этап, выполняемый параллельно с распознаванием повреждений для понимания того, какая именно деталь повреждена. Кроме того, он помогает понять, насколько велик повреждённый участок по сравнению с общей площадью детали автомобиля, и может способствовать вычислению точной площади в квадратных сантиметрах.
Распознавание положения машины
![](https://habrastorage.org/webt/ny/ur/hq/nyurhqo7v739cmygh8sxgkf_jjk.jpeg)
При анализе фотографий или видео важно определить точное положение камеры относительно автомобиля, чтобы знать, какая сторона машины повреждена. Это можно реализовать добавлением к каждому изображению меток с приблизительной величиной поворота машины в градусах.
Наши любимые инструменты
Мы приведём советы и рекомендации по выбору лучших инструментов, которые мы используем для такого типа разметки. Надеемся, они будут полезны тем, кто занимается парсингом документов или обработкой моделей.
1.CVAT (Open-Source)
![](https://habrastorage.org/webt/ir/0x/po/ir0xpoutbizeyuioywodogdybpm.png)
CVAT — это очень удобный в использовании опенсорсный инструмент, предоставляющий всю базовую функциональность, необходимую для аннотирования датасетов: от ограничивающих прямоугольников и многоугольников до аннотирования видео с интерполяцией.
2.Hasty (бесплатная и платная версии)
![](https://habrastorage.org/webt/jf/xa/db/jfxadb4ethcdwdvqinuzxc8-yjw.png)
Hasty — это более сложный инструмент, предоставляющий замечательные функции автоматической разметки ограничивающими прямоугольниками и многоугольниками, которые существенно ускоряют процесс аннотирования.
Как использовать human-in-the-loop для ИИ визуальных проверок
При работе с системами визуальных проверок в различных регионах сложно справляться с дрейфом данных и обрабатывать примеры, на которых модель не обучалась или которые представлены в обучающих данных недостаточно хорошо. Поэтому необходимо на постоянной основе, а не только на этапе первоначального обучения моделей, использовать вмешательство человека. Вот несколько способов встраивания людей в цикл MLOps:
![](https://habrastorage.org/webt/1b/a8/jm/1ba8jmqniut4e7gmza_3qox2i0s.jpeg)
- Сбор датасетов: сотрудники могут собирать датасеты с изображениями и видео повреждённых автомобилей из любой точки мира, в зависимости от регионов применения модели.
- Аннотирование эталонных данных: для обучения исходных моделей сотрудники могут выполнять полное аннотирование датасетов; все услуги от распознавания положения автомобиля и типа деталей до сегментации ограничивающими прямоугольниками, многоугольниками и семантической сегментации с целью распознавания повреждений и оценки их серьёзности.
- Валидация результатов при помощи активного обучения: после обучения исходной модели вы сможете использовать её для предварительной аннотации большой части датасета, что и повышает скорость аннотаторов, и эффект от их работы благодаря созданию процесса активного обучения и увеличению приоритета примеров, в которых модель наименее уверена.
- Сбор состязательных примеров: после обучения исходной модели можно расширить её базовый датасет дополнительными сложными пограничными случаями, например, необычными марками и моделями автомобилей, редкими углами обзора и типами повреждений (допустим, разбитыми или отсутствующими окнами).
- Обработка пограничных случаев в реальном времени: после разворачивания модели humans-in-the-loop в режиме 24/7 способен при помощи простого запроса API обрабатывать потенциальные пограничные случаи визуальной проверки, поступающие в реальном или почти реальном времени, а затем за считанные секунды отправлять правильный ответ для обеспечения второго слоя верификации критически важных ответов модели.
Понравилась статья? Еще больше информации на тему данных, AI, ML, LLM вы можете найти в моем Telegram канале.
- Как подготовиться к сбору данных, чтобы не провалиться в процессе?
- Как работать с синтетическими данными в 2024 году?
- В чем специфика работы с ML проектами? И какие бенчмарки сравнения LLM есть на российском рынке?