VLM против вмятин: Как нейросети оценивают повреждения авто по фото

[CBET_TbMbI]

Самого главного нет: что из них написал всё верно, а кто ошибся?

И ещё нет оригиналов фотографий.

И надо было загрузить им больше фото - с повреждениями и без. Например, 4 фото одного автомобиля с разных углов. Вот тогда был бы анализ полезности.

А так показали им крупным планом царапины и они назвали это царапинами... Очень полезно... А стёртую пыль от царапин отличат? Её человек-то по фото не отличит.

[fermentum]

Можно было бы начать с полноценного промпта и с тонких настроек каждой из моделей. Плюс фото с нескольких ракурсов с кратким контекстом. Прописать структуру ответа. Свести результаты в таблицу с балльной оценкой относительно эталона. Без этого сравнение моделей вряд ли возможно.

[diakin]

Когда вы смотрите на фотографию автомобиля с помятым бампером, то вы сразу понимаете, что скорее всего случилось. А может ли также "понять" картинку Искусственный Интеллект?

Мы-то можем, а страховые агенты в упор не понимают, что произошло. Только через суд.

[gofat]

Спасибо за статью!

Это качественное исследование? Клево было бы на метрики еще глянуть (но нужна разметка, это да).

И с промптами похимичить бы (возможно, получится исправить часть проблем).

И еще немаловажный момент: какие из моделей умеют в структурированный вывод (и насколько хорошо следуют условной инструкции "ответь в формате json с такими-то полями"). В больших модельках не сомневаюсь, а вот к моделям поменьше могут быть вопросики.