Сделай SAM: Segment Anything Model в задачах компьютерного зрения (часть 1)

В целом можешь посмотреть в сторону модели LLaVA/vacuna на ее основе есть на huggingface демка которая позволяет генерить описание по фото.