Apple выпустила нейросеть Ferret, предназначенную для работы с изображениями. Она принимает на вход фотографию, определяет на ней объекты и может отвечать на уточняющие вопросы. Компания опубликовала код Ferret на GitHub.

Пользователям доступны модели Ferret-7B и Ferret-13B с различным набором параметров. В основе также используются LLaVA и Vicuna. Нейросеть анализирует изображения на входе и может давать подробные комментарии. К примеру, можно спросить, что находится на фотографии или задавать другие уточняющие вопросы.

Код моделей и всё необходимое для локального запуска опубликовано в открытом репозитории Apple. Компания отмечает, что обучала нейросеть на восьми GPU A100 от Nvidia с общим объёмом памяти в 80 ГБ. Разработчики подготовили инструкцию по дополнительному обучению моделей на меньшем количестве оборудования.