CLIP from OpenAI: what is it and how you can try it out yourself

[Mitya45]

А что будет если нет опознавания картинки?

[fralik]

В какой момент? Я в статье описываю два возможных сценария использования модели:
1. Подаем на вход картинку и набор текстов. Модель выдает вероятность соответсвия картинки каждому тексту. Это можно использовать для классификации.
2. Подаем на вход изображения, модель выдает вектора признаков. Эти вектора используются, чтобы оценить какие изображения похожи друг на друга.

[Mitya45]

А какой метод используют поисковые системы Яндекс и другие браузеры? Или это базовые методы?

[fralik]

У них там другие задачи и, думаю, что они используют разные методы. Но я с поисковыми системами незнаком.