Ты ищешь по картинке ТОЛЬКО по причине, что понимаешь, нельзя написать "серьга в форме капли на половину по горизонтали из изумруда, а вторая половина из металла, плавная граница разделения" (представили) - а поисковая выдача будет просто пустой!
Проблема - правильно проиндексировать предмет словами. Продавец на МП в лучшем случае напишет "серьга капля металлическая". А если прогнать через модель все картинки и получить достаточно точное их описание (ограничившись не 5 словами, как мы искусственно обрезали в боте) то ты улучшаешь и весь поиск в целом, и выдачу даешь сразу с фильтрами заполненными, и поиск по картинке делаешь ОЧЕВИДНО работающим, просто потому что описание предмета будет всегда примерно одинаковое.
Так все, что написано в статье, это собственно и есть вся разработка, для этого надо в прямом смысле слово взять фотку, подать ее любой LLM моделе по API и получить подготовленный запрос для подачи его в поисковую строку - все:)
Ты ищешь по картинке ТОЛЬКО по причине, что понимаешь, нельзя написать "серьга в форме капли на половину по горизонтали из изумруда, а вторая половина из металла, плавная граница разделения" (представили) - а поисковая выдача будет просто пустой!
Проблема - правильно проиндексировать предмет словами. Продавец на МП в лучшем случае напишет "серьга капля металлическая". А если прогнать через модель все картинки и получить достаточно точное их описание (ограничившись не 5 словами, как мы искусственно обрезали в боте) то ты улучшаешь и весь поиск в целом, и выдачу даешь сразу с фильтрами заполненными, и поиск по картинке делаешь ОЧЕВИДНО работающим, просто потому что описание предмета будет всегда примерно одинаковое.
Так все, что написано в статье, это собственно и есть вся разработка, для этого надо в прямом смысле слово взять фотку, подать ее любой LLM моделе по API и получить подготовленный запрос для подачи его в поисковую строку - все:)