Привет! Меня зовут Илья Валяев, я data science team lead поискового ранжирования в Авито. В статье расскажу, как у нас всё устроена система ранжирования, какие технологии используем и как именно улучшаем поисковые выдачи.
Статья будет интересна ML-инженерам, которые владеют базовой теорией машинного обучения и хотят разобраться в том, как устроено поисковое ранжирование.
Вам точно нужен топ-10? Сколько кликов достаются 1 месту в поиске? Как было 10 лет назад и как влияют на кликабельность сниппеты? Исследование показателей кликабельности в Google на основе данных аналитической компании Advanced Web Ranking.
В этой статье рассмотрим одну важную тему, как SEO-оптимизация может помочь малому и среднему бизнесу конкурировать с крупными игроками, такими как Amazon. Здесь мы детально рассмотрим успешную стратегию, с помощью которой увеличился органический трафик клиента с 72,4 тыс. до 136,4 тыс. посетителей менее чем год, что позволило обогнать Amazon по ряду ключевых слов.
Простая интеграция поискового движка Manticore Search с фреймворком Laravel при помощи Laravel Scout и неофициального драйвера manticore-scout-engine.
Появление трансформеров, а впоследствии LLM (Large Language Models) привело к активному распространению чат-ботов и различных ассистентов помогающих в получении информации или генерации контента. Но несмотря на то что LLM способны по запросу генерировать человекоподобные тексты, они подвержены галлюцинациям. Естественным кажется желание уменьшить количество не достоверных ответов. Для этого мы можем либо дообучить LLM на наших данных, либо использовать Retrieval Augmented Generation (RAG).
RAG - это способ генерации текстов на новых данных без дообучения модели, с помощью добавления релевантных документов в промпт модели. Документы для генерации ищутся с помощью retrieval системы, после чего объединяются в один промпт и подаются в LLM для последующей обработки. В этой статье я решил собрать информацию о всех наиболее известных и применяемых алгоритмах поиска, с описаниями и материалами для более глубокого изучения.
Google вынужден войти в новую войну поисковых систем. Прямо как в начале нулевых. Но если раньше он был в позиции компании, которая дизраптит рынок за счет нового подхода, то теперь Google вынужден бороться с ИИ-стартапами, которые создают свои продукты для поиска информации. Колонка Джона Хермана для издания New York Magazine.
За последние несколько лет те, кто занимается в Netflix направлением Content Engineering, перевели множество служб компании на использование федеративной платформы GraphQL. Этот процесс продолжается и сегодня. Применение федерации GraphQL даёт командам, отвечающим за различные предметные области, новые возможности. Теперь они могут, независимо от других команд, создавать и использовать собственные графовые службы, относящихся к сфере их деятельности (Domain Graph Service, DGS). Команды, кроме того, могут связывать свои предметные области с другими областями в унифицированной схеме GraphQL, доступ к которой даёт федеративный шлюз.
Давайте, в качестве примера, рассмотрим три главнейшие сущности этого графа.
Основой семантического поиска может являться ML задача Sentence Similarity, а если быть еще конкретнее, то это Semantic Textual Similarity. Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему...
Привет, Хабр! Меня зовут Аня Южанина, я работаю ML-инженером в Купере (ex-СберМаркет). Сегодня я расскажу о межретейлерном поиске. Это когда вы ищете какой-то товар и Купер показывает этот товар в ассортименте разных ретейлеров. Зачем вообще нужен такой поиск и как внедрить умное ранжирование магазинов?
В мире технологий и искусственного интеллекта произошло значительное событие: компания OpenAI анонсировала запуск SearchGPT - прототипа новой поисковой системы, основанной на передовых моделях ИИ. Ее запуск может стать поворотным моментом в индустрии поисковых систем, бросив вызов Google и другим традиционным поисковикам.
Я решил задизайнить встраиваемую базу данных. Это даст вам почувствовать вкус настоящего инженерного искусства. Статья получилась размером с небольшую книгу и разбивается на две больших статьи. В первой части мы поймем с чего вообще начинается дизайн таких систем, выберем алгоритмы и модель вычислений.
Мы тестируем SearchGPT, прототип новых функций поиска, которые сочетают возможности наших моделей ИИ с информацией из интернета, чтобы предоставлять быстрые и своевременные ответы с четкими и релевантными источниками. Мы запускаем эту функцию для небольшой группы пользователей и издателей, чтобы получить обратную связь. Хотя этот прототип является временным, мы планируем интегрировать лучшие из этих функций прямо в ChatGPT в будущем. Если вы хотите попробовать прототип, зарегистрируйтесь в лист ожидания.
Привет! На связи Аркадий из Т-Банка, мы по прежнему делаем TQM, и в этой статье покажу, как мы решили задачу с поиском последовательностей в тексте коммуникаций. Это работает как на простых цепочках из словосочетаний по порядку, так и на сложных кейсах — со временем фразы, каналом «клиент — оператор». Мы по прежнему работаем с ElasticSearch, оставляя возможность “накрутить” на поиск по тексту такие вещи как RAG, LLM и другие модные технологии.
Несколько ограничений для сегодняшней задачи:
- Нелинейное возрастание сложности запроса при увеличении количества фраз. Поэтому предел у нас 4.
- Шаг тайминга мы выбрали 5 секунд. После каждой фразы ставим метку времени или несколько меток, если фраза заняла больше 5 секунд. Если сделать шаг слишком мелким это позволит искать более точно, но замусорит наше поле метками времени. Кажется, это тот момент когда лучше заранее договориться о требованиях.
А теперь к самому интересному. Добро пожаловать под кат!
Эта статья открывает серию из трёх материалов, посвящённых работе с поисковой системой хранения данных Vespa.
Из этой статьи вы узнаете:
1) Как настроить конфигурацию Vespa.
2) Как запустить сервер конфигурации Vespa в Docker.
3) Как выглядит структура схемы данных.
4) Как выполнить фильтрацию полей в результатах поиска.
5) Как отключить валидацию схемы данных и файла конфигурации для локальной отладки.
Зачем бариста земснаряд, а электромонтеру перкуссионный массажёр? Как так получается, что стоит только подумать об отпуске, как все баннеры предлагают путёвки в Дагестан? И почему после одного-единственного запроса о поворотниках для BMW ещё месяц продолжают крутиться объявления о покупке б/у запчастей? За всё это отвечает «Баннерная крутилка». Сервис обрабатывает 99% запросов всего за 200 миллисекунд, использует ML и серьёзно экономит ресурсы компании.
Привет, Habr! Меня зовут Александр Сулейкин, архитектор Big Data решений, к. т. н. и CEO ИТ‑компании «ДЮК Технологии». Совместно с нашим экспертом по внедрению LLM, Анатолием Лапковым, мы подготовили статью по теме внедрения умного помощника в крупной некоммерческой организации. Под капотом — базовая модель от Сбера GigaChat, однако вся обвязка и подход к решению задачи — наши собственные. И это то, о чем пойдет речь в статье.
Всем привет! Меня зовут Аня Власова, я работаю ML-инженером в Купере (ex СберМаркет), а именно — в команде поиска. Сегодня я расскажу про нашу нейросетевую модель, которая стои́т на страже корректных поисковых запросов. Вы наверняка найдете пару инсайтов в этой статье, если тоже разрабатываете сервисы поиска или просто интересуетесь языковыми нейронками.
Привет, меня зовут Борис. Я автор телеграм канала Борис опять. Периодически мне на глаза попадается что-то интересное и я глубоко в этом закапываюсь. В данном случае это алгоритм поиска BM25+, который победил продвинутые методы векторного поиска на LLM.
Разберемся, что это за зверь и почему он так хорошо работает. В этой статье мы реализуем его на Python с нуля. Начнем с самого простого поиска, перейдем к TF-IDF, а затем выведем из него BM25+.
Статья подойдет тем, кто вообще ничего не знает о поиске, а более опытные ребята могут пролистать до реализации алгоритма.
Код доступен в Google Collab.
