Поисковые технологии *

Привет, Хабр. Я хочу рассказать историю, которую вы уже, наверняка, где-то слышали. Только с другой стороны.

Пару месяцев назад я сидела на созвоне с техдиром стартапа, который делал RAG-систему для юридических документов. Он сказал, что они уходят с Postgres на Pinecone, потому что Postgres для векторов не тянет, это же очевидно. Я спросила, сколько у них векторов. Оказалось, тысяч двести, может, триста. Я уточнила, пробовали ли они вообще pgvector. Выяснилось, что нет, решение приняли по общему ощущению, что Postgres для этого не годится. Ощущение было не на пустом месте, два года назад так и было. Я не стала спорить. Просто открыла документацию pgvector и скинула ссылку. Через неделю он написал, что оно работает. Даже быстрее, чем они думали. Ещё через месяц они запустили прод. На одном Postgres. Без Pinecone. Без отдельной векторной базы. Без трёх месяцев инфраструктурной работы, которую они уже успели запланировать.

И это не единичный случай. Мне кажется, что это паттерн. И я хочу разобрать его по частям, потому что за последние пару лет я видела этот сценарий минимум пять раз в разных вариациях, и каждый раз он заканчивался одинаково.

Быстрый ответ Алисы AI — это самый массовый генеративный продукт Яндекса и первое соприкосновение с Алисой для пользователей Поиска. 

Даже в час пиковой нагрузки пользователь должен получить лаконичный ответ за считаные секунды. Для этого мы, команда Alice AI Search, адаптируем весь пайплайн быстрых ответов — от собственного претрейна с кастомной архитектурой до онлайн‑rl‑обучения на поведенческие сигналы пользователей.

В статье разберём, как устроен генеративный ответ в Поиске, и расскажем про основные улучшения июньского релиза: как мы ускорили ответы за счёт коротких инфоконтекстов, зачем совместили Encoder‑Decoder с разреженной MoE‑архитектурой и как обучение на реальных пользовательских сигналах повлияло на качество и использование продукта.

Кроме того, мы выложили в открытый доступ обученную с нуля модель Alice AI‑T5-35B‑A0.6B Base с тем ограничением, что внешним пользователям доступен инференс через Hugging Face Transformers, а оптимизированный production‑инференс пока доступен только внутри Яндекса.

Коротко: я снял ответы ChatGPT для клиента на 20 вопросов тремя способами. Бренд без подсказки прозвучал на одном вопросе из 19 в первом съёме и ни разу в двух других. У окна чата и API общих источников 17 из 49 и 68 доменов, поэтому способ съёма пишу рядом с каждой цифрой.

В отчёте по видимости бренда в ответах ИИ компания нашлась по трём из двадцати вопросов. Открыли сами ответы — и оказалось, что за этим числом стоят разные вещи. В одном случае компанию предложили как исполнителя. В другом поставили ссылку на её статью, но назвали чужую компанию. В третьем название бренда уже было в вопросе.

Представим, что вы хотите попасть в список компаний, из которых выбирает клиент. В отчёте появляется плюс за ссылку на сайт. А в самом ответе заказчик читает о другом бренде. Если смотреть только на процент видимости, разницу можно пропустить.

Эпоха, когда видимость в ChatGPT связывали только с Google и Bing, заканчивается. ChatGPT строит собственные индексы и комбинирует множество источников - а значит, стратегии продвижения пора пересматривать.

На первый взгляд, поиск в сервисе услуг — это довольно типовая задача. Что там может быть особенного? Под капотом лежит каталог услуг, Elasticsearch, нормализация запросов, ранжирование, кеширование. Ничего такого, чего не было бы в других продуктах. Но это только на первый взгляд.

Сейчас расскажу, как устроен поиск в Профи.ру, зачем мы добавили в него LLM и почему языковая модель у нас не заменила классический алгоритм, а стала его дополнительным слоем.

Подключите OpenSearch Dashboards к Manticore Search, исследуйте данные в Discover и создавайте визуализации и дашборды в знакомом интерфейсе.

Привет! Хочу рассказать историю, как мы две недели искали, кто уронил наш сайт в Google, нашли, обрадовались, а потом выяснилось, что нашли не того.

Начну с того, что мы вообще делаем. Toolevia — это восемьдесят четыре инструмента для файлов, которые работают прямо в браузере: склеить PDF, убрать фон с фотографии, посчитать переплату по ипотеке, ну и дальше по списку. Файл при этом никуда не отправляется, потому что сервера в этой схеме просто нет — всё считается на вашем же компьютере. Писали мы это три месяца, а в августе за три недели выкатили всё разом: 84 инструмента на 58 языках, если перемножить, получается 5104 страницы.

И, что удивительно, оно сразу пошло. Восьмого августа Google держал в индексе 494 наших страницы, через десять дней уже 2218, а двадцатого числа сайт показался в поиске 1269 раз за сутки. Для домена, которому от роду две недели, это очень неплохо, и мы, чего уж скрывать, немножко возгордились.

А потом двадцать первого августа показов стало 1134, двадцать второго — 216, а двадцать третьего — три. Не три тысячи и не триста, а три штуки за целый день. И вот так, по одному‑семь показов в сутки, оно и протянулось до конца месяца, как будто кто‑то выкрутил ручку до упора и ушёл домой.

Разбираем на практическом примере, как в Manticore Search выбрать несколько последних элементов из каждой группы и собрать их в одну строку.

Пока СМИ спорят о лидерстве моделей в бенчмарках, бигтех перенаправляет бюджеты совсем в другую сторону. Бюджеты на обучение LLM худеют, на инфраструктуру поиска, доставки и фильтрации данных — толстеют. Копнём реальную статистику инвестиций гигантов IT за последние годы и посмотрим, как меняются требования к специалистам на рынке труда.

Нейросети радикально повлияли на то, как люди ведут себя в поисковиках. 

Например, AI-блок Google Overview на 58% снижает вероятность клика пользователя на первую ссылку [1]. А переход из рекомендации Claude и Chat GPT дает конверсию в покупку в 4,4 раз выше, чем обычный переход из поисковой выдачи [2]. 

При этом пересечение ссылок в топе поисковой выдачи и источников, используемых нейросетями, составляет всего 46%[3]. А значит, стандартное SEO сильно отличается от GEO. Мир меняется, и если раньше "вас не было, если не было в интернете", то сейчас "вас нет, если вас не упоминают нейронки".

Давайте обсудим, как добиться того, чтобы нейросети вас рекомендовали.

Многие предприятия стремятся повысить свою конкурентоспособность путем выпуска нового продукта и/или снижения расходов. Однако мало кто из руководителей задумывается, что принятие мер, нацеленных только на снижение расходов, может привести не к достижению запланированного результата, а к получению негативных результатов для деятельности предприятия из-за увеличения рисков потерь при выполнении тех или иных операций, снижения качества продукции, несоблюдения сроков и снижения управляемости сотрудниками.

С поведенческими факторами в Яндексе есть одна проблема: вокруг них накопилось слишком много объяснений, которые звучат правдоподобно, но разваливаются при первом же вопросе чуть глубже обычного.

Одна версия говорит, что Яндекс смотрит на кликабельность, время визита, глубину просмотра и возврат в выдачу. Поэтому достаточно искусственно сделать эти показатели красивыми, после чего документ начнет расти.

Другая версия противоположная: Яндекс давно умеет распознавать любые манипуляции, поэтому накрутка либо вообще не работает, либо все наблюдаемые результаты являются совпадением.

Я начинал с простого AI-аудита заметок, а в итоге Vault Audit AI вырос в систему с двумя индексами, поиском по смыслу, Similar Notes, semantic duplicates и RAG по собственному хранилищу. В статье разбираю, как всё это устроено, что ломалось по дороге и почему почти 700 тестов всё равно не спасли от сюрпризов в реальном Obsidian.

Ответ нейросети с включённым поиском обычно приходит со списком источников, и этот список выглядит как готовый ответ на вопрос «где про эту тему пишут». Я собрал такой список по семи запросам одной темы из логов собственного прогона — получилось 359 уникальных адресов. Раскрыть удалось 199. За остальными 160 стоит редирект, за которым реальный сайт не виден ни из кода, ни глазами.

Ниже — откуда берётся этот пробел, почему его нельзя закрыть локально, что из неё всё-таки вытаскивается бесплатно и как из-за неё врут метрики, если считать их наивно.

Здесь записана история про один фейл молодых SEO-мастеров, нанятых для оптимизации сайта с целью попадания в блок быстрых ответов от ИИ. Покажу на реальном кейсе, к каким плачевным последствиям приводит подобная оптимизация.

Практическое руководство по поиску длинных хешей, event ID, message ID и email в Manticore Search: лимиты, точное сравнение, wildcard-поиск, токенизация, миграция и ограничения.

Как крупнейшая площадка объявлений Сербии использует Manticore Search, чтобы искать по 5,6 миллиона активных объявлений примерно за 10 мс, обновлять индекс в реальном времени и готовиться к гибридному поиску.

Привет! Меня зовут Михаил Трапезников, я руководитель группы рекомендательных технологий в AI VK.

В одной из прошлых статей мы рассказали, как устроен нейропрофиль пользователя в рекомендациях VK. Обновление стало фундаментом для нового подхода к ранжированию. Сегодня расскажем о том, как нам удалось перейти от бустинга к нейросетям и как устроена архитектура нейроранкера. 

Чтобы сказать Яндексу «страница изменилась, приди посмотреть», аккаунт в Вебмастере не нужен. Есть протокол IndexNow: вы кладёте в корень сайта файл с ключом, шлёте POST со списком адресов — и поисковик приходит за часы вместо недель. Ни регистрации, ни OAuth, ни капчи. Реализуется тридцатью строками на Node.js без единой зависимости.

Ниже — рабочий скрипт целиком, шесть кодов ответа, которые он может получить, и три грабли, на которые я наступил, пока доводил его до состояния «запустил и забыл». Одна из них интереснее прочих: fetch в Node падает с fetch failed на том же запросе, который curl отправляет с первого раза.