Поисковые технологии *

Допустим, вы ведёте документацию или блог и хотите, чтобы куски текста попадали в ответы ChatGPT, Perplexity или Алисы AI. Я проверил на ответах Perplexity простой совет — не начинать абзац с «это», «он» или «поэтому». Такие начала одинаково редки у абзацев, которые нейросеть взяла, и у тех, что пропустила.

Заметно отличается другое: взятые абзацы длиннее. Совет появился потому, что нейросеть с поиском берёт со страницы не всю статью, а один-два абзаца, и они должны быть понятны без соседей. Но если чистить только «это», можно потратить вечер на правку и не изменить ничего.

Если прочитать главные страницы 17 642 сайтов одним и тем же кодом и у каждой сохранить протокол, кодировку, платформу и дату регистрации домена, получается так: 93% сайтов на HTTPS, 2,7% до сих пор в windows-1251 и koi8-r, 39% доменов старше 2010 года, а среди сайтов с определимой платформой Битрикс вдвое обгоняет WordPress.

Это побочный продукт каталога сайтов, который я делаю один. Обходчик читает главную ради описания карточки, а технический паспорт снимается с того же ответа, без единого лишнего запроса к чужому серверу. В статье две части: как устроен обход и на какие грабли наступаешь именно в рунете, и сами цифры. Цифры заморожены на 23 сентября 2026 года и лежат на отдельной странице: срез за III квартал 2026. Живая версия пересчитывается раз в час на /stats.

Добавил Rerank в свой плагин для Obsidian и решил проверить, стоит ли запускать вторую модель при каждом поиске. Сравнил три модели, провёл эксперименты на 64 и 500 заметках. В тесте на 64 заметках первый полезный результат удалось поднять наверх только один раз из 24. На 500 заметках обнаружилась другая проблема: оценка целых документов скрывала различия между выбранными фрагментами. Рассказываю о результатах, расходах и том, почему в итоге сделал отдельную кнопку уточнения.

Серия атак на инфраструктуру «Яндекса» привела к полной или частичной остановке работы нескольких его ключевых дата-центров. В ночь на 8 октября пожар вспыхнул в дата-центре компании в Сасове Рязанской области, 9 октября полностью вышли из строя ряд модулей дата-центра в Калуге, а в ночь на 11 октября была полностью остановлена работа ЦОД во Владимире.

Как следствие, за последние пять торговых сессий акции «Яндекса» растеряли почти 9% своей стоимости, а сегодня в моменте опускались до отметки в 3255 рублей. Подобная коррекция отражает переоценку инвесторами системных рисков, поскольку физическая безопасность дата-центров становится фундаментальным фактором стоимости. Инвесторы закладывают в цену не только прямые затраты на восстановление, но и потенциальные долгосрочные издержки на перестройку архитектуры безопасности, что неизбежно давит на маржинальность.

Насколько серьёзные масштабы проблемы у компании? Как это отразится на финрезультатах? Какие риски существуют в дальнейшем? Что будет с акциями?

У меня давно была одна идея: хочу сделать свой агентный поиск на открытых моделях и со своим контролем над источниками. Не чтобы сэкономить на подписке, а скорее понять: какой минимум (технологического стека) нужен, чтобы агент нашел конкретную информацию, с проверяемым источником и не выдумал ссылку?

Палантиры (в переводе «те, что смотрят вдаль») — магические видящие камни во вселенной Толкина «Властелин колец».

Также была названа и компания. Из‑за секретности первых контрактов с ЦРУ, ФБР и АНБ вокруг компании возник миф, что это «тайный мозг» правительства США, знающий о гражданах абсолютно всё.

11 000 файлов техдокументации, больше 100 менеджеров по продажам и бот, который уверенно называл числа из паспорта соседнего станка. Разбираю, почему плотные векторы промахиваются по артикулам, и что в итоге сработало.

15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Блокируя сбор данных для обучения, можно заодно закрыть поиск: некоторые боты выполняют обе задачи. Я разобрал исследование Seensure по 1 046 сайтам. После обновления запросы от имени обучающих ботов стали блокировать чаще, а поисковых — реже. Это тест с подставленными именами, поэтому он не доказывает доступ настоящих краулеров. Настройки стоит проверить по категориям, а реальный доступ — по логам запросов.

В прошлой статье я рассказывал, как устроено ядро нашего поиска: триграммы, crc32, словарь болей и два сита. В конце был короткий раздел «А где же нейросеть?», и он заслуживает отдельного разговора. Сегодня про то, как модель встроена сверху и почему мы с самого начала исходили из того, что она когда-нибудь подведёт.

Коротко о контексте. Мы делаем поиск для сайтов, которому человек пишет своими словами: «нужно вырыть траншею под кабель на даче», «подарок папе, он рыбачит». Без модели поиск работает на словаре и векторах. С моделью он начинает понимать, чего человек хочет, задаёт уточняющий вопрос и объясняет, почему предложил именно этот вариант.

В ChatGPT заметили любопытную штуку: органические товарные результаты стали подсвечивать цветными лейблами. Зелёный достаётся "лучшему универсальному" варианту, серые расходятся по остальным критериям — "лучший для новичков", "лучшая амортизация" и так далее. Плашки нарочно выбиваются из текстового потока и явно сделаны ради роста кликабельности. Первым это поймал SEO-специалист Brodie Clark через сервис мониторинга выдачи и выложил скриншот в X (Search Engine Roundtable, 2026). Это расширение более раннего эксперимента — тогда лейблы были скромнее, без плашек.

Я разобрал два исследования, которые вышли в один день, 30.09.2026: NP Digital и Grow and Convert. Оба смотрели, на какие страницы ведут ссылки-источники под ответами нейросетей. У NP Digital на коммерческих вопросах по 400+ крупным брендам 82% ссылок ведут на чужие сайты. У Grow and Convert на вопросах одного B2B-клиента таких 85%. Но в том же исследовании Grow and Convert в 87% ответов, где клиента назвали, среди источников был его собственный сайт. Для продвижения бренда в нейросетях из этого следует одно: выбирать между своим сайтом и внешними публикациями приходится по каждой теме отдельно.

Я задавал ГигаЧату вопросы из спорта, финансов, B2B и маркетинга двумя способами: через GigaChat API и в самом чате. Всего собрал около 430 ответов, примерно поровну на каждый способ, и в каждом смотрел, стоят ли под ним ссылки на источники. В чате они нашлись в 73% ответов, через API в 4%. Но и в чате мест мало: под ответом в среднем две-три ссылки, и на повторе вопроса часть из них меняется.

Почему при стандартных настройках KNN-поиска пересчёт расстояний при колоночном хранении векторов работал медленнее, чем при построчном, и как Manticore почти убрал эту разницу, сохранив скорость поиска по данным, которые не помещаются в память.

Компании и менеджеры узнают о партнерах или конкурентах в первую очередь из ответов нейронок, поэтому сегодня все устремились в GEO — Generative Engine Optimization. Метод подразумевает настройку контента на сайте таким образом, чтобы чат-боты вроде ChatGPT и поисковики с генеративными функциями цитировали бренд в своих ответах.

Получается что-то вроде SEO-лихорадки из нулевых, когда компании гонялись за нужными ключевиками и соревновались в методах «творческой оптимизации». Ниже — о том, что (хорошего и не очень) дают чат-боты при поиске информации о компаниях, и почему попытки «придумать сеошный хак для нейронки» — так себе идея.

29 сентября на конференции unBoxed Amazon показал формат Branded Conversations. Бренд пишет бриф о своих товарах, и ассистент Alexa for Shopping опирается на него, когда объясняет покупателю, чем одна модель отличается от другой. До сих пор бренды платили за место рядом с ответом ИИ. Теперь можно оплатить кусок самого объяснения.

Для тех, кто занимается продвижением в нейросетях, тут два вопроса: что делать с открытыми моделями, где брифа нет, и как измерять видимость, когда часть ответов куплена.

Обзоры от ИИ в Google принято считать западной историей, которая российских сайтов не касается. Я собрал больше тысячи русских вопросов из полусотни ниш и снял по ним выдачу Google с регионом Россия в настройках запроса. Обзор от ИИ появился над выдачей в 93% случаев, а половина его источников стоит вне первой страницы обычного поиска. Значит, в обзор можно попасть, не будучи в топе.

PBN используют давно, но под этим названием скрываются сети совершенно разного качества. Это могут быть несколько старых тематических сайтов с хорошей историей и нормальными материалами или домены, которые когда‑то имели ссылки, а теперь существуют только ради новых ссылок на основной проект.

Результат зависит от домена, его прошлой жизни, сохранившихся ссылок, старых страниц и того, что произошло после покупки.

Со ссылками у Google тоже нет противоречий. PageRank по‑прежнему входит в основные системы ранжирования, связи между страницами используются при оценке документов. При этом искусственные ссылки, созданные преимущественно ради изменения позиций, Google относит к ссылочному спаму. Спам‑системы могут убрать влияние такой ссылки, не удаляя саму страницу из индекса. Google for Developers

Это важная оговорка для всей статьи. По индексации донора нельзя проверить, учитывается ли его ссылка. Рост позиций — не доказательство, что сработала конкретная PBN. Внутреннюю оценку ссылок Google мы не видим.

Дальше разберем саму механику: что покупать, где искать домены с историей, как проверять их до торгов, что сохранять после покупки, когда есть смысл делать отдельный сайт, а когда рассматривать 301, какой движок выбрать и сколько такая сеть в действительности стоит.

Как работает поиск в SaaS Kiva, где у каждого клиента своя база данных

Как Kiva использует Manticore Search в SaaS, где у каждого клиента своя база данных и своя схема: сочетает периодически перестраиваемую и RT-таблицы, обрабатывает изменения в реальном времени и обходится без отдельных серверов для поиска.

В 1998 году 20-летний студент из Великих Лук отправил в Microsoft письмо с идеей push-индексации сайтов. Ему ответили вежливым отказом. Потом были Яндекс, частные инвесторы, отказ в визе и неслучившийся Grabit. Спустя 28 лет автор нашёл тот самый конверт из Редмонда — и понял, что идея опередила время.

Задача звучала просто. Есть большой каталог франшиз - витрина, где сотни карточек с ценами входа. Надо понять, насколько быстро эта витрина обновляется: сколько предложений, которые человек видел два года назад, дожили до сегодня.

Вопрос не праздный. Каталог франшиз читают как справочник, и возраст предложения в нём воспринимается как возраст бизнеса за ним. Проверить это можно только одним способом - сравнить два состояния каталога в разные годы.

Ниже история про то, как я это сделал, и почему повторить уже не смогу: источник закрылся не только от меня, но и от веб-архива.