Поисковые технологии *

ИИ-инструменты вроде ChatGPT всё прочнее входят в повседневную работу специалистов самых разных профессий. Будь то аналитик, копирайтер или инженер, сегодня любой может повысить продуктивность, если знает, как правильно взаимодействовать с языковой моделью. Однако эффективное использование ИИ требует не только понимания его возможностей, но и знания правильных методов коммуникации с ним. В этой статье - полный и лаконичный гайд: техники, шаблоны, инструменты и лучшие практики, проверенные сообществом и на практике.

Поисковик DuckDuckGo представил новую функцию, позволяющую пользователям скрывать изображения, созданные с помощью искусственного интеллекта, из результатов поиска. Это решение направлено на борьбу с "ИИ-мусором" — навязчивым, некачественным синтетическим контентом, всё чаще появляющимся в выдаче.

9 июля 2025 года компания Perplexity представила свой первый AI-браузер Comet, который объединяет возможности фирменного поисковика и умного ассистента. Новый продукт напрямую конкурирует с Google Chrome и привычными способами работы в интернете.

Привет! Меня зовут Николай Смирнов, я ML-инженер в команде поиска Яндекс Лавки. В этой статье я расскажу немного о закулисье: 

— Как наша команда шаг за шагом строила поисковый сервис, начиная с алгоритма Ахо — Корасик, SaaS-решений и Маркета, и дошла до собственной архитектуры на C++ с userver и многослойным «бургером» из ML-моделей. 

— Зачем поиску Лавки понадобилось сразу несколько технологий — BM25, DSSM, BERT и CatBoost — и чем полезна каждая из них. 

— Как наш поиск собирает данные о вас и о товарах и почему ML-модели приходится дообучать. 

А ещё вместе «сломаем» прод — посмотрим, что произойдёт, если выключить какую-нибудь из моделей, и почему даже самые продвинутые нейросети не являются серебряной пулей.

В общем, будет немного истории, самое интересное из архитектуры, инженерные находки и живые примеры того, как поиск в Лавке принимает решения. Если интересно, как на самом деле работает поиск, — погнали!

Задача нахождения неточных дубликатов текстовых строк - удивительно часто встречается на практике.

Нахождение неточных дубликатов позволяет лучше понять структуру списка, повысить его качество (удаление дубликатов), провести техническую кластеризацию (выделить группы похожих). Всё это видно на графе выше.

Но приключения начинаются, когда список становится размером несколько миллионов строк. В статье разберем что с этим можно сделать.

Как нейросети создают убедительную дезинформацию в SEO, почему June 2025 Core Update не имеет отношения к MUVERA, и зачем "эксперты" пугают революциями там, где их нет.

Спойлер: MUVERA — реальный исследовательский алгоритм Google, но он НЕ внедрен в поиск. А вирусный пост об этом написан ИИ по классическим шаблонам AI-контента.

Всем привет! Хочу поделиться опытом применения одной из редко используемых, но полезных функций Elasticsearch, которую успешно применили в одном из проектов. Речь пойдет о векторном поиске...

В этом проекте создаем Telegram-бота, который взаимодействует с AnythingLLM — инструментом для работы с языковыми моделями (LLM) и LM Studio (используется как инструмент для загрузки документов и создания RAG архива). Покажу как использовать API AnythingLLM для бота и настроим взаимодействие с LM Studio, через которую предоставляется доступ к общению с ИИ-моделью. Самое главное в этой связке, что все отрабатывается локально без передачи файлов сторонним сервисам, что делает решение удобным для команд, которые хотят использовать ИИ в своих рабочих процессах, но не отправлять файлы во вне.

Мы с Крисом недавно «с нуля» буквально за пару часов создали механизм поиска для моего блога. Основную часть проделал именно Крис, так как до этого с word2vec я был знаком лишь отдалённо.

Разработанный нами поисковик основывается на векторных представлениях (эмбеддингах) слов. Принцип здесь следующий. Функция получает слово и отображает его в N-мерное пространство (в данном случае N=300), где каждое измерение отражает определённый оттенок смысла. Вот хорошая статья (англ.) о том, как обучить собственную модель word2vec, и её внутреннем устройстве.

Суть работы созданного нами поиска заключается в преобразовании моих статей, а точнее составляющих их слов, в эмбеддинги, сохраняемые в общем пространстве. Затем при выполнении конкретного поиска текст его запроса преобразуется аналогичным образом и сопоставляется с векторами статей. В результате этого сопоставления, используя метрику косинусного сходства, мы ранжируем статьи по их релевантности запросу.

Уравнение ниже может показаться пугающим, но в нём говорится, что косинусное сходство, представляющее косинус угла между двух векторов cos(theta), определяется в виде скалярного произведения, поделённого на произведение величин каждого вектора. Разберём всё это подробнее.

Большинство производителей автономных машин вооружают свои автомобили лидарами, радарами и HD-картами. Tesla идёт против течения: только камеры, никакого лазера. В июне 2025 её роботакси выходят на дороги Остина — без карт, без подстраховки. Почему Маск уверен, что этого достаточно? И к чему приведёт этот технологический азарт?

В этой статье я хочу поделиться своим стыдом, вызванным попыткой создания библиотеки поиска. В этом стыде и вы можете прочувствовать смирение и осознание того, что реальный качественный поисковый движок, а не создаваемый как хобби-проект, должен делаться для того, чтобы лексический поиск был быстрым.

BEIR — это бенчмарки поиска информации, ориентированные на сценарии использования в формате «вопрос-ответ».

Мой хобби-проект SearchArray добавляет в Pandas полнотекстовый поиск. Поэтому естественно, чтобы ощутить трепет от моих потрясающих навыков разработчика, я решил использовать BEIR для сравнения SearchArray с Elasticsearch (с тем же запросом + токенизацией). Поэтому я потратил субботу на интеграцию SearchArray в BEIR и измерение релевантности и производительности с корпусом MSMarco Passage Retrieval (8 миллионов документов).

Барабанная дробь...

Во второй части сравнительного обзора продолжается анализ ведущих интернет-сканеров и OSINT-платформ. На этот раз внимание сосредоточено на Censys и FOFA — двух мощных инструментах, каждый из которых предлагает уникальные подходы к сбору и структурированию данных об открытых сервисах в интернете. В статье рассматриваются архитектура платформ, синтаксис запросов, охват портов, возможности поиска по сертификатам и телу веб-страниц, а также примеры реального применения.

Аналитика от Andreessen Horowitz про влияние Generative Engine Optimization (GEO) на SEO, маркетинг и брендинг.

Всем привет! Я Владислав Урих, работаю продуктовым аналитиком в Авито, сейчас занимаюсь построением алгоритмов мэтчинга в новом транзакционном продукте — Авито Подработка. В статье рассказываю, как мы построили алгоритм мэтчинга — инструмент подбора оптимальной выдачи для каждого конкретного покупателя.

Вы узнаете, почему алгоритмы поиска в категориях Авито работают по-разному, как собрать и использовать больше данных о пользователях без анкет, легко проверить гипотезу в офлайн-тестах и получить значимые продуктовые улучшения. 

Текст будет полезен всем продуктовым аналитикам, ML-инженерам и продакт-менеджерам, которые работают с алгоритмическими продуктами.

В современном интернете всё, что подключено к сети, может быть найдено — было бы желание и подходящий инструмент. Сканеры вроде Shodan, ZoomEye, Netlas, Censys, FOFA и Criminal IP давно вышли за рамки «поисковиков для хакеров» и стали рабочими лошадками для специалистов по кибербезопасности, Red Team, SOC‑аналитиков и OSINT‑энтузиастов. Они позволяют буквально заглянуть в «техническое подбрюшье» интернета: найти уязвимые камеры, забытые базы данных, тестовые серверы без авторизации и промышленное оборудование, случайно выставленное наружу.

В этой статье приводится сравнение шести наиболее популярных и полезных поисковых систем открытых хостов. Рассматриваются особенности архитектуры, синтаксис запросов, доступность функций, а также возможности каждой платформы — включая API, интеграции с другими решениями, систему алертов, поиск по сертификатам, изображениями и т. д. Отдельное внимание уделено примерам практического применения и оценке релевантности данных. Это первая часть серии, посвящённой сравнительному обзору. В ней подробно рассматриваются возможности Shodan и ZoomEye. В следующих частях будет проведён анализ Censys, FOFA, Netlas и Criminal IP.

В статье рассказываем, почему современные ИИ остаются безликими утилитами и как вдохновение образом хаус-кипера XIX века помогает строить эмоционально близких цифровых спутников. Делимся принципами: персонализация через контекст, прозрачная логика, эмоциональный UX и интеграция в экосистему. Для разработчиков, UX-дизайнеров и всех, кто хочет сделать ИИ частью жизни, а не временным инструментом.

AI-native search меняет правила игры. Теперь системы не просто ищут страницы по словам, а понимают запросы и дают готовые ответы, ссылаясь на источники. Это переворачивает классическое SEO и открывает новые возможности для быстрого поиска знаний в любой сфере.

В статье описывается как работает AI-поиск без сложных деталей.

Kafka — это популярный брокер сообщений, который используется в самых разных проектах: от обработки логов и управления очередями задач до персонализации контента и аналитики в реальном времени. Например, его можно использовать для индексирования изменений в Википедии или поиска товаров в интернет-магазинах. Manticore Search, в свою очередь, поддерживает интеграцию с Kafka, что позволяет автоматически импортировать данные и использовать их для полнотекстового поиска, аналитики, векторного поиска и многого другого.

При импорте данных в Manticore вы можете гибко их обрабатывать:

Лучший в мире ИИ уже встроен в ваш телефон, почту и поиск, а вы даже не заметили?

Gemini 2.5 Pro занимает первое место на всех ИИ-бенчмарках и предлагается пользователям бесплатно

Узнаете, почему интеграция с семью платформами-миллиардниками делает позиции Google неуязвимыми