Как стать автором
Обновить
19.25

Поисковые технологии *

От AltaVista до Яндекса

Сначала показывать
Порог рейтинга
Уровень сложности

Разбираемся с Vespa. Часть 1

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров623

Эта статья открывает серию из трёх материалов, посвящённых работе с поисковой системой хранения данных Vespa.

Из этой статьи вы узнаете:

1) Как настроить конфигурацию Vespa.

2) Как запустить сервер конфигурации Vespa в Docker.

3) Как выглядит структура схемы данных.

4) Как выполнить фильтрацию полей в результатах поиска.

5) Как отключить валидацию схемы данных и файла конфигурации для локальной отладки.

Читать далее
Всего голосов 4: ↑4 и ↓0+6
Комментарии2

Новости

Рекомендации нашей мечты: Как «Баннерная крутилка» Яндекса делает 700 тысяч RPS и подбирает для вас рекламу

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров759

Зачем бариста земснаряд, а электромонтеру перкуссионный массажёр? Как так получается, что стоит только подумать об отпуске, как все баннеры предлагают путёвки в Дагестан? И почему после одного-единственного запроса о поворотниках для BMW ещё месяц продолжают крутиться объявления о покупке б/у запчастей? За всё это отвечает «Баннерная крутилка». Сервис обрабатывает 99% запросов всего за 200 миллисекунд, использует ML и серьёзно экономит ресурсы компании.

И вот, как это всё работает
Всего голосов 7: ↑1 и ↓6-5
Комментарии5

Как мы делали умного помощника: Use Case внедрения умного чат-бота на основе подхода «Карта знаний» и LLM GigaChat

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров2.3K

Привет, Habr! Меня зовут Александр Сулейкин, архитектор Big Data решений, к. т. н. и CEO ИТ‑компании «ДЮК Технологии». Совместно с нашим экспертом по внедрению LLM, Анатолием Лапковым, мы подготовили статью по теме внедрения умного помощника в крупной некоммерческой организации. Под капотом — базовая модель от Сбера GigaChat, однако вся обвязка и подход к решению задачи — наши собственные. И это то, о чем пойдет речь в статье.

Читать далее
Всего голосов 6: ↑6 и ↓0+9
Комментарии3

Я могу один раз ошибиться! Как разработать нейронку для исправления опечаток в поиске

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.2K

Всем привет! Меня зовут Аня Власова, я работаю ML-инженером в Купере (ex СберМаркет), а именно — в команде поиска. Сегодня я расскажу про нашу нейросетевую модель, которая стои́т на страже корректных поисковых запросов. Вы наверняка найдете пару инсайтов в этой статье, если тоже разрабатываете сервисы поиска или просто интересуетесь языковыми нейронками.

Читать далее
Всего голосов 8: ↑8 и ↓0+10
Комментарии5

Истории

Итоги года соло-разработки поискового движка на средства гранта

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров5.6K

Год назад я в последний раз вышел из офиса. В тот день я сдал свой корпоративный ноутбук, попрощался с коллегами и, наконец, стал сам себе начальником.

Работа в течение последующего года спонсировалась грантом компании NLnet, который я как раз почти израсходовал. На текущий момент вся работа выполнена, и я отправил последний запрос на выделение средств.

Оба этих события дарят ощущение лёгкости, как в последний учебный день в школе.

Работа, спонсируемая грантом, заканчивается, но разработка поискового движка продолжается. Независимое финансирование этого проекта запланировано на гораздо больший срок. Если ничего не изменится, его разработка должна завершиться к концу 2026 года.

В текущей статье я решил поделиться своим опытом, оглянувшись на проделанную работу, а также прикинуть перспективы на будущее.
Читать дальше →
Всего голосов 31: ↑24 и ↓7+27
Комментарии15

Он победил LLM RAG: реализуем BM25+ с самых азов

Уровень сложностиПростой
Время на прочтение18 мин
Количество просмотров13K

Привет, меня зовут Борис. Я автор телеграм канала Борис опять. Периодически мне на глаза попадается что-то интересное и я глубоко в этом закапываюсь. В данном случае это алгоритм поиска BM25+, который победил продвинутые методы векторного поиска на LLM.

Разберемся, что это за зверь и почему он так хорошо работает. В этой статье мы реализуем его на Python с нуля. Начнем с самого простого поиска, перейдем к TF-IDF, а затем выведем из него BM25+.

Статья подойдет тем, кто вообще ничего не знает о поиске, а более опытные ребята могут пролистать до реализации алгоритма.

Код доступен в Google Collab.

Читать далее
Всего голосов 33: ↑32 и ↓1+39
Комментарии13

Производительность Windows 11 «комически низкая», в интерфейс внедряют рекламу. Люди возвращаются на Windows 10

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров58K


На рынке операционных систем происходит странное. Доля Windows 11 не растёт, как положено для новинки, а снижается. Согласно апрельской статистике Statcounter, после достижения рекордного показателя 28,16% в феврале 2024 года доля Windows 11 упала до 26,19% в апреле.

Тем временем доля Windows 10 за тот же период приблизилась к 70%. И это после того, как Microsoft объявила о завершении поддержки Windows 10 в октябре 2025 года.

Что вообще происходит?
Читать дальше →
Всего голосов 86: ↑80 и ↓6+100
Комментарии455

Драма в Fediverse

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров3K

Привет Хабр. В свободное время я поддерживаю бесплатный сервис Авакари. Основная его функция - фильтрация сообщений из многих тысяч разных источников (RSS, Telegram, Fediverse, ...). В двух словах, вы определяете критерии поиска, Авакари "просеивает" то, что вам интересно и присылает результаты. Интеграция с Fediverse появилась недавно и содержала на своём пути нетехнологические грабли, к которым автор не привык. В этой статье я расскажу о них, возможно, мой опыт будет кому-то полезен.

Читать далее
Всего голосов 9: ↑8 и ↓1+12
Комментарии22

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy, Precision, Recall, F-score, ROC-AUC

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров2.2K

Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников, и я расскажу про метрики классификации! Само собой, в интернете очень много материала про эти метрики, но я попробую описать их максимально простым языком с простыми примерами.

Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса.

Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи:

1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка.

К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.

Читать далее
Всего голосов 6: ↑4 и ↓2+3
Комментарии2

Найти золото в потоке

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров1.9K

Поиск в интернете - это поиск иголки в стоге сена. В случае поиска в потоке в режиме реального времени это скорее просеивание золота. Обычные стиральные порошки поисковые системы, вроде Google или Bing выполняют поиск только в прошлом. Поэтому они не помогут в поиске чего-либо, что может произойти в будущем. В этой статье я расскажу о том, как не пропустить важные новости, выгодные предложения, упоминания чего-либо или кого-либо.

Читать далее
Всего голосов 10: ↑9 и ↓1+13
Комментарии0

Как сервер с моим проектом был удалён вместе с бэкапами

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров51K

Не так давно на Хабре была небольшая волна постов и комментариев о том, как можно быстро и эффективно потерять данные своего проекта - неработающие или отсутствующие бэкапы, ошибки "железа" и прочие радости инженеров DevOps. Тогда я это всё прочитал с интересом - всегда же любопытно почитать про чужие факапы (про свои неинтересно). Через несколько дней я вдруг оказался среди таких же несчастных "уже делающих бэкапы".

Немного контекста - у меня есть свой домашний проект, которым я занимаюсь в свободное от работы время. Проект этот - UGC-сайт. Лента постов пользователей, если по-нашему. Вот он - https://vombat.su, вдруг кому-то интересно. Проект существует с сентября, есть своя аудитория, пара модераторов и довольно лояльные правила. На проекте нет рекламы, т.е. он некоммерческий (не считая донатов, которые иногда прилетают от благодарных пользователей). Даже антикоммерческий слегка, т.к. на него я только трачу - даже периодически мерч пользователям отправляю.

Читать далее
Всего голосов 122: ↑115 и ↓7+130
Комментарии218

Не вырубишь топором… — ВКонтакте хранит удаленные публикации

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров15K

Некоторые изменения в законодательстве и инцидент с Алексеем Вишней заставили многих пользователей соц.сетей тщательно почистить свои странички от старых публикаций. Но удаляются ли на самом деле крамольные высказывания с серверов или хранятся вечно и при запросе заинтересованных людей могут быть приобщены к делу?

Давайте проверим...
Всего голосов 26: ↑25 и ↓1+33
Комментарии51

Кейс: SEO продвижение интернет-магазина женской одежды или как увеличить посещаемость сайта на 737% менее чем за год

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров3.5K

Статистика: рост от 26 300 до 220 тысяч посетителей в месяц

Вид бизнеса: электронная коммерция

Ниша: женская одежда

Отчётная дата: январь 2024

В конкурентном мире онлайн-моды даже признанным брендам приходится бороться за покупателей.

Sachin & Babi , ритейлер элитной одежды и аксессуаров, столкнулся именно с этим вызовом. Трафик на сайте стагнировал и едва достигал 20 тысяч посещений в месяц.

Но в конце 2023 года они совершили прорыв, доведя посещаемость в январе 2024 года до невероятных 220 тысяч посещений в месяц .

Итак, как они это сделали? И что другие владельцы онлайн бизнеса могут адаптировать для своих SEO стратегий

Давай выясним.

Читать далее
Всего голосов 16: ↑6 и ↓100
Комментарии4

Ближайшие события

RSS лента результатов поиска в Awakari

Уровень сложностиПростой
Время на прочтение1 мин
Количество просмотров753

Awakari — бесплатный сервис поиска и фильтрации сообщений в режиме реального времени. Сервис ищет то, что интересно пользователю, среди тысяч сообщений в час из множества источников, таких как Fediverse, ленты RSS, каналы Телеграм.

Исторически Awakari интегрирован с Телеграм, используя его для идентификации пользователя и уведомления о результатах. В дополнение к Телеграм, теперь также доступны:

Читать далее
Всего голосов 3: ↑3 и ↓0+6
Комментарии8

Поиск без границ: путь к векторному поиску в Uzum Market

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров1.9K

Привет, с вами снова Даша и Uzum Market. В прошлый раз мы глубоко погрузились в пайплайн работы поиска нашего маркетплейса, и я обещала вам вернуться с новостями о его улучшении. Так вот, время пришло, и сегодня мы поговорим про наш опыт внедрения векторного поиска!

Читать далее
Всего голосов 10: ↑10 и ↓0+13
Комментарии5

Google Search: от идеи до доминирования в Интернете

Время на прочтение11 мин
Количество просмотров2.5K

Прямо сейчас я пишу эту статью в одном из реально удобных сервисов Google Docs. Да и каждый из нас по много раз в день контактирует с каким-то сервисом Google: просматривает почту на Gmail, смотрит ролики на YouTube, ищет информацию в Chrome, пользуется смартфоном на Android и так далее. В общем, Google вряд ли нуждается в представлении.

Но есть у компании и провальные проекты вроде Google Glass. Еще на нее сыплются многочисленные иски от недовольных пользователей, а правительства выписывают многомиллионные штрафы за монополизацию. Тем не менее этот гигант стоит крепко и падать не собирается. Например, недавно Google включился со своим Gemini в нейросетевую гонку с OpenAI.

А ведь компании могло и не случиться, если бы не настойчивость двух студентов, которые создали лучшую поисковую систему в мире. О них и их главном детище — наш сегодняшний рассказ.

Читать далее
Всего голосов 14: ↑14 и ↓0+20
Комментарии9

Демо: Поиск на GitHub с помощью Manticore Search

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1.6K

Вместо интро

Сегодня мы расскажем о нашем опыте создания своего поиска для репозиториев в GitHub, почти похожее на то, которое там и используется, но немного другое.

Для затравки — посмотрите, что у нас получильнось на нашем репозитории → Демка
Можно проиндексировать и свой, для этого нужно немного подождать завершения процесса индексации → github.manticoresearch.com, а пока идет индексация — добро пожаловать под кат.

Читать далее
Всего голосов 6: ↑5 и ↓1+8
Комментарии20

Какой ПК выбрать SEO-специалисту? Тестируем на «лягушках» и делаем выводы

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров4K

С выбором подходящего компьютера для разработки, видеомонтажа или игр сталкивался каждый. Рекламные кампании вендоров демонстрируют, как классно их продуктами пользуются программисты, монтажеры, звукорежиссеры, ученые и другие. Очевидно, что какой-нибудь топовый ноутбук Lenovo идеально подойдет для средних и тяжелых задач.

Но с другими специалистами все не так однозначно. Какой компьютер и конфигурация идеально подойдут SEO-специалисту? На какие характеристики обратить внимание, а какие проигнорировать? Можно ли полноценно работать на компьютере с ARM-процессором?

Меня зовут Миша Смирнов, я специалист по продвижению сайтов в Selectel. В этой статье постараюсь ответить на эти вопросы, а также сравнить работу узконаправленного софта на популярном корпоративном Windows-ноутбуке Lenovo® Thinkpad® c MacBook Air® на M1 и Mac mini® на M2.
Читать дальше →
Всего голосов 43: ↑32 и ↓11+32
Комментарии19

Мозг уже не нужен. Нейро - новый сервис Яндекса

Уровень сложностиПростой
Время на прочтение1 мин
Количество просмотров5.3K

Есть афоризм:
Правильно заданный вопрос - половина ответа.
(верно подсказали в комментариях - не поговорка, а именно афоризм)

Но теперь всё изменилось. Для поиска информации уже не нужен мозг, как основной инструмент для поиска информации. Теперь вместо собственного мозга у нас есть замечательный сервис НЕЙРО.

https://ya.ru/n/about?utm_source=promo_cards

Любой ответ — лишь отражение информации, которая нашлась в источниках.

Сначала нейросети переформулируют вопрос. Затем находят релевантные источники для ответа и выбирают пять самых полезных. Потом собирают из информации в этих источниках понятный ответ.

Нейро особенно полезен, когда нужно разобраться в теме, он изучит и сопоставит информацию из полезных источников. Выделит важное и подскажет, на что обратить внимание.

Вы задаёте вопрос так, как он приходит в голову. Нейро отвечает, опираясь на источники.

Многие вещи гораздо проще показать, чем объяснить, поэтому Нейро понимает изображения. Просто загружаете картинку и спрашиваете, например: «Как это починить?».

Задавайте вопросы, для которых нужно изучить много информации из разных источников. Нейро сам сравнит варианты если сомневаетесь, что выбрать или в чём отличие.

Для того, чтобы найти ответ уже не надо даже пытаться разобраться в сути.

Не озвучена прямо лишь суть сервиса:
Нейросеть сама за Вас разберется в том вопросе, в котором могли бы разобраться Вы сами.

- Вы что же, и думать за меня будете?
- АГА!!!

Зато я разобрался - почему пост набрал минусов. Нахватать минусов от Яндекса в первом же посте на Хабре - повод гордиться собой!
https://habr.com/ru/companies/yandex/articles/807801/ - честно говорю - увидел только что. Комментарии там убедили, что сделал всё правильно.

Читать
Всего голосов 11: ↑1 и ↓10-8
Комментарии16

Поиск по коду — это сложно

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров6.9K

Функциональность поиска на Val Town не очень впечатляет. Сейчас в её основе лежит механизм ILIKE Postgres, работающий на основе алгоритма поиска подстроки: если искомое выражение в коде есть, оно выводится в результатах. Этот процесс не включает никакого ранжирования и очень слабо поддерживает запросы из нескольких слов. Более эффективный поиск является одной из самых желанных для нас возможностей.
Читать дальше →
Всего голосов 29: ↑27 и ↓2+43
Комментарии3
1
23 ...

Вклад авторов