Pull to refresh

Yacy — распределённый не цензурируемый поисковик: три года спустя

Information Security *Search engines *


Yacy — это децентрализованная поисковая машина, которая позволяет осуществлять поиск информации в интернете без локальной или глобальной цензуры или любых других ограничений.

Первое и единственное упоминание о нем на хабре было 29 ноября 2011.

Но с того времени многое изменилось, давайте посмотрим на него еще раз.

Основные возможности и преимущества Yacy:


— Децентрализованный поиск и хранение индекса — в сети DHT
— Три режима работы: 1) Глобальный поисковой индекс, 2) Групповой индекс, 3) Локальный индекс
— Отсутствие рекламы
— Отсутствие какой-либо цензуры (государственной, копирайтной)
— Огромное количество настроек

Основные недостатки:


— Время поиска (из-за децентрализованной природы, поиск непопулярного контента может занимать значительное время)
— Релевантность (алгоритм релевантности был переработан за эти три года, но все равно он отстает от поисковых гигантов)

Что изменилось за три года ?


— Поддержка русскоязычных поисковых запросов
— Появились подсказки в во время ввода поискового запроса
— Опережающий поиск — пока вы печатаете yacy уже ищет пиров с данным контентом
— Улучшились алгоритмы поиска и выдачи — более релевантный результат
и миллионы других мелких изменений под капотом.

Как работает Yacy?


Индексирование

Индексирование может быть инициировано следующими путями:
1) Принудительное указание начала сканирования
2) Удаленный запрос от другого пира
3) Настройка проксирования всех запросов от браузера к Yacy с последующий индексацией того, что вы читаете

После составление базы индекса она сохраняется локально, рассылая в сеть информацию о том, что она у вас есть, и распределяется по DHT на соседних пиров.

Поиск

Во время процесса поиска Yacy сначала ищет результаты в локальном индексе, а затем в глобальном, связываясь по DHT c пирами, у которых есть сведения об индексе того или иного запроса/сайта.

Результаты поиска от Yacy:





Официальный сайт проекта yacy.net/en
Windows yacy.net/release/yacy_v1.68_20140209_9000.exe
Linux yacy.net/release/yacy_v1.68_20140209_9000.tar.gz
OS X yacy.net/release/yacy_v1.68_20140209_9000.dmg

Тестовая поисковая страницы search.yacy.net (которая может упасть от большого трафика)

PS Последняя статья была три года назад, если хабр пользователям будет интересна тема децентрализованных поисковых систем, я готов сделать обзор всего функционала Yacy и рассмотреть подробно как она работает
Only registered users can participate in poll. Log in, please.
Хотите ли вы пользоваться децентрализованными поисковыми системами?
84.06% Да 1856
15.94% Нет 352
2208 users voted. 634 users abstained.
Only registered users can participate in poll. Log in, please.
А почему вы хотите/не хотите ими пользоваться?
48.79% Хочу, Они не сохраняют никакой обо мне информации 1088
48.65% Хочу, Информация о том, что я искал не может быть передана никому 1085
72.47% Хочу, Отсутствие цензуры 1616
46.14% Хочу, Отсутствие рекламы 1029
8.16% Не хочу, Сложность использования 182
24.89% Не хочу, Малая база индекса сайтов 555
11.48% Не хочу, Меня не волнует слежка 256
22.87% Не хочу, Мне важна релевантность поиска в ущерб приватности 510
2230 users voted. 640 users abstained.
Only registered users can participate in poll. Log in, please.
Хотите еще почитать про Yacy?
88.26% Да определенно 2015
11.74% Нет меня это не интересует 268
2283 users voted. 470 users abstained.
Tags:
Hubs:
Total votes 128: ↑113 and ↓15 +98
Views 133K
Comments Comments 143