Мой первый прототип поискового движка

Я реализовал первый прототип собственного механизма поиска, который сокращённо назвал PSE (Personal Search Engine). Создал я его с помощью трёх скриптов Bash, возложив всю основную работу на sqlite3, wget и PageFind.

Браузер Firefox вместе с Newsboat сохраняют полезную информацию в базах данных SQLite. В moz_places.sqlite содержатся все посещённые URL-адреса и адреса закладок (то есть moz_bookmarks.sqlite базы данных SQLite). У меня получилось около 2000 закладок. Это меньше, чем я предполагал, так как многие оказались нерабочими из-за битых ссылок.

Нерабочие URL-адреса страниц сильно замедляют процесс сбора, так как wget приходится ожидать истечения различных таймаутов (например, DNS, ответа сервера, время скачивания). URL-адреса из «истории» составили бы интересную коллекцию для сбора, но тут не обойтись без списка исключений (например, нет смысла сохранять запросы к поисковым системам, веб-почте, онлайн-магазинам). Изучение этого вопроса я отложу до следующего прототипа.

Кэш Newsboat cache.db обеспечил богатый источник контента и намного меньше мёртвых ссылок (что не удивительно, поскольку я мониторю этот список URL-адресов гораздо активнее, нежели закладки). Из обоих этих источников я собрал 16,000 страниц. Затем с помощью SQLite 3 я запросил из разных БД значения URL, упорядочив их в одном текстовом файле построчно.

После создания списка страниц, по которым я хотел выполнять поиск, нужно было скачать их в каталог с помощью wget. У этого инструмента есть множество настроек, из которых я решил включить регистрацию временны́х меток, а также создание каталогов на основе протокола, сопровождаемого доменом и путём каждого элемента. Это позволило в дальнейшем преобразовать локальные пути элементов в URL-адреса.

После сбора содержимого я использовал PageFind для его индексирования. Поскольку я стал использовать PageFind изначально, то сопроводил этот инструмент опцией --serve, которая предоставляет веб-службу localhost на порту 1414. Всё, что мне требовалось – это добавить файл index.html в каталог, где я собрал всё содержимое и сохранил индексы PageFind. После этого я снова использовал PageFind для предоставления собственного механизма поиска на базе localhost.

И хотя общее число страниц было невелико (16,000), мне удалось получить интересные результаты, просто опробуя случайные слова. Так что прототип получился перспективный.

▍ Текущие компоненты прототипа

Я использую простой скрипт Bash, который получает URL-адреса из закладок Firefox и кэша Newsboat, после чего генерирует файл pages.txt с уникальными URL.

Далее, используя этот файл, с помощью wget я собираю и организую всё содержимое в структуру дерева:

• htdocs
  
  • http (все URL-адреса с типом соединения HTTP);
  • https (все URL-адреса с типом соединения HTTPS);
  • pagefind (здесь содержатся индексы PageFind и JavaScript-код интерфейса поиска);
  • index.html (здесь находится страница для интерфейса поиска, использующего библиотеки из pagefind).

Поскольку я скачал только HTML, 16K страниц заняли на диске не сильно много места.

▍ Реализация прототипа

Вот скрипты Bash для получения URL-адресов, сбора контента и запуска локального движка поиска на основе PageFind.

После сбора URL-адресов я использую две переменные среды для обнаружения различных баз данных SQLite 3 (то есть PSE_MOZ_PLACES и PSE_NEWSBOAT):

1.	#!/bin/bash
2.	
3.	if [ "$PSE_MOZ_PLACES" = "" ]; then
4.	    printf "the PSE_MOZ_PLACES environment variable is not set."
5.	    exit 1
6.	fi
7.	if [ "$PSE_NEWSBOAT" = "" ]; then
8.	    printf "the PSE_NEWSBOAT environment variable is not set."
9.	    exit 1
10.	fi
11.	
12.	sqlite3 "$PSE_MOZ_PLACES" \
13.	    'SELECT moz_places.url AS url FROM moz_bookmarks JOIN moz_places ON moz_bookmarks.fk = moz_places.id WHERE moz_bookmarks.type = 1 AND moz_bookmarks.fk IS NOT NULL' \
14.	    >moz_places.txt
15.	sqlite3 "$PSE_NEWSBOAT" 'SELECT url FROM rss_item' >newsboat.txt
16.	cat moz_places.txt newsboat.txt |
17.	    grep -E '^(http|https):' |
18.	    grep -v '://127.0.' |
19.	    grep -v '://192.' |
20.	    grep -v 'view-source:' |
21.	    sort -u >pages.txt

Следующим шагом я с помощью wget получаю страницы:

1.	#!/bin/bash
2.	#
3.	if [ ! -f "pages.txt" ]; then
4.	    echo "missing pages.txt, skipping harvest"
5.	    exit 1
6.	fi
7.	echo "Output is logged to pages.log"
8.	wget --input-file pages.txt \
9.	    --timestamping \
10.	    --append-output pages.log \
11.	    --directory-prefix htdocs \
12.	    --max-redirect=5 \
13.	    --force-directories \
14.	    --protocol-directories \
15.	    --convert-links \
16.	    --no-cache --no-cookies

Наконец, у меня есть скрипт, который генерирует страницу index.html и XML-файл в формате OpenSearch Description, индексирует собранные сайты и запускает PageFind в режиме сервера:

1.	#!/bin/bash
2.	mkdir -p htdocs
3.	
4.	cat <<OPENSEARCH_XML >htdocs/pse.osdx
5.	<OpenSearchDescription xmlns="http://a9.com/-/spec/opensearch/1.1/"
6.	                       xmlns:moz="http://www.mozilla.org/2006/browser/search/">
7.	  <ShortName>PSE</ShortName>
8.	  <Description>A Personal Search Engine implemented via wget and PageFind</Description>
9.	  <InputEncoding>UTF-8</InputEncoding>
10.	  <Url rel="self" type="text/html" method="get" template="http://localhost:1414/index.html?q={searchTerms}" />
11.	  <moz:SearchForm>http://localhost:1414/index.html</moz:SearchForm>
12.	</OpenSearchDescription>
13.	OPENSEARCH_XML
14.	
15.	cat <<HTML >htdocs/index.html
16.	<html>
17.	<head>
18.	<link
19.	  rel="search"
20.	  type="application/opensearchdescription+xml"
21.	  title="A Personal Search Engine"
22.	  href="http://localhost:1414/pse.osdx" />
23.	<link href="/pagefind/pagefind-ui.css" rel="stylesheet">
24.	</head>
25.	<body>
26.	<h1>A personal search engine</h1>
27.	<div id="search"></div>
28.	<script src="/pagefind/pagefind-ui.js" type="text/javascript"></script>
29.	<script>
30.	    window.addEventListener('DOMContentLoaded', function(event) {
31.	        let page_url = new URL(window.location.href),
32.	            query_string = page_url.searchParams.get('q'),
33.	            pse = new PagefindUI({ element: "#search" });
34.	        if (query_string !== null) {
35.	            pse.triggerSearch(query_string);
36.	        }
37.	    });
38.	</script>
39.	</body>
40.	</html>
41.	HTML
42.	
43.	pagefind \
44.	--source htdocs \
45.	--serve

Затем я просто указываю в браузере адрес http://localhost:1414/index.html. При желании я могу даже передать строку запроса ?q=....

С функциональной точки зрения это очень примитивная система, и 16К страниц явно недостаточно для того, чтобы сделать её привлекательной для использования (думаю, для этого нужно где-то 100К).

▍ Чему я научился на этом прототипе

Текущий прототип имеет несколько ограничений:

1. Мёртвые ссылки в файле pages.txt значительно замедляют процесс сбора содержимого. Мне нужно найти способ исключить попадание таких ссылок в этот файл или наладить их удаление из него.
2. В выводе PageFind используются страницы, скачанные мной на локальную машину. Было бы лучше, если бы получаемые ссылки переводились и указывали на фактический источник страницы. Думаю, это можно реализовать с помощью JS-кода в файле index.html при настройке элемента PageFind, отвечающего за результат поиска. Этот вопрос нужно изучить подробнее.

16K страниц – это очень скромный объём. В ходе тестирования я получил интересные результаты, но недостаточно хорошие для того, чтобы начинать реально использовать эту систему поиска. Предполагаю, что для более-менее полноценного её применения нужно собрать хотя бы 100К страниц.

Очень круто иметь собственный локальный поисковый движок. Он позволит мне продолжать работать, даже если возникнут проблемы с домашним выходом в интернет. Мне это нравится. Поскольку сайт, сгенерированный для моей локальной системы, является «статическим», я могу с лёгкостью воссоздать его в сети и сделать доступным для других машин.

На данный момент значительное время занимает сбор содержимого страниц в индекс. Я пока не знаю, сколько конкретно места потребуется для планируемого объёма в 100К страниц.

Настройка индексирования и интерфейса поиска оказалась простейшим этапом процесса. С PageFind гораздо легче работать, нежели с корпоративными приложениями для поиска.

▍ Предстоящие доработки

Я вижу несколько способов расширения поискового массива. Первый подразумевает создание зеркал для нескольких сайтов, которые я использую в качестве ссылок. В wget есть функция зеркала. Опираясь на список из sites.txt, я мог бы периодически отображать эти сайты, делая их содержимое доступным для индексирования.

Экспериментируя с опцией зеркала, я заметил, что получаю PDF-файлы, привязанные к отображаемым страницам. Если я использую команду Linux find для обнаружения всех этих PDF, то смогу применить другой инструмент для извлечения их текста. Таким образом я расширю свой поиск за пределы простого текста и HTML. Нужно хорошенько продумать этот вариант, так как в конечном итоге я хочу иметь возможность восстанавливать путь к PDF при отображении этих результатов.

Ещё один подход будет заключаться в работе со всей историей браузера и его закладками. Это позволит значительно расширить массив страниц для поиска. Тогда я также смогу проверять «шапку» HTML на наличие ссылок на фиды, которые можно будет агрегировать в общий банк фидов. Это позволит захватывать содержимое из интересных для чтения источников, не пропуская посты, которые оказались бы упущены из-за ограничения времени чтения.

Для просмотра интересных страниц из моего RSS-агрегатора я использую приложение Pocket. У этого приложения есть API, и я могу получать из него дополнительные интересные страницы. В Pocket также есть различные организованные списки, в которых может присутствовать интересное содержимое для сбора и индексирования. Думаю, нужно будет реализовать механизм сопоставления выдаваемых системой предложений с определённым списком исключений. Например, нет смысла пытаться собрать содержимое платёжного шлюза или коммерческих сайтов в целом.

Помоги спутнику бороться с космическим мусором в нашей новой игре! ?