cast 22 июл 2011 в 13:07

Построение индекса для поисковой машины

4 мин

14K

Поисковые технологии *

+31

Комментарии 9

script88 22 июл 2011 в 15:53

Пример бы чтоли хоть добавили.

cast 22 июл 2011 в 20:54

вышлю почтой. 70 гб

cast 22 июл 2011 в 21:01

извинияюсь что так, но как вы себе это представляете? код занимает около 5 тыщ строк только процедура построения. еще БД на пару десятков тысяч, и тд…

Pastafarianist 22 июл 2011 в 18:05

Крайне сумбурно написано, очень часто вообще не получается понять, о чём идёт речь.

Сейчас сам вынашиваю планы по написанию своего поисковика, так что ваши статьи очень кстати. Пишите ещё, только, пожалуйста, постарайтесь представить, как текст будет выглядеть для людей, недостаточно разбирающихся в теме.

cast 22 июл 2011 в 20:59

спасибо. по количеству и качеству комментариев к предыдущим статьям подумал что можно все подсократить… буду стараться более развернуто. но про индекс и про БД которая его хранит я писал раньше.
у меня нет цели написать мануал как сделать свой поисковик построчно, я рассказываю про решения в узких местах, а пересказать 7 лет разработки, экспериментов, и тд и тп нереально

UnknownGosu 22 июл 2011 в 19:04

А есть где пощупать Вашу разработку? Охота посмотреть, как оно выглядит.

rondob 22 июл 2011 в 19:44

Вы не рассматривали возможность хранения индекса в ОЗУ для более быстрого поиска по нему? Возможно ли такое решение?

cast 22 июл 2011 в 20:57

конечно хочется, только вот вопрос скорости не встает если все сделано правильно — с диска 1 seek 1 read для выдачи результатов. в статье про БД я расписал несколько подходов которые я использую

а в ОЗУ оно не влезет, и это описано в первой статье цикла — примерный размер даже небольшого индекса измеряется десятками гигабайт. у меня 10 млн страниц, 50 гб без текстов только индекс.

zhengxi 6 янв 2012 в 08:44

Как в таком индексе искать не просто слово, а что-то вроде «site:habrahabr.ru слово» или «inurl:cgi-bin слово»?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий