Улучшение Поиска

[zukoff]

проще не напрягаться :)
вы удивитесь, но уже можно найти даже эту статью спустя пол часа :)
http://www.google.com.ua/search?q=site%3Ahabrahabr.ru%2Fblog%2Fhabrahabr_ideas%2F+%D1%83%D0%BB%D1%83%D1%87%D1%88%D0%B5%D0%BD%D0%B8%D0%B5+%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%B0&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a

[Gunger]

Прикольно было бы, если бы парсер Вашу ссылку обработал и сократил бы ее внешне... :-)

[AirWorker]

Я так понимаю, что скорость индексации обеспечивается RSS с пингом или типа?

[zukoff]

нет, просто уровень доверия к сайту очень высок. все сайты с высоким уровнем доверия индексятся буквально без остановок.

[likegroof]

Я для себя уже давно сделал альтернативный поиск по Хабру на базе Гугл Кастом Серч :) И вашу статью там действительно уже можно найти.

[amosh]

спасибо :) включил этот поиск в панель поиска своего файрфокса
родной поиск хабра действительно никуда не годится как ни парадоксально для сайта, в основном посвященного IT

[likegroof]

Не думаю, что это парадоксально, потому что сделать дельный поиск не такая тривиальная задача. А вот почему хабраредакция сразу не воспользовалась трудами сторонних разработчиков - не понятно. Но наверное, причины были.

[dekin]

Существует компромиссный вариант, предполагающий две альтернативные возможности поиска по сайту:

• с использованием собственного движка Хабра
• с использованием движка Гугл

Разработчикам Хабра нужно будет всего лишь проинтегрировать Google AJAX Search API на страницу поиска, плюс доработать саму страницу поиска, сделав переключатель "хабрапоиск-гуглопоиск".

[likegroof]

Кстати да, плюс такого поиска ещё и в том, что он будет показывать контекстную рекламу. Пользователям это мешать не будет, а хабраредакции может принести дополнительный доход.

[dekin]

В настоящий момент Гугл не выводит рекламу в случае поиска по блогам.
Вопрос в том, как этот механизм реализован: считается ли Хабр блог-сайтом с точки зрения Гугла?

[skylix]

Тут можно только средствами гугля, администрация редко отзывается:(

[Lunatik]

Все просто:
Google.com -> site:habrahabr.ru something

[dekin]

Поправьте меня, пожалуйста, если я неправ, но по логике при таком поиске результаты упорядочиваются лишь по мере убывания релевантности.
Для блогов же актуально упорядочивание результатов как по мере убывания релевантности, так и по мере убывания даты публикации. То есть интеграция поиска от Гугла на Хабре всё-таки нужна.

[Lunatik]

Хорошо, можно по-другому:
blogsearch.google.com -> site:habrahabr.ru something =)

[dekin]

Ух ты, классно! Не знал:-)

[zen]

Если движок пользует постгрес, то поиск делается в течении нескольких минут.
Гугл - это круто, но иногда требуется доступ к метаданным.

[AirWorker]

С морфологией? ^_^

Если бы все было так просто, то нафиг тогда люцена и прочие монструозные штуки?

[zen]

Именно, с морфологией и стеммингом. Я как раз есть один из авторов этого поиска :) Делается в несколько SQL комманд

[AirWorker]

То есть в постгресс встроили такой навороченный поиск? Может ссылку кинете или хабратопик сделаете, думаю, народу понтавится...

[zen]

Вот официальная документация
http://www.postgresql.org/docs/8.3/stati…

[altmind]

а если с помошью mysql(|postgresql), то можно попробовать http://www.sphinxsearch.com/ который я уже давно рекламирую. К сожалению, это не совсем поиск по БД, это скорее внешнее хранилище, с возможностью линковки с mysql.

[zen]

мы задумывали поиск *полностью* интегрированный с БД. Представь, что хабр захочет показывать результаты поиска в зависимости от авторизационной информации. Например, есть статьи, которые не всем можно показать. Потом транзакционность (целостность) немаловажная штука.

[altmind]

во первых, извиняюсь за то что незаметил уже идущую цепочку касательно sphinx.
во вторых - вполне можно хранить в sphinx копию текста из БД, и использовать sphinx только для поиска и сортировки по релевантности, для всего-же иного, искать по самой СУБД.

[zen]

Зачем все это городить ? Никакой целостности вы не получите или придется еще чего придумывать. У вас появилась новая статья в БД, а с сфинксе ее нет, или наоборот, сфинкс нашел, а статью закрыли. Я ничего не имею против сфинкса, просто для хабра это лишний tier

[vibornoff]

Насчет сфинкса знающие люди говорили, что у него с обновлением индексов туговато - ищет замечательно, но вот обновление большого индекса может занимать неприемлимое время.

Касательно транзакций - не знаю, дружит ли с ними сфинкс. Я в своих проектах использую Xapian - там есть ACID + возможность делать отдельно prepare и commit, что с транзакциями postgresql вяжется отлично. А еще очень порадовали встроенные средства кластеризации.

Все же, что ни говорите, БД общего назначения для полнотестового поиска, тем более с учетом морфологии и для больших объемов данных - не подходит.

ИМХО, каждому инструменту - своё применение.

[altmind]

Насчет сфинкса знающие люди говорили, что у него с обновлением индексов туговато - ищет замечательно, но вот обновление большого индекса может занимать неприемлимое время.

Вы правы, время обновления индексов было положено в жертву скорости вставки и поиска. Тем не менее, слышал от других знающих людей, что даже несмотря на такую печальную ситуацию, обновление индекса идет быстее, чем они ожидали.

и еще. sphinx - не сommon use rdbms, это специализированое средство.

кстати, если вы работаете с postgresql, вы не рассматривали tsearch2 как средство полнотекстового поиска?

[zen]

В новой версии 8.3 (скоро выйдет) поиск уже просто встроен в ядро и сходу поддерживаются почти все европейские языки. Русский, понятно, тоже. В качестве морфологии используются openoffice-кие словари, которых полно, ну и можно писать свои словари.

[vibornoff]

> и еще. sphinx - не сommon use rdbms, это
> специализированое средство.
Это я по поводу всяческих наслоений поверх rdbms говорил. Любят люди велосипед переизобретать :)

> В новой версии 8.3 (скоро выйдет) поиск уже
> просто встроен в ядро
Спасибо, ознакомился, похоже я от жизни отстал.

[dbf]

Ну с морфологией понятна, а релевантность как определяется?

[zen]

используются веса лексем, рассстояние между лексемами.

[dbf]

Круто :) Жаль хостинг даёт только MySQL, но при случае посмотрю непременно :)

[AirWorker]

Хабра кстати на MySQL работает, судя по вакансиям Futurico

[michas]

гораздо удобнее пользоваться поиском на том же сайте на котором ты хочешь что то найти.
думаю что вариант с гуглом не очень удобный. лучше добавить больше функционала к уже существующему поиску на хабре

[Lunatik]

Кому как. Мне лично удобнее с любого места страницы, не ища форму поиска, набрать в адресе "g search criteria" (быстрый переход к гуглу в опере). Очень быстро получается, без отрыва от клавиатуры.

[michas]

так как речь идет именно о хабре. то форма поиска всегда в левом верхнем углу.
и можно также добавить в оперу хоткей на поиск по хабру.
но вы правы, каждому удобнее по своему

[Lunatik]

Под словом "искать" я имел в виду скролить наверх до формы. Кстати, она там все-таки справа =)

[michas]

не столь важно где он конкретно находится. я имел ввиду что он всегда на одном и том же месте.

[mirritil]

нет никаких проблем добавить строку гугловского поиска "на тот же сайт", так что внешне он от хабровского отличаться мало будет, но будет работать :)

[dust]

Смею посоветовать разработчикам Sphinx при таких то нагрузках

[web2]

Да, сфинкс действительно достаточно мощный и гибкий поисковый движок!

[abstractioneer]

да, мне тоже пришла такая же идея
Sphinx и стемминг поддерживает, и с нагрузкой справится

[Aist]

Он уже в тестировании. Пока есть пара вопросов, которые не решили, но обязательно решим. Возможно, новая версия хабра будет именно с этим поиском. А, возможно, что и не с этим :) Вопрос всё ещё открытый.

[Sabiko]

Да, искать зачастую приходится гуглом. Что опять же не очень удобно, т.к. хабропоиск сортирует результаты (топики, комментарии и тд) - хотелось бы всего сразу=)