Twitter: 1 млрд запросов в сутки и новый поисковик

[dohlik]

Начинаем искать ляпы в «переводе»? :)

Twitter has also hired 5 of the 6 Summize employees

->

Её купили в июле 2008 года как раз для этих целей вместе с 5-6 разработчиками.

[alizar]

Спасибо, fixed.

[dohlik]

Я бы наверное написал, что "… купили, наняв при этом 5 из 6 разработчиков". А то как будто разработчиков тоже купили — грубовато звучит.

[alizar]

ok, примерно так исправил

[sesharim]

Хм, я так подумал, а может в дальнейшем Lucene будет гораздо перспективнее, чем Sphinx? Не?

[aymeshkov]

Это немного разные вещи, Lucene это скорее библиотека для полнотекстового поиска, на ее основе уже создаются готовые поисковые движки.

На основе Lucene построен Solr, который как раз и является прямым конкурентом Sphinx.

[Error_403_Forbidden]

А русскую морфологию до сих пор не понимает

[Andryxa]

Подтянутся быстро, скорее всего.
Вон, гугл еще в древнем 2006-м начал распознавать русскую морфологию.
Дело времени и, возможно, финансовой обоснованности быстрого внедрения сей фичи

[Shablonarium]

Мне, кстати, сегодня дали новый веб-интерфейс твиттера, и там баг — теперь не могу отправлять твиты.

[tangro]

А почему было принято строить архитектуру системы, обрабатывающей 1 миллиард запросов в сутки на вирутальной машине (Java)? Ведь нейтив-код дал бы ну минимум процентов 10-15 (а то и больше) преимущества? Аргумент про более высокую скорость разработки — вообще не аргумент в данном случае.

[shodan]

java -> JIT -> native «и так»

дырки в перфе не от нейтива — а от клаттера

[stas_agarkov]

тут не о высокой скорости разработки речь должна идти, а о сложности поддержки кода
10-15 процентов скорости не стоят того, чтобы заморачиваться с указателями си++

[tangro]

ну да, ну да. Расскажите это разработчикам какого-нибудь 3d-шутера, которые за каждый fps борются или писателям драйверов или даже тому же Microsoft, делающего Office native-приложениями на с++.

[stas_agarkov]

авторы 3d-шутера не могут легко увеличить производительность железа, а авторы твиттера могут
легче купить еще один сервер, чем оптимизировать софт, переводя его с ява на си++

[mkechinov]

Вот интересно, они убрали в поиске «анализатор качества» твита? Или это осталось? Когда твиты новыз пользователей (а также некоторых старых, кому уже 2-3 года) просто игнорируются в результатах поиска по тегам.

[shodan]

самый интересный вопрос — зачем им вообще любой «классический» поисковой движок

запросы и данные достаточно своеобразные — чтобы «обычные» инвертированные файлы на них ложились не вполне хорошо

навскидку (навскидку) при имеющихся входных — зарулило бы спецрешение

видимо, тупо заради предсказуемости разработки