Смотря для каких целей, если там тысяча или десять тысяч небольших текстов, то сфинкс — это стреляние баллистическими ракетами по мухам, ибо fulltext проще построить, не требует отдельного демона и он realtime (сфинкс же реалтайм только имитироват может и то это не одной командой делается).
А вот если текста (или вообще записей-атрибутов) дофига — то да, сфинкс — король.
Так исторически сложилось — просто у меня есть библиотека функций, которыми много лет пользуюсь и она uptime назвалась по названию команды, так и осталось, хотя и Вы правы — меряет она loadavg :)
просмотрел в общих чертах — тестировал я что-то подобное и даже сейчас что-то подобное работает — вот эти ВЕРОЯТНОСТИ выше и получаются ) не знаю правда что будет при тех моделях — я свои придумывал.
1) я не уверен, что это достижимо без шардинга
2) если шардинг (кластеризация) — это нужны процессы следящие за состоянием серверов и т.п. и т.п. и т.п.
3) платить за несколько серверов сразу
так вот — это долгая и очень серьезная работа (недели, а может и месяцы), а теперь ответьте на вопрос: «а если НЕ придут 2 миллиона?» )) и в принципе я более чем уверен, что на этот проект — не придут. это игрушечный проект, там им делать нечего — миллионам.
В категоризации новостей.
«Turkey» — это страна или индейка? Python — язык программирования или monty python? Полисемия меня уже бесит, я уже даже выучил как это называется.
Как вычислить автоматически вычислять семантическое ядро для категорий типа «Atlanta Falcons», если во всех страницах про них, в основном пишется про них и какую-нибудь еще команду, например «Denver Broncos»?
Как автоматически сделать иерархичность, что Denver Broncos — это NFL?
И т.п. т.п. т.п. короче, автоматизированная лингвистика загнала меня уже. Получается процентах в 50 случаев процентов на 90 угадать тематику, в 10 процентах случаев угадываемость около 30-40 процентов, но если считать, что тема обобщена, то есть по запросу «спартак» — мы просто интересуемся «футболом». В остальных 40% категоризации вообще нет или неправильна )
я думаю вы меня не так поняли. когда такие нагрузки — нужно стремиться к двум вещам:
1) выборки только по primary key
2) как можно меньше join, order, group
именно к этому сейчас фактически проект и пришел, к сожалению, экспериментальным путем поломок и убитых винчестеров.
unbuffered дал бы выигрыш, если бы я все 72 млн записей выбирал ) в моем случае из этой базы выбирается только 1 (денормализованная) строка по праймари ключу — я писал об этом подробно в первой части.
в сторону RarestNews :) это другой проект, он мне куда более интересен сейчас, но с ним я в тупике. а этот просто висит, народ развлекает. а про этот еще дорасскажу, наверное, если интерес будет — это далекоооо не все, что там надо было оптимизировать.
Без фреймворков и библиотек (кроме php-memcached) — чистый php, даже без абстракции базы данных — только mysql_query/mysql_real_escape_string.
Нет, к 72 миллионой обращение идет только раз — при первоначальной загрузке страницы и потом еще 400 обращений к 17 миллионной базе отдельных слов (хотя фактически эти все обращения сейчас идут к memcached).
Было бы быстрее, если бы боты не обращались 100-200 тысяч раз в день.
В общем, вопрос уровня «сколько стоит машина?» или «сколько стоит сайт?».
Интересно, скопипастил вопрос из текста — отправился коммент, но не суть. На Ваш вопрос Вы можете ответить только сами. Доработка продукта. Что за продукт, сколько времени его надо дорабатывать (большинство проектов дорабатываются постоянно), кто дорабатывает — Вы или много нанятых программеров или оффшорщики.
На серверы — тут все просто — нужно денег равное количеству серверов умноженное на их цену в месяц :)
Рекламная кампания — то же самое. А сколько Вы хотите рекламировать? А хороший ли продукт, чтобы его рекламировать?
А насчет поиска инвесторов — я уже писал — ерунда. Если очень верите в свой проект — 5к вполне по друзьям назанимать можно (или в банке). А если боитесь этим путем идти — то и «инвестор» вам не даст денег, если, конечно, у Вас не что-то супер-сногсшибательное.
Ну реально YouTube на стартап и моему проекту, который никто не знает — чуть-чуть разное количество денег понадобилось. :) YouTube несколько миллиардов инвестиций получил, а мой стартап вполне себе на $160 в месяц живет :)
А вы думали что будете делать, когда к Вам униженная Вами компания, к примеру KrasAir или Reebok, с «дружественным» визитом наведается?
Или серьезно думаете, что дело судом обойдется за какое-нибудь незаконное использование логотипа? ))
А вот если текста (или вообще записей-атрибутов) дофига — то да, сфинкс — король.
2) если шардинг (кластеризация) — это нужны процессы следящие за состоянием серверов и т.п. и т.п. и т.п.
3) платить за несколько серверов сразу
так вот — это долгая и очень серьезная работа (недели, а может и месяцы), а теперь ответьте на вопрос: «а если НЕ придут 2 миллиона?» )) и в принципе я более чем уверен, что на этот проект — не придут. это игрушечный проект, там им делать нечего — миллионам.
rarestblog.com/2008/07/scalability-problem/
«Turkey» — это страна или индейка? Python — язык программирования или monty python? Полисемия меня уже бесит, я уже даже выучил как это называется.
Как вычислить автоматически вычислять семантическое ядро для категорий типа «Atlanta Falcons», если во всех страницах про них, в основном пишется про них и какую-нибудь еще команду, например «Denver Broncos»?
Как автоматически сделать иерархичность, что Denver Broncos — это NFL?
И т.п. т.п. т.п. короче, автоматизированная лингвистика загнала меня уже. Получается процентах в 50 случаев процентов на 90 угадать тематику, в 10 процентах случаев угадываемость около 30-40 процентов, но если считать, что тема обобщена, то есть по запросу «спартак» — мы просто интересуемся «футболом». В остальных 40% категоризации вообще нет или неправильна )
1) выборки только по primary key
2) как можно меньше join, order, group
именно к этому сейчас фактически проект и пришел, к сожалению, экспериментальным путем поломок и убитых винчестеров.
unbuffered дал бы выигрыш, если бы я все 72 млн записей выбирал ) в моем случае из этой базы выбирается только 1 (денормализованная) строка по праймари ключу — я писал об этом подробно в первой части.
Нет, к 72 миллионой обращение идет только раз — при первоначальной загрузке страницы и потом еще 400 обращений к 17 миллионной базе отдельных слов (хотя фактически эти все обращения сейчас идут к memcached).
Было бы быстрее, если бы боты не обращались 100-200 тысяч раз в день.
Интересно, скопипастил вопрос из текста — отправился коммент, но не суть. На Ваш вопрос Вы можете ответить только сами. Доработка продукта. Что за продукт, сколько времени его надо дорабатывать (большинство проектов дорабатываются постоянно), кто дорабатывает — Вы или много нанятых программеров или оффшорщики.
На серверы — тут все просто — нужно денег равное количеству серверов умноженное на их цену в месяц :)
Рекламная кампания — то же самое. А сколько Вы хотите рекламировать? А хороший ли продукт, чтобы его рекламировать?
А насчет поиска инвесторов — я уже писал — ерунда. Если очень верите в свой проект — 5к вполне по друзьям назанимать можно (или в банке). А если боитесь этим путем идти — то и «инвестор» вам не даст денег, если, конечно, у Вас не что-то супер-сногсшибательное.
Вопрос странный ей-Богу.