не понял а при чем здесь хаб BigData. Ну разбили ленту на шарды — проблема-то? простой паттерн шардирования. Для борьбы с разбуханием данных используем виртуальный шардинг, где данные по шардам разводятся не по алгоритму — остаток от деления иди юзера, а через специальный конфиг, в котором можно задавать вес шарды. Другой вопрос в том, что автор правильно заметил, что новостная лента нужна на определенный срок, и нас на врядли бы заинтересовали новости друзей годичной давности… К сожалению — описываемый подход применим к любителям монги. Однако, при использовании виртуального шардинга, с легкостью можно чистить устаревшие шарды.
Всеобщее заблуждение про массивы РНР. Открою небольшой секрет — это вовсе не массивы, в том понимании, как мы понимаем: последовательный набор одинаковых элементов. Это хештаблицы. Отсюда и большинство сюрпризов со скоростями алгоритмов.
Используется ли собственная система статистики посещений, если да, то как она организована, как осуществлен сбор информации, аналитика. Используется Hadoop или иной инструмент анализа. Как организовано хранение данных статистики посещений?
Как мы знаем из протокола HS, перед запросом нужно открыть индекс [орерация «P»], время выполнения операции которого на 50% больше, чем выполнение выполнения самого запроса. Если мы имеем обращение по первичному индексу, то сравнение SQL и HS приблизительно такие: 337 и 319 мкс. Как видим, выиигрываем от использования технологии HS совсем не много. Однако, если первоночально открытть индекс [орерация «P»], а потом в цикле делать запросы, то время одного запроса будет составлять 125-220 мкс. Выигрыш получается в два-три раза. Тесты делались на таблице 100К записей структуры: id,text. Тест реализован в рамках разработки си демона, время мерилось gettimeofday, но тест также нельзя назвать идеальным, так как сюда включалось некоторое незначительное время на выполнение враппера кода;
У всех 3-х была пара общих проблем:
— отсутствие поддержки суффиксов;
— отсутствие поддержки авторизации;
— слабая документация;
— уровень покрытия тестами не очень высок.
могу сказать, что на то время, когда были реализованы указанные в статье продукты, прошло более трех лет, тогда в основном был PHP 5.1, это было до появления PSR, что касается авторизации, то первоночально она в HS вообще отсутствовала, а реализоватьбиблиотеки и модули для использования HS в своих проектах было нужно, по этому ни кого не ждали. А потом у разработчиков накопились другие проблемы с другими проектами. Это болезнь многих опенсоурсных проектов… Кто-то что-то полезное сделал, потом продукт развивается, а автор этого проекта уже работает над другой задачей. И поддержка, и документация отстаёт от реального положения.
а за библиотеку спасибо, правда статья не ответила на главный вопрос почему «Не стоит бояться использовать HandlerSocket»? а там очень много подводных камней, про которых ну ни слова…
К сожалению, надежда на государство мала,
так как сам уже как 10 лет пенсионер (военный)
на современную пенсию не проживешь — буду работать пока не сдохну
возможно, чья компания платит чесно все налоги и белую зарплату,
то у того будет вменяемая пенсия (если к этому времени гос-во не разворует все накопления),
но реалии немного не таковы…
Почему я не могу создавать высокопроизводительные веб-приложения на таком языке, как C++ (не CGI)? Ведь этот язык мне нравится больше всех других. Никогда не слышал о том, что бывают сайты, написанные на C++. Почему?
есть и достаточно, очевидно плохо искал, сам тоже страдал велосипедостроением, но делал не через dll загрузку, а через компиляцию.
Почему веб-разработку захватили скриптовые (интерпретируемые) языки программирования?
в разы проще разработка, большинству проектов вполне достаточно скорости скриптового языка.
возможно твой велосипед кому-то понадобиться, но принципиально есть nginx, который уже проверн сотнями проектов и позволяет проксировать fcgi/scgi/wcgi, есть достаточно библиотек, которые поддерживают эти протоколы.
В Питере есть и музыканты, и байкеры (живу с окнами на проспект) и пьяних дебошей тоже предостаточно.
Так-что это, очевидно, проблема всех большиих городов
Hадо из генератора вообще убрать такие символы как D-O-0, 1-I, v-U
или настроить искажение так, чтоб человеку можно было что-то разобрать…
если я не разгадываю капчу со 2-го раза (на некоторых я не мог разгадать даже с 7-го, а иногда даже прошу совета у жены) — я просто ухожу с сайта.
Есть много достойных текстовых замен или двигать ползунки или крутить ручки.
Судя по трафику, GA должна вылететь в копеечку.
могу сказать, что на то время, когда были реализованы указанные в статье продукты, прошло более трех лет, тогда в основном был PHP 5.1, это было до появления PSR, что касается авторизации, то первоночально она в HS вообще отсутствовала, а реализоватьбиблиотеки и модули для использования HS в своих проектах было нужно, по этому ни кого не ждали. А потом у разработчиков накопились другие проблемы с другими проектами. Это болезнь многих опенсоурсных проектов… Кто-то что-то полезное сделал, потом продукт развивается, а автор этого проекта уже работает над другой задачей. И поддержка, и документация отстаёт от реального положения.
а за библиотеку спасибо, правда статья не ответила на главный вопрос почему «Не стоит бояться использовать HandlerSocket»? а там очень много подводных камней, про которых ну ни слова…
заметно экономит память в отличие от malloc из libc
за статьи спасибо, а так же за книгу
думаю знания пригодятся в жизни
так как сам уже как 10 лет пенсионер (военный)
на современную пенсию не проживешь — буду работать пока не сдохну
возможно, чья компания платит чесно все налоги и белую зарплату,
то у того будет вменяемая пенсия (если к этому времени гос-во не разворует все накопления),
но реалии немного не таковы…
наверно хотел добавить: epool/kqueue/poll в зависимости от платформы
в разы проще разработка, большинству проектов вполне достаточно скорости скриптового языка.
возможно твой велосипед кому-то понадобиться, но принципиально есть nginx, который уже проверн сотнями проектов и позволяет проксировать fcgi/scgi/wcgi, есть достаточно библиотек, которые поддерживают эти протоколы.
Так-что это, очевидно, проблема всех большиих городов
есть куда двигаться
не зря дали же psd
или настроить искажение так, чтоб человеку можно было что-то разобрать…
если я не разгадываю капчу со 2-го раза (на некоторых я не мог разгадать даже с 7-го, а иногда даже прошу совета у жены) — я просто ухожу с сайта.
Есть много достойных текстовых замен или двигать ползунки или крутить ручки.
это мы русские, любим что-то устанавливать