Статья действительно ностальгическая, спасибо!
Правда, забыли рассказать о том, как наши варез-сервера находили убежище под столом в каком-нибудь китайском доме;)
Основная задача агрегатора — получить все записи, а не подстраиваться под визиты пользователя! Т.к. люди могут заходить и читать одно и тоже, что обновляется всего раз в день!
Поэтому необходимо провести мониторинг частоты обновления фидов, я например использую следующую простую формулу: 15000/(количество добавленных записей за 2 недели) = период обновления в минутах.
Для снижения нагрузки в процессе мониторинга, можно анализировать последнее число добавленных записей — если оно остается неизменным, то сдвигать процесс обновления на несколько периодов вперед.
Ну, а формирование списка фидов для обновления основывается на времени последнего обновления + сдвиг, сформированный на основе мониторинга.
Конечно, для коррекции времени обновления, можно учитывать общее число записей в фиде (например домножить на него период_обновления_в_минутах) или зафиксировать время наибольшей активности фида, но это снизит оперативность обновления, хотя и обеспечит получение всех записей на протяжение определенного времени.
А сколько уже уникальных фидов накопилось?! Я вам еще раз рекомендую обратить внимание на получение контента средствами браузера, а потом его отправкой на сервер для парсинга — это существенно снизит нагрузку на сервер. Кстати, 20 минут — слишком много, можно и пропустить что-нибудь интересное.
В таком случае, логичнее было бы переводить такой фид на ручное обновление, например, при визите пользователя, а не удалять фид совсем. Да и с чем связана чистка, неужели в многопользовательской структуре не заложена централизованная загрузка фидов с одинаковыми адресами?! А как же тогда социальная составляющая, рекомендации других фидов, которые грузят другие пользователи?!
собственный сервер — отличное и дешевое решение… за те же предложенные 3$ вполне можно поднять свой Tiny RSS на каком-нить частном виртуальном хостинге…
Так, например, всеми любимый LiveJournal уже несколько раз блокировал IP моего сервера, за слишком частое обращение к их сервису. Эту проблему пока решить не удалось.
ничто не мешает иногда использовать возможности пользователей и получать данные через JavaScript или Flash, организуя скрытый запрос от пользователя к LiveJournal
а фильтрации поисковой выдачи нет, просто фразы касающиеся вареза исключили из автозаполнения… как вариант, сделали это для того, чтобы пользователи дольше на рекламу глазели пока будут вручную слова мудренные набирать в поле;)
собсно, насчет «2. Запустить свой музыкальный сайт с какой-нибудь человеческой моделью (freemium, например, да или вообще рекламной)» они это обещали исправить уже этой весной, основное направление музыка для Android, причем обязательно с «облачными» технологиями… news.cnet.com/8301-31001_3-20030130-261.html
вопрос к автору простой — сколько бы времени потребовалось на переписывание той отлаженной, запатчено-пропатченную программу со старой работы на C++ с той же Qt?!
вопрос этот пускай и риторический, но ответ хотелось бы узнать… ведь прогресс тоже не стоит на месте;)
а жить можно начать только бросив программинг!… ведь от появления «обилия «звездочек», «анперсандов», символов „==“» вы только больше отвлекаетесь от жизни!
«зачем?» вас бы не спросили, а если бы спросили, то так и бы ответили, как есть: «Хочу посмотреть умеете ли вы работать, а потом о результатах работы хочу в Интернет статью написать на популярном интернет-ресурсе. Хабр может слышали такой?!»
все что вам нужно было сделать, предоставить письмо с рекламой рассылки СПАМа и логи вашего разговора по ICQ и попросить ОБЭП и ФАС провести проверку по факту незаконного предпринимательства /в принципе я повторил уже озвученное в одной из ветвей обсуждения/
не надо было говорить о том, как плохо вашим серверам в Германии живется и не попали в бюрократический тупик!
значит сервера у них не в Москве, а московские номера и счет настоящие?!=))) вы еще скажите, что они на их паспорта оформлены;) но можно расценивать как попытки доказать собственные предположения!
какие улики нарушения закона вы предоставили в правохранительные органы, кроме номеров ICQ?! можно ознакомиться с текстом вашего обращения/заявления, а то в вашей статье лишь ответы!?
Тогда еще меньше понятно. что вы хотите от отдела «К», если проблемы со СПАМом вы решили локально по месту нахождения СПАМ-серверов, ведь как вы указали они были в Европейских странах, а не в России?! то, что спамеры в Москве, так же как и «алкогольное опьянение водителя» лишь ваше предположение!
Как я говорил ранее из вашего рассказа не понятно чего вы хотели добиться кроме реакции правоохранительных органов, они отреагировали и несколько раз, даже пригласили вас и показали, что они пытаются работать, но над чем им работать они никак понять не могут. Если вы не заметили ваша переписка с ними ничем не отличается от нашего с вами диалога, видимо есть проблемы в объяснение проблемы с вашей стороны.
Напишите в заявление конкретнее чего вы хотите от милиции и тогда удивитись насколько конкретнее будет ответ.
Полиция германии и франции реагирует на такое, не важно откуда гражданин. В их стране идёт нарушение их закона, и они за это право готовы бороться.
что ж вы им не написали заявление, у вас же собственность подверженная нарушению закона на их территории?!
читал я статью… VPS — это тип виртуального хостинга. Если вы их считаете физическими серверами, это ваша проблема и считать их своей собственность, а не арендованным у хостера, тоже ваше право. Но вот расположены они на хостинг-площадке, а не у вас дома, следовательно у вас есть претензии к хостеру, оказывающему вам услуги, а именно выделенный канал интернет для вашего сервера, если он был ваш домашний сервер, то вы общались с провайдером, тут же виноват хостинг, что трафик паразитный пропустил к вам. Паразитный трафик, так как не зависит от вас.
насчет водителя, степень его алкогольного опьянения определить может только специальная экспертиза (может его машину случайно занесло, а вы находились в «мертвой зоне» и он вас не заметил, потому и продолжил движение), в приведенном вами примере была угроза вашей жизни, запомнив номер водителя и собрав несколько свидетелей можете отправляться в милицию писать заявление. Забегая вперед, скажу, что так как факта ущерба не было, а показания водителя подтвердились дело будет закрыто.
Падение сервера если не ваших рук дело, тогда обращайтесь в хостинг, это их проблема. Нарушение закона, т.е. нарушения ваших прав как гражданина РФ не прослеживается из ваших обращений.
Прежде чем что-то требовать необходимо подсчитать ущерб, ущерб как правило выражается в денежных единицах, либо в материальных ценностях, если ущерба нет, то и нарушения закона как бы нет!
СПАМ не оправдываю, с ним пускай ФАС разбирается, а проблему с менее серьезным на уровне хостингов и провайдеров вполне по силам решить обычному админу, если он действительно админ и выполняет предписанные ему функции с взятым на себя уровнем ответственности, как за сервер, так и за пользователей сервера. Если вы не справляетесь со СПАМом доверьтесь тем службам и сервисам, которые обеспечивают антиСПАМ защиту, и еще раз замечу, что к этим службам и сервисам ни коим боком не относится МВД.
Правда, забыли рассказать о том, как наши варез-сервера находили убежище под столом в каком-нибудь китайском доме;)
З.Ы.
Следующие на очереди, я так понимаю, сервера Mail.Ru?!
Поэтому необходимо провести мониторинг частоты обновления фидов, я например использую следующую простую формулу: 15000/(количество добавленных записей за 2 недели) = период обновления в минутах.
Для снижения нагрузки в процессе мониторинга, можно анализировать последнее число добавленных записей — если оно остается неизменным, то сдвигать процесс обновления на несколько периодов вперед.
Ну, а формирование списка фидов для обновления основывается на времени последнего обновления + сдвиг, сформированный на основе мониторинга.
Конечно, для коррекции времени обновления, можно учитывать общее число записей в фиде (например домножить на него период_обновления_в_минутах) или зафиксировать время наибольшей активности фида, но это снизит оперативность обновления, хотя и обеспечит получение всех записей на протяжение определенного времени.
ничто не мешает иногда использовать возможности пользователей и получать данные через JavaScript или Flash, организуя скрытый запрос от пользователя к LiveJournal
вопрос этот пускай и риторический, но ответ хотелось бы узнать… ведь прогресс тоже не стоит на месте;)
а жить можно начать только бросив программинг!… ведь от появления «обилия «звездочек», «анперсандов», символов „==“» вы только больше отвлекаетесь от жизни!
не надо было говорить о том, как плохо вашим серверам в Германии живется и не попали в бюрократический тупик!
какие улики нарушения закона вы предоставили в правохранительные органы, кроме номеров ICQ?! можно ознакомиться с текстом вашего обращения/заявления, а то в вашей статье лишь ответы!?
Как я говорил ранее из вашего рассказа не понятно чего вы хотели добиться кроме реакции правоохранительных органов, они отреагировали и несколько раз, даже пригласили вас и показали, что они пытаются работать, но над чем им работать они никак понять не могут. Если вы не заметили ваша переписка с ними ничем не отличается от нашего с вами диалога, видимо есть проблемы в объяснение проблемы с вашей стороны.
Напишите в заявление конкретнее чего вы хотите от милиции и тогда удивитись насколько конкретнее будет ответ.
что ж вы им не написали заявление, у вас же собственность подверженная нарушению закона на их территории?!
насчет водителя, степень его алкогольного опьянения определить может только специальная экспертиза (может его машину случайно занесло, а вы находились в «мертвой зоне» и он вас не заметил, потому и продолжил движение), в приведенном вами примере была угроза вашей жизни, запомнив номер водителя и собрав несколько свидетелей можете отправляться в милицию писать заявление. Забегая вперед, скажу, что так как факта ущерба не было, а показания водителя подтвердились дело будет закрыто.
Прежде чем что-то требовать необходимо подсчитать ущерб, ущерб как правило выражается в денежных единицах, либо в материальных ценностях, если ущерба нет, то и нарушения закона как бы нет!