Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 44
Вот было бы интересно получать оперативную статистику и графики в реальном времени 8 сентября…
У меня почему-то оба графика оранжевого цвета. UPD: после обновления страницы цвета поправились.
Колоссальный прирост голосов за последние сутки у меня вызывает недоумение: как будто акция какая-то была…
И удивляет отсутствие Красной Площади среди кандидатов. Я всегда думал, именно она приходит на ум у иностранцев при слове «Россия».
Колоссальный прирост голосов за последние сутки у меня вызывает недоумение: как будто акция какая-то была…
И удивляет отсутствие Красной Площади среди кандидатов. Я всегда думал, именно она приходит на ум у иностранцев при слове «Россия».
Колоссальный прирост голосов за последние сутки у меня вызывает недоумение: как будто акция какая-то была…
У меня на графиках, к сожалению, только общее кол-во без дробления на смс и сайт(голосовать можно было и через смс и через сайт, хотя данные я сохранил и те и другие). Тогда было бы видно, что в основном, последний день голосования — это смс. А так даже в новостях есть, что большие проблемы были с добавлением смс из-за наплыва желающих.
Меня больше интересует за что там 700к голосов сняли 29 августа в 22:40…
И удивляет отсутствие Красной Площади среди кандидатов.
Я с вами согласен, но, вроде бы это специально сделано:
Задача проекта – выбор десяти новых визуальных символов России посредством общенародного голосования.
Если честно, не вижу никакого криминала. Вполне нормальный пик. Нормальная форма.
Вполне может объяснятся вбросом призыва голосовать на каком нибудь посещаемом ресурсе.
п.с. а вообще слишком внимания идиотскому конкурсу. При том, что организаторам нет доверия. Нет никаких гарантий что требуемые голоса не подкрутят в политических целях. Когда я увидел в третий раз призыв голосовать за эту хрень, пошел и проголосовал за самый абсурдный вариант. Мечеть Кадырова.
Мне как атеисту не нравится переизбыток религиозных объектов на конкурсе. Для меня символами России являются Первый Спутник, ВДНХ, Памятник Неизвестному Солдату а не церквы и мечети.
Вполне может объяснятся вбросом призыва голосовать на каком нибудь посещаемом ресурсе.
п.с. а вообще слишком внимания идиотскому конкурсу. При том, что организаторам нет доверия. Нет никаких гарантий что требуемые голоса не подкрутят в политических целях. Когда я увидел в третий раз призыв голосовать за эту хрень, пошел и проголосовал за самый абсурдный вариант. Мечеть Кадырова.
Мне как атеисту не нравится переизбыток религиозных объектов на конкурсе. Для меня символами России являются Первый Спутник, ВДНХ, Памятник Неизвестному Солдату а не церквы и мечети.
Ага, ну хоть бы на хабр эту грязнь не выносили, кремлю накручивает администрация Коломны, мечети накручивают то ли битарды то ли лично Кадыров, а нормальные объекты типа Байкала на пару порядков от всего этого балагана отстают.
Мир вам, Господе Иисусе. Надо голосовать за мечеть Кул Шариф в Казанском Кремле. Остальное банально.
Дожили. Символ России — мечеть!
Нормальный такой символ современной России, вполне соответствующий тенденциям…
Это всё-таки музей, культурно-просветительское заведение. И она очень красивая. И это не единственный символ, а один из новых.
Кстати, церквей разных у нас с десяток символов: ХХС, Василия Блаженного, кремлёвские все, Исакиевский, Казанский — куча их.
Кстати, церквей разных у нас с десяток символов: ХХС, Василия Блаженного, кремлёвские все, Исакиевский, Казанский — куча их.
Если честно, не вижу никакого криминала. Вполне нормальный пик. Нормальная форма.
Вполне может объяснятся вбросом призыва голосовать на каком нибудь посещаемом ресурсе.
Если вы это мне, то я просто показал интересные моменты на графике, что бы статья покрасивее была. Просто на момент написания статьи, это был наверное один из интересных моментов.
Хотя, конечно, это блекнет по сравнению с 2 миллионами за пол часа в последний день голосования.
Это ни для кого не секрет. Президент Чечни лично и открыто продвигал эту мечеть. Когда она стала лидировать, остальные стали продвигать Коломенский кремль (я правда не понял почему именно его) чтобы мечеть не победила. Ну и сам конкурс сделан так, что накручивается очень легко. Можно почитать тут: http://lenta.ru/articles/2013/08/16/heartof/
Уже снял с голосования lenta.ru/news/2013/08/30/mosque/
Собственно, как и обещал, собранные данные — может быть кому пригодятся:
10russia.sql.gz
10russia.sql.gz
А только я недоумеваю почему SMS платные? Средний доход с такой смски(за 3.X рубля) от 0.6 до 1.5 рублей. Учитывая количество проголосовавших. Я тащусь от людей которые это придумали.
Просто гении. Искренне завидую их дальновидности =)
Ага. Если в цифрах, то примерно в ситуации с ТОП 2, получается:
32 421 805 голосов через смс, это 10 807 268,33 смс или примерно 38 041 584,53 рубля
37 141 324 голосов через смс, это 12 380 441,33 смс или примерно 43 579 153,49 рубля
32 421 805 голосов через смс, это 10 807 268,33 смс или примерно 38 041 584,53 рубля
37 141 324 голосов через смс, это 12 380 441,33 смс или примерно 43 579 153,49 рубля
Учитывая, что они теперь потеряли рынок — это не гениальность и дальновидность, а грандиозный, эпический фейл.
Когда первый раз увидел этот конкурс, подумал — гениальные люди: обернули простейший холивар в красивую обертку, да еще и бобло на этом подняли. Можно же вообще кого угодно так же красиво стравить и поддерживать «баланс» сил и напряжение.
И прошу прощения у верующих, но если символ страны — это религиозная постройка, то всё очень печально.
И прошу прощения у верующих, но если символ страны — это религиозная постройка, то всё очень печально.
Ну вот выступил Рамзан по какому-нибудь радио — и айда. В общем, нет здесь ничего особо удивительного. Будет правильно, если эта мечеть победит — всё-таки самый настоящий символ всего того, что творится в нашей стране в последние годы. Мече-мече-мече-мечеть, оле-оле-оле-оле!
/*offtop*/ Забавно, но ваш график крашит safari на ipad 2. Пятый раз подряд — зависаю ->черный экран
Судя по всему, Вы с пхп познакомились недавно. Несколько советов:
1. Не делайте пустой блок
2. Вместо регулярных выражений используйте DOMXPath
3. Экранируйте переменные (строки) в sql-запросах при помощи mysql_real_escape_string (а лучше используйте PDO или MySQLi)
4. Для создания json используйте json_encode
5. Пишите в файл с помощью file_put_contents
1. Не делайте пустой блок
catch. Вы так никогда не узнаете, что у Вас сломалось в скрипте. Добавьте в этот блок запись ошибок в лог.2. Вместо регулярных выражений используйте DOMXPath
3. Экранируйте переменные (строки) в sql-запросах при помощи mysql_real_escape_string (а лучше используйте PDO или MySQLi)
4. Для создания json используйте json_encode
5. Пишите в файл с помощью file_put_contents
Вы ошибаетесь, я на PHP программирую уже шестой год.
Про список того что вы написали, скажу следующее, в принципе часть советов(1, 3, 4) правильна, но не в моём случае.
1. Данная конструкция с
Была нужна что бы не было Warning ошибок когда удалённый сервер отдаёт 404. (file_get_contents вместо тогоже cUrl был выбран исключительно для того что бы морально оправдать парсинг. Раз ВГТРК не банит такие запросы, то они не простив парсинга).
Знаете способ элегантнее и проще? Поделитесь. Не было бы её, то в перспективе у меня бы мог лог ошибок разрастись и занять всё свободное место на HDD( не забываем что цель была в ограниченных ресурсах всё это запускать, и кстати, в конечном итоге всё отработало супер и полторы недели парсинга и «хабраэффект» почти не отобразилось на работе сервера).
2. В данном случае preg_match для меня намного проще. Для более сложного, в плане логики, парсинга, я предпочитаю использовать PHP Simple HTML DOM Parser. Но ради интереса надо будет попробовать сравнить в конкретно этом случае производительность DOMXPath и preg_match по потреблению памяти и скорости работы.
3. В моём случае мне нечего экранировать. Вообще конечно совет новичкам обязательный, все грешат по началу SQL инъекциями.
4 и 5. Ну очень сомнительный совет. Простите, это для меня даже прямо таки вредный совет.
Делать надо так что бы запустил и забыл а оно само работает. Мой код мог бы спокойно работать очень долго и объём требуемой для работы ОЗУ был бы всегда одинаковым.
А в случае который вы мне предлагаете, мне надо было бы сначала создать массив с данными в ОЗУ, затем из него сделать json строку, удалить массив и всю эту строку записать через file_put_contents. И чем больше было бы в БД записей то тем больше он будет кушать ОЗУ и следовательно кончиться тем что отвалиться с PHP Fatal error: Allowed memory size of… :)
Про список того что вы написали, скажу следующее, в принципе часть советов(1, 3, 4) правильна, но не в моём случае.
1. Данная конструкция с
set_error_handler('handleError');
и пустым блоком catch
Была нужна что бы не было Warning ошибок когда удалённый сервер отдаёт 404. (file_get_contents вместо тогоже cUrl был выбран исключительно для того что бы морально оправдать парсинг. Раз ВГТРК не банит такие запросы, то они не простив парсинга).
Знаете способ элегантнее и проще? Поделитесь. Не было бы её, то в перспективе у меня бы мог лог ошибок разрастись и занять всё свободное место на HDD( не забываем что цель была в ограниченных ресурсах всё это запускать, и кстати, в конечном итоге всё отработало супер и полторы недели парсинга и «хабраэффект» почти не отобразилось на работе сервера).
2. В данном случае preg_match для меня намного проще. Для более сложного, в плане логики, парсинга, я предпочитаю использовать PHP Simple HTML DOM Parser. Но ради интереса надо будет попробовать сравнить в конкретно этом случае производительность DOMXPath и preg_match по потреблению памяти и скорости работы.
3. В моём случае мне нечего экранировать. Вообще конечно совет новичкам обязательный, все грешат по началу SQL инъекциями.
4 и 5. Ну очень сомнительный совет. Простите, это для меня даже прямо таки вредный совет.
Делать надо так что бы запустил и забыл а оно само работает. Мой код мог бы спокойно работать очень долго и объём требуемой для работы ОЗУ был бы всегда одинаковым.
А в случае который вы мне предлагаете, мне надо было бы сначала создать массив с данными в ОЗУ, затем из него сделать json строку, удалить массив и всю эту строку записать через file_put_contents. И чем больше было бы в БД записей то тем больше он будет кушать ОЗУ и следовательно кончиться тем что отвалиться с PHP Fatal error: Allowed memory size of… :)
Более того, вместо регулярок иногда хватает explode/strpos и другие подобные штуки. Помню XML-ку надо было распарсить, а она под гиг, а у клиента толи 16, толи 32 метра памяти под скрипт, попутно сравнивания с данными из базы, еще под гиг данных. Готовые парсеры предлагали грузить всю XML-ку в память и создавать из неё массив… с соотестствующим результатом.
Кстатии может кто подскажет готовые хорошие парсеры под конфиги линуксовых демонов (apache, nginx, samba, proftpd, bind9 и другие)?
Кстатии может кто подскажет готовые хорошие парсеры под конфиги линуксовых демонов (apache, nginx, samba, proftpd, bind9 и другие)?
XML-дамп Википедии нормально парсится и без извратов с explode/strpos. php.net/manual/en/book.xmlreader.php
Когда этот самый парсер есть. А когда дефолтный php4 (я не опечатался) без всего и мало памяти, то приходится извращаться. Всё от ситуации зависит. Нынче кодю на сервере с 32 гигами оперативы (меньше у хостера не было), крайне сложно получить фатал еррор о нехватки памяти.
explore был не парсинг xml, если что, но грешу этим.
explore был не парсинг xml, если что, но грешу этим.
А когда дефолтный php4 (я не опечатался) без всего и мало памяти, то приходится извращаться. Всё от ситуации зависит.
Согласен.
Нынче кодю на сервере с 32 гигами оперативы (меньше у хостера не было), крайне сложно получить фатал еррор о нехватки памяти.
xmlreader не загружет весь файл в память.
на сервере с 32 гигами оперативы (меньше у хостера не было), крайне сложно получить фатал еррор о нехватки памяти
Кстати, легко. Все зависит от memory_limit
что бы не было Warning ошибок когда удалённый сервер отдаёт 404
file_get_contents может бросить варнинг и по другой причине, но Вы об этом не узнаете.
preg_match может бросить варнинг, но Вы об этом не узнаете.
mysql_query может бросить варнинг, но Вы об этом не узнаете.
ну и конечно же любой нотис будет преобразован в исключение и Вы снова об этом не узнаете.
file_get_contents вместо тогоже cUrl был выбран исключительно для того что бы морально оправдать парсинг. Раз ВГТРК не банит такие запросы, то они не простив парсинга
ВГТРК не знает что Вы используете. Разница только в заголовках (юзер-агент в частности). Я бы использовал curl, т.к. не надо городить с обработкой ошибок.
надо будет попробовать сравнить в конкретно этом случае производительность DOMXPath и preg_match по потреблению памяти и скорости работы
Регулярки выиграют.
В моём случае мне нечего экранировать
Верно. Тогда нужно всегда помнить, что в $key нельзя писать все подряд, а только то, что не сломает запрос.
в случае который вы мне предлагаете, мне надо было бы сначала создать массив с данными в ОЗУ, затем из него сделать json строку, удалить массив и всю эту строку записать через file_put_contents. И чем больше было бы в БД записей то тем больше он будет кушать ОЗУ и следовательно кончиться тем что отвалиться с PHP Fatal error: Allowed memory size of… :)
Согласен. Но зачем создавать json, который в память не влазит? Я, типа, сгенерил и память сэкономил, а клиент пусть загружает его как хочет?
file_get_contents может бросить варнинг и по другой причине, но Вы об этом не узнаете.
preg_match может бросить варнинг, но Вы об этом не узнаете.
mysql_query может бросить варнинг, но Вы об этом не узнаете.
ну и конечно же любой нотис будет преобразован в исключение и Вы снова об этом не узнаете.
Поймите, мне и не надо об этом знать, в данной конкретной ситуации, если поменяется вёрстка или mysql сервер упадёт или url будет вообще стал валидный я и так об этом узнаю по графику. Я не утверждаю, что, так как я написал — единственно правильное решение. Но в моей ситуации, для меня, я считаю, что написал верно, и пока не увидел у вас весомых аргументов, которые бы пошатнули эту мою уверенность.
ВГТРК не знает что Вы используете. Разница только в заголовках (юзер-агент в частности). Я бы использовал curl, т.к. не надо городить с обработкой ошибок.
Именно, разница в заголовках. Не посылается не user agent, не referer, не cookie. Первое что делают когда делают защиту от парсинга, отсекают всех у кого пустой user agent. По крайней мере об этом говорит моя практика.
Согласен. Но зачем создавать json, который в память не влазит? Я, типа, сгенерил и память сэкономил, а клиент пусть загружает его как хочет?
Вот это единственный момент, который я действительно пропустил, спасибо!
Вам не кажется, что вы сильно всё усложняете, я сам парсер написал минут за 15, в конечном итоге он без проблем проработал всё это время, снабжая интересующими меня данными. Разве не скорость написания, надёжность и быстрота работы являются одними из важных критерий, по которым можно и, даже не побоюсь этого слова, нужно оценивать работу программы? А вообще, это, наверное, хороший пример принципа KISS.
Давайте, если у Вас есть возможность и свободное время, Вы напишите пример, как бы Вы сделали парсер, который делает то же самое и сравним их по количеству строк кода, скорости работы и времени за которое вы его написали.
Собственно, инвайт на Хабрахабре я и захотел получить, ради хорошего спора с коллегами, потому что уже три года работаю единственным программистом в веб-студии и остро нуждаюсь в общении по профессии, ведь как известно, в споре рождается истина.
Ок
Сервис падал наверное
Там где большая дырка – да. Меня больше интересует «пила» в левой части. Получается, падала только «мечеть».
Нет. По моему мнению, «пила» у мечети ярко выражена, потому что голосов с сайта почти не поступало. А у кремля на сайте побольше голосовало, что и сглаживало зубцы.
Собственно поэтому, мне кажется, линии и идут почти параллельно, потому что смс шлюз захлёбывался и если и выдавал, то выдавал одинаковое кол-во смс голосов.
Так что обвинение ОпСоСов в том что они специально что-то там портили для меня является популизмом и не более.
Собственно поэтому, мне кажется, линии и идут почти параллельно, потому что смс шлюз захлёбывался и если и выдавал, то выдавал одинаковое кол-во смс голосов.
Так что обвинение ОпСоСов в том что они специально что-то там портили для меня является популизмом и не более.
СМС шлюз, голоса сайта нормально защитывались
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Следим за голосованием на «Россия 10»