Идея подсмотреть какие ссылки пользуются популярностью у русскоязычных пользователей Твиттера появилась у меня пару месяцев назад. Потом я увидел tweetmeme.com и понял как именно это нужно реализовать. Действительно трудно придумать для этого что-то лучше, чем digg-like сайт, в который ссылки и голоса за них попадают из микроблогов пользователей Твиттера.
Итак, встречайте — TwitterLinks.Ru.
Учитывая то, что русскоязычная аудитория Твиттера пока намного меньше англоязычной, у меня были сомнения получится ли ресурс столь же интересным, как tweetmeme. Но, как мне кажется, сомнения были напрасны. Русскоязычная аудитория берет качеством, а не количеством, получилось много интересных ссылок.
В качестве основы для сайта я взял открытый код reddit.com и немного его доработал. Точнее доработал я его для другого сайта, но здесь многие доработки пригодились, осталось только отключить ненужный функционал. Код написан на языке Python с использованием фреймворка Pylons.
Затем был написан бот, который периодически дергает фид поиска по Твиттеру и парсит его, исключая твиты некоторых пользователей, которые просто транслируют все ссылки со своих ресурсов и делают это не через twitterfeed (тех кто использует twitterfeed мы уже отсекли поисковым запросом к Твиттеру). Все укороченные ссылки приводятся к их каноническому виду, после чего проверяется есть ли в базе такая ссылка. Если есть, то ее упоминание засчитывается как голос за ссылку, если нет, то ссылка добавляется в базу. Каждый пользователь, конечно, может проголосовать за конкретную ссылку только один раз.
Раз в несколько минут скрипт из кода reddit.com пытается для каждой новой ссылки подобрать подходящую картинку, для этого парсится страница, на которую ведет ссылка и выбирается самая большая по площади картинка, исключая слишком длинные и слишком широкие.
Наряду со ссылками на русском и украинском иногда попадаются ссылки на болгарском и македонском, которые я пока не знаю как автоматически фильтровать, поэтому удаляю их вручную.
Ссылки можно комментировать, зарегистрировавшись на сайте. В ближайшее время планирую сделать так, чтобы твиты, упоминающие ссылку, автоматически добавлялись, как комментарии, в том случае если это не просто ретвит.
Критика, предложения и пожелания приветствуются.
Итак, встречайте — TwitterLinks.Ru.
Учитывая то, что русскоязычная аудитория Твиттера пока намного меньше англоязычной, у меня были сомнения получится ли ресурс столь же интересным, как tweetmeme. Но, как мне кажется, сомнения были напрасны. Русскоязычная аудитория берет качеством, а не количеством, получилось много интересных ссылок.
В качестве основы для сайта я взял открытый код reddit.com и немного его доработал. Точнее доработал я его для другого сайта, но здесь многие доработки пригодились, осталось только отключить ненужный функционал. Код написан на языке Python с использованием фреймворка Pylons.
Затем был написан бот, который периодически дергает фид поиска по Твиттеру и парсит его, исключая твиты некоторых пользователей, которые просто транслируют все ссылки со своих ресурсов и делают это не через twitterfeed (тех кто использует twitterfeed мы уже отсекли поисковым запросом к Твиттеру). Все укороченные ссылки приводятся к их каноническому виду, после чего проверяется есть ли в базе такая ссылка. Если есть, то ее упоминание засчитывается как голос за ссылку, если нет, то ссылка добавляется в базу. Каждый пользователь, конечно, может проголосовать за конкретную ссылку только один раз.
Раз в несколько минут скрипт из кода reddit.com пытается для каждой новой ссылки подобрать подходящую картинку, для этого парсится страница, на которую ведет ссылка и выбирается самая большая по площади картинка, исключая слишком длинные и слишком широкие.
Наряду со ссылками на русском и украинском иногда попадаются ссылки на болгарском и македонском, которые я пока не знаю как автоматически фильтровать, поэтому удаляю их вручную.
Ссылки можно комментировать, зарегистрировавшись на сайте. В ближайшее время планирую сделать так, чтобы твиты, упоминающие ссылку, автоматически добавлялись, как комментарии, в том случае если это не просто ретвит.
Критика, предложения и пожелания приветствуются.