Pull to refresh
14
0
Дима @aldonin

User

Send message

SVN: Полгода спустя

Reading time3 min
Views2.4K
В продолжение работы, которую пол-года назад проделали компания 2Товарища и Антон Исайкин, мы (aldonin и dasm32) решили провести сканирование 1000000 самых популярных сайтов современного Web-а, начиная от google.com и заканчивая wordpress.com.

Мы использовали Perl для написания сканера. Первая его версия не использовала богатые возможности по созданию и использованию потоков. Но когда в течении 3х дней в результате было просканировано всего лишь 25% сайтов — жалкие 250000, срочно был поднят вопрос о повышении производительности :)
После небольшой, но неоценимой помощи товарищей с perlmonks.org многопоточность была вполне задействована, и всего за день была проверена остальная часть имеющейся у нас базы.

Результаты, конечно же, нас удивили.
Читать дальше →
Total votes 127: ↑106 and ↓21+85
Comments36

Information

Rating
Does not participate
Location
Россия
Date of birth
Registered
Activity