Comments 24
UFO just landed and posted this here
О, мне тоже нужен список всех доменов (в первую очередь — ru). Подскажите пожалуйста, где его прикупить?
Рушки прикупите тут: partner.r01.ru/ru_domains.gz
Там же лежат су и рф :)
Там же лежат су и рф :)
Поделитесь секретом — где взяли файлы зон для com и us? Для решения текущей задачи необходим список всех com-доменов.
И если я правильно понял, то в случае о «ресурс, предлагающий после регистрации скачать файл зоны» речь идет про premiumdrops.com? А то я уже собирался регистрироваться :)
И если я правильно понял, то в случае о «ресурс, предлагающий после регистрации скачать файл зоны» речь идет про premiumdrops.com? А то я уже собирался регистрироваться :)
да, он самый. могу расшарить распарсенный ком. маякните в лс когда будете готовы чтоб был свеженький. всеравно с карты уже списало и доступно скачивание не только зоны, но и чистого списка)
у самого premiumdrops.com в закладках давно, но не думал, что там такие проблемы со скачиванием. Скажите, они без оплаты выдают временный доступ к файлам или он не закончится?
Они выдают доступ только к файлам зон, чистый список доменов после оплаты, хотя я не понимаю, какая проблема распарсить гиговый файл — пара минут как ни крути. Триал у них 3 дня (в течение этих трех дней можно качать файлы доступные без оплаты). Причем, если я правильно понял, только раз в сутки можно скачать 1 конкретный файл (не проверял, но видел в термсах этот пункт)
>> sqlite3 — еще более «плохое» решение
А что именно с ним не так случилось?
А что именно с ним не так случилось?
Чтоб не валялись миллионы файлов в фс решил их упаковать в один. Дабы избежать изобретение велосипеда обратился к sqlite3, т.к. посчитал что он наиболее близок к идеальному решению. В итоге проблемы, с которыми столкнулся:
1) Различное поведение в windows и debian — писал и тестировал скрипты под виндой как самой каличной платформой где если чтото работает, то скорее всего будет работать везде. В итоге корректно работающий скрипт в дебиане валился. Нашел проблему, сделал костыль, обнаружил что
2) В многопоточном приложении sqlite ведет себя вообще неадекватно. Поигрался с настройками, плюнул, создал отдельный поток который занимался только тем, что писал в базу. И тут сюрприз 3:
3) Катастрофически медленная запись на диск. Данные из 1000 потоков уже писать не способен. Даже если не коммитить сразу, даже если… Вобщем пытался я из него выжать хоть что-то, не вышло. В итоге простой дамп pickle строки в файл на 2000 потоков на ура писался. Оочень редко когда в очереди на запись было 1-2 объекта, чаще всего (как и положено) это происходило мгновенно.
1) Различное поведение в windows и debian — писал и тестировал скрипты под виндой как самой каличной платформой где если чтото работает, то скорее всего будет работать везде. В итоге корректно работающий скрипт в дебиане валился. Нашел проблему, сделал костыль, обнаружил что
2) В многопоточном приложении sqlite ведет себя вообще неадекватно. Поигрался с настройками, плюнул, создал отдельный поток который занимался только тем, что писал в базу. И тут сюрприз 3:
3) Катастрофически медленная запись на диск. Данные из 1000 потоков уже писать не способен. Даже если не коммитить сразу, даже если… Вобщем пытался я из него выжать хоть что-то, не вышло. В итоге простой дамп pickle строки в файл на 2000 потоков на ура писался. Оочень редко когда в очереди на запись было 1-2 объекта, чаще всего (как и положено) это происходило мгновенно.
2) sqlite изначально однопоточен на запись. Сейчас там что-то сделали для изменения ситуации, но все же будем считать что ничего не изменилось.
3) У Sqlite довольно приличная скорость записи на диск, но только если писать пачками. То есть, нужно открыть транзакцию, накопить порцию сообщений (можно начать с 1000, а там подобрать потом), после транзакцию закрыть. Если вы еще так не делали, то попробуйте, ускорение в разы. Штучно он пишет ооочень медленно, т.к. запись у него гарантированная, следовательно куча локов и тд. На эту тему уже была статья на хабре когда-то.
3) У Sqlite довольно приличная скорость записи на диск, но только если писать пачками. То есть, нужно открыть транзакцию, накопить порцию сообщений (можно начать с 1000, а там подобрать потом), после транзакцию закрыть. Если вы еще так не делали, то попробуйте, ускорение в разы. Штучно он пишет ооочень медленно, т.к. запись у него гарантированная, следовательно куча локов и тд. На эту тему уже была статья на хабре когда-то.
>в дебиан ограничение на кол-во открытых файлов примерно в 2к!?
ulimit -n 1024 по умолчанию стоит, нужно поднять! ;)
ulimit -n 1024 по умолчанию стоит, нужно поднять! ;)
Странный способ узнавать количество доменов. Можно просто взять alexa top 1M, пустить по ним паучка и собрать все более или менее используемые домены.
UFO just landed and posted this here
Я был уверен, что далеко не все домены имеют А запись (если среди читателей есть просто интересующиеся, то это значит что далеко не все домены ссылаются на какой-то сервер)
у меня несколько доменов, которые используются, но не имеют А-записей. Использую записи MX, а также А-записи для субдоменов
у меня несколько доменов, которые используются, но не имеют А-записей. Использую записи MX, а также А-записи для субдоменов
Равно как и на 10.*.*.* и иные зарезервированные подсети.
Ну, удивления нету. Я сам несколько поддоменов на 10.x.x.x направляю, а зачем мне помнить IP-шники локальных ресурсов :) Даже в домашней сети :)
Ну, удивления нету. Я сам несколько поддоменов на 10.x.x.x направляю, а зачем мне помнить IP-шники локальных ресурсов :) Даже в домашней сети :)
>Проверил, таки да, на 127.0.0.1 ссылаются некоторые домены.
Ну иногда удобно :) ping localhost.icce.im
Ну иногда удобно :) ping localhost.icce.im
Sign up to leave a comment.
Не так страшен черт, или сколько же реально используемых доменов