Они выдают доступ только к файлам зон, чистый список доменов после оплаты, хотя я не понимаю, какая проблема распарсить гиговый файл — пара минут как ни крути. Триал у них 3 дня (в течение этих трех дней можно качать файлы доступные без оплаты). Причем, если я правильно понял, только раз в сутки можно скачать 1 конкретный файл (не проверял, но видел в термсах этот пункт)
Ага, спасибо. Нагуглил и сразу же поднял, т.к. грустно на канале 100Мб ставить ограничение 250 потоков. просто удивило, напомнило чем-то Half-open в вин для борьбы с Ддосом)
Чтоб не валялись миллионы файлов в фс решил их упаковать в один. Дабы избежать изобретение велосипеда обратился к sqlite3, т.к. посчитал что он наиболее близок к идеальному решению. В итоге проблемы, с которыми столкнулся:
1) Различное поведение в windows и debian — писал и тестировал скрипты под виндой как самой каличной платформой где если чтото работает, то скорее всего будет работать везде. В итоге корректно работающий скрипт в дебиане валился. Нашел проблему, сделал костыль, обнаружил что
2) В многопоточном приложении sqlite ведет себя вообще неадекватно. Поигрался с настройками, плюнул, создал отдельный поток который занимался только тем, что писал в базу. И тут сюрприз 3:
3) Катастрофически медленная запись на диск. Данные из 1000 потоков уже писать не способен. Даже если не коммитить сразу, даже если… Вобщем пытался я из него выжать хоть что-то, не вышло. В итоге простой дамп pickle строки в файл на 2000 потоков на ура писался. Оочень редко когда в очереди на запись было 1-2 объекта, чаще всего (как и положено) это происходило мгновенно.
да, он самый. могу расшарить распарсенный ком. маякните в лс когда будете готовы чтоб был свеженький. всеравно с карты уже списало и доступно скачивание не только зоны, но и чистого списка)
Вообще моим сеошникам нужны все файлы роботс ком зоны, после того как они воспользуются какой-то особой магией им нужно будет еще сделать ряд исследований подобной направленности
1) Различное поведение в windows и debian — писал и тестировал скрипты под виндой как самой каличной платформой где если чтото работает, то скорее всего будет работать везде. В итоге корректно работающий скрипт в дебиане валился. Нашел проблему, сделал костыль, обнаружил что
2) В многопоточном приложении sqlite ведет себя вообще неадекватно. Поигрался с настройками, плюнул, создал отдельный поток который занимался только тем, что писал в базу. И тут сюрприз 3:
3) Катастрофически медленная запись на диск. Данные из 1000 потоков уже писать не способен. Даже если не коммитить сразу, даже если… Вобщем пытался я из него выжать хоть что-то, не вышло. В итоге простой дамп pickle строки в файл на 2000 потоков на ура писался. Оочень редко когда в очереди на запись было 1-2 объекта, чаще всего (как и положено) это происходило мгновенно.