Многие в нашей сфере не очень то любят отдыхать. Интернет развивается семимильными шагами, порой 2-х недельный отпуск может обернуться «опазданием» старта очередного проекта и как следствием — потери денег.
Однако лично я уверен, что отпуск это святое =) Я не очень то люблю море и пляжи, но с удовольствием торчу в бассейне, пью турецкий вискарь и играю в настольный теннис. (сразу оговорюсь, далее в контексте турция = отпуск)
И тут возникает другая проблема, как поддерживать проекты, когда рядом никого? Из турции в интернет кафе — не вариант. Ибо тогда я буду торчать там сутками, смысл ехать в отпуск? Просить друзей выход, конечно, но мы же живем в 21 веке блин.
Расскажу как я отчалил на 2 недели и оставил развиваться свой basher.ru, который без ежедневных обновлений теряет смысл...
Напомню, что basher.ru является агрегатором таких ресурсов как bash.org.ru, quotes.dirty.ru, ibash.org.ru, lorquotes.ru и некоторых других. Соответственно для жизни проекта важно, чтобы обновления были своевременные. Я написал не сложные парсеры, которые собирают цитаты с определенной переодичностью. Однако ребята с bash.org.ru тут же забанили ip серверака и оттуда цитаты собираться перестали. На носу был отпуск и нужно было что-то думать и как-то решать проблему.
Решение нашлось достаточно быстро — поднять прокси на локальной машине и ботами на сервере стучатся через прокси.
Сказано — сделано. Качаем 3proxy под нужную нам ось и конфигурим его. Мой конфиг выглядит очень просто:
Сначало указываем dns сервер и место под кеш, команда service указывает на установку прокси как сервис (для слабых windows осей или одноразового использования можно запускать и как приложение. Аналогично для никсов). auth iponly — пускать только с определенных ip, которые указаны ниже (соответственно 217.65.2.216 адрес сервера, 192.168.* — локалка). -a флаг говорит 3proxy о полной анонимности, не будут передаваться заголовки вроде X_FORWARDED_FOR итп.
Вот и все. После написания конфига устанавливаем 3proxy и все готово.
Проблема вторая — динамический ip. Сначало, это казалось минусом, ибо я еще несколько часов не мог вспомнить про волшебный сервис dyndns.com. Теперь же я понимаю что это громадный плюс. Ведь чтобы избавиться от моих ботов, «честным» владельцам ресурсов прийдется банить весь Стрим…
Но сейчас не о этом. Интернет мне раздает волшебное устройство от ZyXel. На мое удивление, оно уже умело работать с сервисом dyndns.com, имело подробную инструкцию по работе с ним и удобный интерфейс. Напомню, что dyndns.com это сервис, который раздает домены третьего уровня динамическим ip. Все просто, вы регистрируетесь, выбираете себе домен, устанавливаете их ПО, которое при каждом подключении сообщает ваш ip, и имеете домен третьего уровня. Т.е. как только вы вошли в сети, dyndns.com обновляет данные о местонахождении компа blablabal.blogdns.net, например, и любой пользователь сети может обращаться к вашему компу по домену.
Дак вот, в моем случае мне не пришлось даже устанавливать ПО, я просто скормил зукселю реквизиты доступа на dyndns.com и настроил NAT на свой внутренний ip (все подробности и тонкости есть на их русскоязычном форуме).
Вот и все. Оставалось скормить скрипту адрес (домен) и порт для прокси и теперь серверные боты ходят за цитатами через прокси, т.е. через локальный комп. Да, комп требует быть постоянно включенным и в сети, чтобы эта схема работала. Но на самом деле я уже не помню, когда последний раз выключал компьютер. В крайнем случае можно пойти на рынок, купить старючий пенёк за 1000 рублей, сунуть его за шкаф и воткнуть в него оптоволокно. Но не суть.
Для пущей верности в биосе настроил «будильник» для компа на 7 утра каждый день. Мало ли электричество вырубится и уехал со спокойной душей.
Оставалось решить одну лишь проблему, как все это дотащить до самолета:
Однако лично я уверен, что отпуск это святое =) Я не очень то люблю море и пляжи, но с удовольствием торчу в бассейне, пью турецкий вискарь и играю в настольный теннис. (сразу оговорюсь, далее в контексте турция = отпуск)
И тут возникает другая проблема, как поддерживать проекты, когда рядом никого? Из турции в интернет кафе — не вариант. Ибо тогда я буду торчать там сутками, смысл ехать в отпуск? Просить друзей выход, конечно, но мы же живем в 21 веке блин.
Расскажу как я отчалил на 2 недели и оставил развиваться свой basher.ru, который без ежедневных обновлений теряет смысл...
Напомню, что basher.ru является агрегатором таких ресурсов как bash.org.ru, quotes.dirty.ru, ibash.org.ru, lorquotes.ru и некоторых других. Соответственно для жизни проекта важно, чтобы обновления были своевременные. Я написал не сложные парсеры, которые собирают цитаты с определенной переодичностью. Однако ребята с bash.org.ru тут же забанили ip серверака и оттуда цитаты собираться перестали. На носу был отпуск и нужно было что-то думать и как-то решать проблему.
Решение нашлось достаточно быстро — поднять прокси на локальной машине и ботами на сервере стучатся через прокси.
Сказано — сделано. Качаем 3proxy под нужную нам ось и конфигурим его. Мой конфиг выглядит очень просто:
nserver 192.168.1.1
nscache 65536
service
log c:\3p\bin\3proxy.log
logformat "L%C - %U [%d/%o/%Y:%H:%M:%S %z] ""%T"" %E %I %O %N/%R:%r"
auth iponly
deny all
allow * 217.65.2.216
allow * 192.168.*
proxy -a
Сначало указываем dns сервер и место под кеш, команда service указывает на установку прокси как сервис (для слабых windows осей или одноразового использования можно запускать и как приложение. Аналогично для никсов). auth iponly — пускать только с определенных ip, которые указаны ниже (соответственно 217.65.2.216 адрес сервера, 192.168.* — локалка). -a флаг говорит 3proxy о полной анонимности, не будут передаваться заголовки вроде X_FORWARDED_FOR итп.
Вот и все. После написания конфига устанавливаем 3proxy и все готово.
Проблема вторая — динамический ip. Сначало, это казалось минусом, ибо я еще несколько часов не мог вспомнить про волшебный сервис dyndns.com. Теперь же я понимаю что это громадный плюс. Ведь чтобы избавиться от моих ботов, «честным» владельцам ресурсов прийдется банить весь Стрим…
Но сейчас не о этом. Интернет мне раздает волшебное устройство от ZyXel. На мое удивление, оно уже умело работать с сервисом dyndns.com, имело подробную инструкцию по работе с ним и удобный интерфейс. Напомню, что dyndns.com это сервис, который раздает домены третьего уровня динамическим ip. Все просто, вы регистрируетесь, выбираете себе домен, устанавливаете их ПО, которое при каждом подключении сообщает ваш ip, и имеете домен третьего уровня. Т.е. как только вы вошли в сети, dyndns.com обновляет данные о местонахождении компа blablabal.blogdns.net, например, и любой пользователь сети может обращаться к вашему компу по домену.
Дак вот, в моем случае мне не пришлось даже устанавливать ПО, я просто скормил зукселю реквизиты доступа на dyndns.com и настроил NAT на свой внутренний ip (все подробности и тонкости есть на их русскоязычном форуме).
Вот и все. Оставалось скормить скрипту адрес (домен) и порт для прокси и теперь серверные боты ходят за цитатами через прокси, т.е. через локальный комп. Да, комп требует быть постоянно включенным и в сети, чтобы эта схема работала. Но на самом деле я уже не помню, когда последний раз выключал компьютер. В крайнем случае можно пойти на рынок, купить старючий пенёк за 1000 рублей, сунуть его за шкаф и воткнуть в него оптоволокно. Но не суть.
Для пущей верности в биосе настроил «будильник» для компа на 7 утра каждый день. Мало ли электричество вырубится и уехал со спокойной душей.
Оставалось решить одну лишь проблему, как все это дотащить до самолета:
