WHOIS Digger — Сервис проверки доменов с нестандартным интерфейсом

[spiderius]

только бы www cделать в новом окне… а то результаты трудов всех по открытию инфы по доменам уходят в небытие

[afan]

Открыть в новом окне или вкладке всегда можно кликом средней кнопкой мыши или с клавишами-модификаторами. Принудительно открывать в новом окне не очень правильно, как мне кажется.

[afan]

Мастера русские просто прислушиваются к голосу своего ума-разума, думают мысли дельные да примечают вещи очевидные.

[afan]

Ну почему же, ценим и любим.

[YasonBy]

Полезная штука!
Но почему-то отображает информацию не обо всех указанных в настройках TLD (скриншот).

[Andrey_Rogovsky]

Вероятно потому, что whois содержит ссылку на buydomains.com.

[afan]

Да нет, ссылки внутри WHOIS-информации дело обычное, они не должны мешать.

[afan]

Хм. Странно. Проверил как на общем сервере, так и на локальном — все TLD-домены отрабатывает. Если повторить запрос, будет то же самое? Какой браузер? Какие плагины установлены?

[YasonBy]

Firefox 3, для чистоты эксперимента все плагины отключены.
Повторные запросы возвращают то же самое. Причём результат зависит от порядка перечисления favorites TLD. Например, при «all TLD» по умолчанию ставлю favorites=".ru, .com, .net" или ".com, .ru, .net" — возвращает все три, если же favorites=".net, .ru, .com", ".com, .net, .ru" или ".ru, .net, .com" — только два первых.
В опере всё работает нормально.

[afan]

Нашел, в чем причина. Починил. Проверьте еще раз у себя.

[YasonBy]

Работает, спасибо!

[YasonBy]

Из интереса подлючил Firebug: на первый взгляд всё в порядке, но .ru не показывается.

Request: http://whoisdigger.com/lookup.pl?id=1&q=bug%2Bcom%2Bnet%2Bru

заголовки, ответ, скриншот.

Если поменять порядок favorites, все результаты отображаются как положено.

Request: http://whoisdigger.com/lookup.pl?id=1&q=bug%2Bru%2Bcom%2Bnet

заголовки ответ, скриншот.

[otaqsun]

Ну не знаю, после нескольких неприятных инцидентов, whois сервисами вообще не пользуюсь для проверки занятости домена. Проверяю сразу регистрацией, и если свободен то получается сразу и оплачиваю. Историй с перехватом более чем достаточно.

[afan]

Пользоваться или нет, решать вам. Я лишь могу заверить, что кроме «use Net::Whois::Raw; $text = whois($domainname)» у меня на сервере по сути из «движка» ничего нет. Т.е. такой же прямой запрос к WHOIS-серверам, как и у регистраторов. Все остальное — UI.

[otaqsun]

не не, ты что тебя я ни в чем не обвиняю и не подозреваю, это так, уже паранойя )

[tgm]

fsdhgjkldhsflks.pp.ua domain is occupied
fdsjhjfdkhglskdhglskdhglsdhfglks.pp.ua domain is occupied

Уверены? :)

[afan]

Там какой-то нестандартный ответ WHOIS-сервера. Поправил.

Теперь эти домены свободны, регистрируйте быстрее, пока не увели :)

[tgm]

Вот теперь, похоже, любой .pp.ua — domain is available.
Даже на занятых :)

Я не слишком зануда?

[afan]

Интересно. Похоже, что на любое доменное имя в зоне .pp.ua выдается следующий ответ (я думал, что это только для несуществующих доменов такое):

======
% This is the Ukrainian Whois query server #B.
% Rights restricted by copyright.
%

No Referal Host.
======

Интересно, есть ли вообще сервис, нормально отображающий статус таких доменов? Даже «родной» поиск на dig.ua таких доменов не находит. :(

[tgm]

nic.ua — показывает :)
Видимо они что-то знают…

[shahbazyan]

Если у Вас там происходит запрос командой whois, то у нее есть волшебный ключик "-h", который позволяет задать кастомный whois-сервис для проверки. Таким образом, для ua и иже с ним, можно делать

«whois -h whois.ua domain.pp.ua»

И все будет хорошо.

ЗЫ. Хорошая привычка — использовать родные сервисы зон.

[afan]

Если Вы посмотрите на мою цитату выше, то там видно, что ответ я и так получаю от украинского WHOIS-сервера. Видимо у них там какая-то защита стоит или еще что. Пока не разобрался.

[YasonBy]

То же самое с .by — все домены считаются свободными.

[nerd]

Удобный и полезный сервис.

Максимальная длина домена во всех gTLD и ccTLD составляет 63 символа, Ваш скрипт обрабатывает запросы >63 символов и выводит ответ, что домен свободен.

Кроме того домены не должны начинаться и заканчиваться знаком "-".

P.S. по неопытности нечаянно запостил в другой пост.

[afan]

ага, спасибо, добавлю соответствующие проверки.

[afan]

Исправил.

[corbenov]

сервис прикольный,
но мне кажется что создавать get ajax запросы в таком виде:

whoisdigger.com/lookup.pl?id=2&q=test%2Bcom

не совсем гуд — этим будут злоупотреблять злые кулхацкеры

[zerkms]

чем это может обернуться?

[corbenov]

например тем что сервисом будут пользоваться не по назначению, минуя интерфейс сайта

[zerkms]

информация общедоступная ведь?

[corbenov]

весь интернет состоит из общедоступной информации
речь идёт о том что при таком подходе можно использовать сайт в «неправильных» целях, для массового сбора whois инфы и так далее. При этом в бан попадет ip сайта, а не того кто использует этот сайт

пока сайт маленький — это не проблема, но с ростом сайта это вероятно выльется в какашку

[corbenov]

к слову, сейчас ip сайта уже забанен для поиска .com доменов…

Welcome to the Network Solutions Registrar WHOIS Server.

The IP address from which you have visited the Network Solutions Registrar WHOIS
database is contained within a list of IP addresses that may have failed
to abide by Network Solutions' WHOIS policy. Failure to abide by this policy can
adversely impact our systems and servers, preventing the processing of
other WHOIS requests.

To see the Network Solutions WHOIS Policy, click on or copy and paste the following
URL into your browser:

www.networksolutions.com/whois/index.jhtml

If you feel that you have received this message in error, please contact us at:
[e-mail] and include the following information:

Whois Query: test.com
YOUR IP address is 69.73.181.165
Date and Time of Query: Thu Oct 15 16:16:11 EDT 2009
Reason Code: IE

[zerkms]

и в каком же виде тогда делать запросы? понятно что нужно добавить csrf-token, но чем вам не угодил get?

[afan]

Ну запросят напрямую — ну получат ответ в XML. Чем это проще, чем сделать напрямую вызов whois() из своего скрипта?

[russum]

Многиe whois сервера не дают whoisить > n доменов, а так как все запросы идут через Ваш сервер то он может оказаться заблокированным на некоторе время.

[Dronix]

Было бы здорово подсвечивать ns сервера и домен емейла администратора.
А то иногда не докопаешься чей домен и где концы искать.

[afan]

Интересная идея, спасибо.

[afan]

Нет, не замечал за собой такого.

В порочащих связях замечен не был. Характер стойкий, нордический. Женат. :)

[kns]

Будет ли открытое api? Если нет, как вы отнесетесь к парсингу сайта ирц-ботом?

[afan]

Тому, кому нужен API, берет, собственно, любую библиотеку работы с WHOIS напрямую (для Perl это, например, модули Net::Whois::*). Зачем использовать WHOIS Digger как промежуточное звено? Информация из WHOIS ведь общедоступна. Сделал запрос — получил данные WHOIS-записи в текстовом виде.

[kns]

Не спорю. Такой способ просто самый быстрый и простой.
И — нет, я не собираюсь парсить whoisdegger, спросил из интереса, на будущее. :)

[kns]

А, вижу, выше как раз об этом упомянули. Имхо, из-за простоты иногда удобнее обработать xml'ку, чем делать свой веломипед, так что api с регистрацией, например, по IP будет более-менее популярно.

[nevitas]

Не боитесь бана на WHOIS серверах за слишком интенсивное использование данных? К примеру, из правил RIPN — www.ripn.net/nic/whois/about_whois.html:
С одного IP-адреса допускается делать не более 30 запросов в минуту.
…
В случае систематических превышении ограничений технических ограничений РосНИИРОС оставляет за собой право не возобновлять доступ пользователя к WHOIS-сервису.

[afan]

Не думаю, что сервис будет настолько популярным, что будет превышать это значение. Разве только в период Хабраэффекта.

Это больше от сканирования всей базы ботами ограничение.

В любом случае, если такое вдруг произойдет, введу ограничение. Или исходники опубликую, чтобы люди могли этот интерфейс крутить на личном сервере.

[Peretyaka]

Может такие whois и были раньше, но меня реально порадовало, что можно написать pupkin.com, а не pupkin и мучительно искать где бы поставить галочку перед com.

[ainu]

обязана быть возможность работы по обычным POST или GET запросам. Ну или без яваскрипта, что впринципе всё равно. Это надо, например, таким как я пользователям оперы. Я ткнул по строке поиска на одном популярном whois, сделал «создать поисковый движок», впечатал «whois»
Теперь в адресной строке пишу whois domain.com, и попадаю на страницу с готовыми результатами. Сделайте пожалуйста, и я с удовольствием сменю свой дефолтовый whois поиск на Ваш — уж больно приглянулся, спасибо.

[afan]

Теперь WHOIS Digger поддерживает функцию OpenSearch (доступную в Internet Explorer и Firefox). Достаточно зайти на whoisdigger.com и ниспадающем меню поля поиска в браузере появится пункт «Whois», который можно добавить в список провайдеров поиска на постоянной основе.

Синтаксис запроса в URL:

http://whoisdigger.com/?foo
http://whoisdigger.com/?foo.*
http://whoisdigger.com/?foo.info

[afan]

Т.е. при добавлении новой службы поиска в Opera или в Chrome
URL надо указать вот так:

http://whoisdigger.com/?%s

[Zhilinsky]

Небольшой офф: известен ли кому-нибудь способ выявить все домены, зарегистрированные на конкретного человека?

[nerd]

В зоне .ru — это 1stat.ru. Раньше еще был замечательный сервис searchwhois.ru, но со вводом функции Private Person в нашей доблестной, сервис стал не пригодным.

В gTLD почти все используют Private Protect, тем не менее такой сервис есть, но платный, адреса к сожалению не помню.

[Zhilinsky]

1stat.ru то не работает, то не видит очевидного да и кроме ру(су)шек ничего не умеет.
Буржуйский domaintools.com работает, но денег хочет неадекватных =(

[Wott]

Если добавите историю на стрелочки — будет совсем хорошо :)

[afan]

Это в самом поле ввода? Можно. Пока же можно нажать пробел в пустом поле ввода, чтобы вернуться к предыдущему содержимому строки.

[Wott]

Хм, уже зашибись, но как-то не интуитивно.

[ivan_suroegin]

Ужасно работает или я не понял как работать с ним.
Вот скриншот, показывает, что показывает не все домены, но и через раз показывает свободный или занятый:
clip2net.com/page/m0/2209336

[afan]

Хабраэффект в действии.

.ORG имеет дурацкий лимит в 4 запроса в минуту на IP. Теперь я это отрабатываю и пишу соответствующий статус вместо свободно/занято.

А вот почему показывает не все домены — странно. Видно, что просто не весь HTML полученный с сервера, отображается в истории. Какой у Вас браузер?

[ivan_suroegin]

Mozilla Firefox 3.5.3
В Google Chrome тоже самое показывает(

Подожду, когда хабраэффеки притихнет. =)

[afan]

С тем что в Firefox обрывался ответ и показывало не все домены, я вроде разобрался. Теперь должно быть нормально.

[ivan_suroegin]

Да, теперь всё работает. Отличный сервис! ;) В закладки занес =)

[AlexeyTokar]

Ваш сервис выдал мне:
alexey (.tokar.net.ua)
.tokar.net.ua is an invalid TLD
tokar (.net.ua)
.net.ua is an invalid TLD


на самом же деле я там обитаю…

[afan]

Хабраэффект. .net.ua видимо блокирует по IP. Вместо «is an invalid TLD» поставил более корректное сообщение. Надеюсь, через какое-то время оживет.

[asm0dey]

не работает для зоны .nz

[afan]

domainingnz.blogspot.com/2008/02/nz-whois-service-deliberately-broken.html

[asm0dey]

Lib.rus.ec
hab.rus.ec
asdjfffffffsdhg.rus.ec — domain is occupied

[afan]

С .ec поправил, а вот домены третьего уровня *.rus.ус через WHOIS и не должны обрабатываться. сам rus.ec — обычный домен.

Я попробую эту ситуацию обрабатывать (видимо, придется явно перечислить все известные домены, которые можно вводить, а на остальные ругаться).

[Unixspv]

А что насчет «SU»?

[afan]

Работает. Попробуйте сами ввести:

kolba.su
neprine.su

первый занят, второй свободен.

[Unixspv]

а для «domain.*» зона «su» не проверяется

[afan]

По умолчанию — да. Щелкните по ссылке [Help & Settings] и добавьте .su в соответствующее поле ввода. После этого можно будет искать автоматом либо по domain.*, либо просто по domain (в зависимости от того, куда вы .su добавите).

[ivan_sh]

С отключенными Ява-скриптами ничего не работает.

[afan]

С отключенными java-скриптами вообще мало что где будет работать. )

[BReal]

Спасибо! Раньше пользовался input.name/
Теперь буду вашим :)

[Santiago26]

Сервису нельзя скормить линк, содержащий слэши. Вместо отбрасывания http://, он проверяет такой домен и выдаёт, что он свободен.
i029.radikal.ru/0910/33/31c25cb65869.jpg

[Santiago26]

Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 (.NET CLR 3.5.30729) — Build ID: 20090824101458

[afan]

Ну, в общем-то, раком поставить можно любую систему при должной сноровке. :)

Если есть URL, значит, домен уже существует — чего его проверять?

Подумаю, как правильнее обрабатывать такую ситуацию.

[Santiago26]

Извиняюсь, хотел добавить, что сервис вообще все слэши на конце некорректно считает частью домена.

[l0rda]

не понял, зачем еще один велосипед

[afan]

Просто проверять подряд много разных имен получается быстрее, чем на других WHOIS-сервисах.

[snakeye]

www.brandgopher.com/ не смотрели?

[afan]

До этого не видел. Он только для com/net/org работает, насколько я понял.

[inakrin]

А под Windows аналога стандартного бинарника whois, который в любой *nix системе присутствует нету?

[afan]

Есть от третьих лиц только: www.nirsoft.net/utils/whoiscl.html

[ozonar]

Класс, мне нравится =)

[akshakirov]

Сервис крайне приятный, спасибо Вам за труды.

PS: накрыло хабраэфектом по всей видимости.

IP Address: 69.73.181.165
Maximum Daily connection limit reached. Lookup refused.

[begemoth0]

когда вас забанят на всех WHOIS серверах это всего лишь вопрос времени :)

имхо, надо как-то распределять нагрузку, чтобы запросы выполняли сами клиентские машины. я бы покопал greasemonkey на эту тему — по-моему единственный легальный способ заставить клиентские машины выполнять нужные скрипты.

[afan]

Ни с помощью Javascript, ни с помощью Flash, ни даже на Java, WHOIS-информацию получить нельзя.

Если в браузере — только ActiveX и прочие плагины. Но по понятным причинам нормальные люди заради WHOIS себе ничего такого ставить не будут.

Реальный вариант при большой нагрузке только один — раздавать исходник, чтобы люди ставили утилитку на свой сервер и сами ей пользовались. Это решает проблему большого числа запросов с отдельного IP и повышает доверие к системе (что запрашиваемые адреса не будут кем-то перехвачены).

Ну или обернуть эту утилиту в виде клиентского приложения (на AIR, например), чтобы все это работало на клиентах, но это уже много возни.

[begemoth0]

Наверное, правильнее будет сказать так: «с помощью %% нельзя делать кросс-доменные запросы, поэтому не получается использовать %% в моих целях»?

Так вот, greasemonkey позволяет делать кросс-доменные запросы: diveintogreasemonkey.org/api/gm_xmlhttprequest.html. «В лоб» — можно попробовать сделать с клиента такие же запросы, как вы делаете с сервера. Немножко извращённее, но вдруг понадобится — создать iframe на адрес whois-сервиса, в нём получить необходимые данные, после чего передать их основной странице через, например, GM_SetValue. Обсуждают тему тут: groups.google.com/group/greasemonkey-users/browse_thread/thread/7128ac62c10aeb/1726c4698a3f6bed

[afan]

Нет. Запрос WHOIS — это работа с TCP-сокетом (не HTTP). C сокетами Javascript умеет работать через прокси Flash-объект, но там опять вступают в силу crossdomain-ограничения. Так что не получится.

[ozonar]

Сорри, что пишу в тему полугодичной давности, но у меня назрел вопрос: При установки сервиса на свой хостинг на все запросы возникает ошибка «Invalid xml document received». Как поправить?

[afan]

Надо смотреть в сторону content-type. Посмотрите в Firefox через Live HTTP Headers заголовок content-type, который отдает сервер при выдаче xml. Ну и просто проверьте, что xml выдается валидный, без ошибок. В логах тоже ошибок быть не должно.