Как узнать посещаемость 3.8 млн. сайтов

[ZAZmaster]

Больше всего понравился «Моральный аспект» =)

[xenon]

Смешно. Но все таки — robots.txt — де-факто стандарт в интернете, и про него все знают. И формат файла так же стандартен. (Это не злой Яндекс его выдумал и принуждает делать неочевидные вещи, чтоб защититься от него). И все «вежливые» роботы этот файл уважают. В том числе и Яндексовский поисковик.

https://informer.yandex.ru/robots.txt:
User-Agent: *
Disallow: /


по дефолту (нет файла) — разрешено. Но если создать — любой вежливый робот любого поисковика будет соблюдать.

А вот про xyu.txt никакого стандарта нет — это на самом деле выдумка для оправдания.

[wispoz]

А где на сайте результат работы?

[medianoche]

В результатах анализа сайта. Если в базе есть данные Метрики, то появится блок «Посещаемость». Пример.

[tommy_13]

зачем картинки метрики распознавать?
идем на https://metrika.yandex.ru/dashboard?group=dekaminute&period=2016-10-21%3A2016-10-21&id=_счетчик_ и парсим результаты. через API, думаю, еще проще

[medianoche]

Эта страница доступна только у тех сайтов, которые в настройках информера выбрали «Расширенный» тип. Таких сайтов еще меньше, чем тех, у которых открыта хотя бы картинка.

[rhamdeew]

И на какие только ухищрения люди не идут) Видимо придется скоро еще и яндексовую капчу распознавать.

[keslo]

Если можете, то поделитесь кодом реализации парсера на NodeJS. Интересно