В этой статье хочу познакомить читателя с таким ресурсом, как «Единый федеральный реестр сведений о фактах деятельности юридических лиц» (fedresurs.ru), рассказать о его применимости и показать возможность прошерстить ресурс не руками по большому количеству клиентов, а с использованием C# (в вашем случае можете использовать любой другой язык, который вам нравится, подходы, думаю, не изменятся) и море проксей, ну разумеется будем парсить. Возможно, тем кто этим займется, пригодятся статья, идеи или, чем черт не шутит, куски кода, а тем, кто просто проводит проверку контрагентов сможет либо понять, что можно взять с сайта либо придумает, что можно еще проверить.
Периодически возникает потребность в получении данных для анализа клиентов/заемщиков/контрагентов и эти данные мы можем получить из этого сайта. Что же нам предлагается?!
Возникновение обременений (залог, лизинг и т.д.) – посмотреть, например, на возможность заключения фиктивных договоров лизинга или на уже заложенное имущество и т.д.
Различные сообщения по клиенту, например, сообщения о банкротстве и уже с ними – проверка, все ли сообщает клиент и может пора пошевелиться в сторону него и предпринять какие-либо меры.
Торги и т.д.
Составляем запрос для получения желаемого
string strQuery;
linq2: switch (inn.Length)
{
case (10):
strQuery = "https://fedresurs.ru/backend/companies?limit=15&offset=0&code=" + inn;
break;
case (12):
strQuery = "https://fedresurs.ru/backend/persons?limit=15&offset=0&code=" + inn;
break;
case (9):
case (11):
inn = 0 + inn;
goto linq2;
default:
return;
}Определяем по длине строки, с кем имеем дело – с физическим или юридическим лицом (10 символов – юрик, 12 символов – физик) от этого зависит запрос. Бывает, что 0 впереди ИНН куда-то теряется, так что можем поставить проверку, что если 9 или 11 символов, то дописываем 0 впереди. В худшем случае добудем избыточную информацию.
HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(strQuery);
request.UserAgent = "Mozila/4.0 (compatible; MSIE 6.0;Windows NT 5.1; SV1; MyIE2; ";
request.CookieContainer = new CookieContainer();
request.Accept = "image/gif, image/x-xbitmap, image/jpeg,image / pjpeg, application / x - shockwave - flash, application / vnd.ms - excel, application / vnd.ms - powerpoint, application / msword,";
request.Headers.Add("Accept-Language", "ru");
request.ContentType = "application/json";
request.KeepAlive = true;
request.Timeout = 200000;
request.Referer = "https://fedresurs.ru/search/entity?code=" + inn;
HttpWebResponse response = new HttpWebResponse();
response = (HttpWebResponse)request.GetResponse();Стоит обратить внимание на Referer – без него, сервер будет отпинывать, сообщая, что страница не найдена.
Берем любой ИНН, например 3327848813 и делаем запрос. Вернется нам json:
{"pageData":[{"guid":"b99c2ded-1a6c-4239-b728-804461ad074b","ogrn":"1103327002393","inn":"3327848813","name":"ООО \"СУЗДАЛЬСКАЯ ПИВОВАРНЯ\"","egrulAddress":"600033, ОБЛАСТЬ ВЛАДИМИРСКАЯ, ГОРОД ВЛАДИМИР, УЛИЦА СУЩЁВСКАЯ, ДОМ 37, ПОМЕЩЕНИЕ 12","status":"Юридическое лицо признано несостоятельным (банкротом) и в отношении него открыто конкурсное производство","statusUpdateDate":"2017-11-28T00:00:00","isActive":true}],"found":1}При разложении в таблицу выглядит чуть проще:
И вот мы получили guid и еще чуть-чуть информации сверху.
Дальше можем получить список сообщений по данному клиенту и вот запрос:
string strQuery, referer;
switch (search.inn.Length)
{
case (10):
strQuery = "https://fedresurs.ru/backend/companies/" + search.guid + "/publications?" +
"&limit=" + limit +
"&offset=" + offset +
"&searchCompanyEfrsb=true" +
"&searchAmReport=true" +
"&searchFirmBankruptMessage=true" +
"&searchFirmBankruptMessageWithoutLegalCase=false" +
"&searchSfactsMessage=true" +
"&searchSroAmMessage=true" +
"&searchTradeOrgMessage=true";
referer = "https://fedresurs.ru/company/b99c2ded-1a6c-4239-b728-804461ad074b" + search.guid;
break;
case (12):
strQuery = "https://fedresurs.ru/backend/persons/" + search.guid + "/publications?" +
"limit=" + limit +
"&offset=" + offset +
"&searchPersonEfrsbMessage=true&searchAmReport=true" +
"&searchPersonBankruptMessage=true" +
"&searchMessageOnlyWithoutLegalCase=false" +
"&searchSfactsMessage=true" +
"&searchArbitrManagerMessage=true" +
"&searchTradeOrgMessage=true";
referer = "https://fedresurs.ru/person/b99c2ded-1a6c-4239-b728-804461ad074b" + search.guid;
break;
default:
return pageDatas;
}Ничего неожиданного, все так же надо определять юр или физ лицо мы смотрим, подставлять guid, limit-количество сколько выведет сообщений, offset-сколько пропустить сообщений, все так же необходимо указывать Referer.
Делаем запрос и получаем:
{"pageData":[{"guid":"A10151349AE45D484C24D08CF2451AA7","number":"7344583","datePublish":"2021-09-17T12:37:52.11","isAnnuled":false,"isLocked":false,"title":"Объявление о проведении торгов","publisherName":"Потапов Павел Викторович","type":"BankruptcyMessage","publisherType":"ArbitrManager","bankruptName":"ООО \"СУЗДАЛЬСКАЯ ПИВОВАРНЯ\"","isRefuted":false},….Часть данных обрезал, чтоб сильно не захламлять текст. И по традиции табличный вид
А теперь перейду к нюансу, куда же без них иначе было бы неинтересно. По какой-то причине сайт готов выдавать только первые 500 сообщений, не более. Чтобы обойти эту данность, можно начать ставить фильтры либо на типы сообщений, либо на промежуток времени, по которому смотрим, либо и то, и другое Все это записывается в запрос.
После составления запроса добавляется
if (useDate)
{
endDate = startDate.AddDays(deltDays);
strQuery += string.Format("&startDate=" + GetDateStr(startDate) + "T00:00:00.000Z&endDate=" + GetDateStr(endDate) + "T00:00:00.000Z");
}А после части, где получаем ответ от сайта
if (found > 500 && deltDays > 0)
{
if (useDate)
{
deltDays /= 2; // меняем кол-во дней если слишком много сообщений
break;
}
else
{
useDate = true; // включаем поиск по датам если слишком много сообщений
break;
}
}После получения ответа смотрим сколько всего сообщений есть и если их больше 500, то начинаем добавлять к запросу фильтр по датам Если в ответе все равно много, то снова уменьшаем период времени и так пока не станет <= 500.
Теперь если просто информации что за сообщение, нам недостаточно, и мы хотим (аналитик хочет, а мы вынуждены) получить больше информации, то как и прежде берем guid, только на этот раз это guid сообщения и таким же образом строим запрос:
HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create("https://fedresurs.ru/backend/sfactmessages/" + guid);
request.UserAgent = "Mozila/4.0 (compatible; MSIE 6.0;Windows NT 5.1; SV1; MyIE2; ";
request.CookieContainer = new CookieContainer();
request.Accept = "image/gif, image/x-xbitmap, image/jpeg,image / pjpeg, application / x - shockwave - flash, application / vnd.ms - excel, application / vnd.ms - powerpoint, application / msword,";
request.Headers.Add("Accept-Language", "ru");
request.ContentType = "application/json";
request.Referer = "fedresurs.ru";
request.Proxy = ProxyClass.GetProxy();
request.KeepAlive = true;
request.Referer = "https://fedresurs.ru/sfactmessage/" + guid;Не стану повторяться, но тут есть момент, а именно, что запрос формируется исходя из типа сообщения. Т.е. sfactmessage (существенные факты) в запросе и в Referer соответственно может принять значения, например, bankruptmessage или какой-либо другой, и под это все json и соответственно конечные таблицы становятся разными. Примерное содержание одного из сообщений:
Осталась рассказать про одну неприятную, но вполне ожидаемую вещь: блокировки по ip((((. За одну айпишку можно успеть сделать от 100 запросов, на некоторых проксях дает сделать лишь один и под замену, и ip улетает в блок примерно на час. Для этой части написал класс подстановки проксей.
public static class ProxyClass
{
private static List<WebProxy> Proxys = new List<WebProxy>();// список проксей
private static int NumPr = 0;//используемая сейчас прокси
private static int QuerCnt = 0;//сколько запросов сделано с прокси
private static DateTime lastUseNullProxy=DateTime.Now;//последнее использование без проксли
private static int minutesForNullProxy = 90;// через какое время начинать обход списка с нуля
/// <summary>
/// меняет прокси (в try catch)
/// </summary>
public static void NexProxy()
{
if (NumPr == 0)
{
lastUseNullProxy = DateTime.Now;// меняет дату
} // если без прокси(0)
if (QuerCnt == 1)
{
if (NumPr == 0)
{
} // если без прокси(0)
else
{
Proxys.Remove(Proxys[NumPr]);
if (Proxys.Count == 1) { GetFromTxt(); }
NumPr--;
}// если с прокси
} //если был всего один запрос
if (NumPr== Proxys.Count-1)
{
NumPr = 0;
}//
else
{
NumPr++;
}
if (DateTime.Now.Subtract(lastUseNullProxy).TotalMinutes >= minutesForNullProxy)
{
NumPr = 0;
}
QuerCnt = 0;
}
/// <summary>
/// возвращает прокси для использования
/// </summary>
/// <returns></returns>
public static WebProxy GetProxy()
{
QuerCnt++;
if (QuerCnt == 2 && NumPr!=0)
{
Write(append:true);
}
return Proxys[NumPr];
}
}В класс собираются списки проксей, и в коде при запросе идет обращение к данному классу, для получения актуальной прокси, в принципе вся работа этого куска описана в комментах. Основная проблема — найти большое количество нормальных проксей, или чтобы хотя бы половина из них были работающие.
Прикладываю также и ссылку на Git, там можно посмотреть больше кода.
