Всем привет, меня зовут Александр Калыргин, сейчас я активно занимаюсь сферой получения и анализа данных. Захотелось показать, как можно без особых проблем получить базы организаций, зарегистрированных в нужном вам регионе.
В своей работе я использовал данные из открытых источников, а именно:
Данные ФНС (архивы ЕГРЮЛ от ИТСОФТ)
Портал Чекко
Большое спасибо ребятам из ИТСОФТ, они большие молодцы – данные должны быть открытыми. Однако, эти архивы ФНС РФ предоставляет за 300 000р. в год.
Давайте получим данные об организациях Свердловской области, ведущих свою деятельность в строительной сфере.
Итак, начнем.
1) Получаем входные данные
С сайта ЕГРЮЛ ИТСОФТ скачиваем данные ФНС:
Архив доходов и расходов за 2011-2020 года;
Архив кодов ОКВЭД;
Архивы промежуточных данных (для удобства обновления данных);
Архивы организаций и обновления к ним.
Из архива данных организаций получаем следующую таблицу:
Соединяем её с архивом доходов и расходов, выбрав при этом значения за 2020 год.
В архиве кодов ОКВЭД смотрим идентификаторы, которые соответствуют строительной сфере (3327 – 3286).
Фильтруем данные по следующим параметрам:
Соответствие ОКВЭД;
Регион – Свердловская область (66);
Дата окончания деятельности – должна быть нулевая (0000-00-00);
Доходы – выше 600 000 рублей за 2020 год.
После этих действий удаляем дублирующиеся записи и ненужные колонки в таблице.
Уже 2758 организаций!
2) Хорошо, теперь обогащаем данные
Парсим почту, сайт и телефоны с сайта Чекко. Это сделаем, подставляя ОГРН или ИНН в базовую ссылку поиска: «/search?query=». Советую поставить задержку между запросами в 0.5 секунды, чтобы получать корректные данные.
Собираем полученные данные воедино с основной таблицей. Вуаля! Вы получили актуальную базу данных строительных организаций Свердловской области!
На формирование данной базы у меня ушло около 1 часа, включая работу парсера. Всего получилось 1554 организации с контактной информацией.
Надеюсь, статья была интересная.
