Comments 18
А чего ради все эти приседания? Через месяц верстку поменяют (а это часто случается) и все, приложуха мертва или работает коряво. Вы прям готовы каждый день проверять не «поломали» ли верстку на сайте? Раньше были сотни парсеров инсты и автопостинг и еще куча плюшек, так они жили неделю и потом разрабы неделю парсер правили под новую верстку. В итоге все это оказалось никому ненужным мусором. Парсинг на долгосроке - вещь не очень надежная.
Вообще, сейчас ИИ хорошо справляется с задачей "вот тебе несколько примеров HTML, напиши скрипт на Python, который выдирает вот такие то данные". Чисто write only решение без архитектуры. Когда вёрстка меняется просто перегенерируешь парсер с нуля на новых образцах HTML.
Единственное, что надо просить добавить в парсер детектор, что всё спарсилось, чтобы он не тихо терял данные, а полностью ломался от любого изменения вёрстки. И ты не пропустил момент, когда нужен новый парсер.
Ну если чуток поправили верстку, то, возможно AI и справится. Но вот попробуйте сетку натравить на инсту и она налажает как только сможет. А там разрабы стараются структуру менять довольно сильно. Я не о том, что это невозможно. Я про то, что поддерживают такую прилу будет крайне сложно и муторно, будет сжирать уйму времени. Вот и спросил автора: ради чего такие приседания? Денег ради или по фану?
А это единственный вариант. Можно, конечно, 5 млн. за год доступа (или на порядок больше - когда-то запрашивал прайсинг для юр.лиц). Но оно тупо того не стоит для пет проектов.
Согласен риск есть но в целом настроен алертинг на почту плюс смотрю логи на тему парсинга. Если что подкручу. Плюс можно в целом ИИ натровить на то что бы она парсер подкручивала. это пет проект а не какой то продукт так как если это делать готовым продуктом то источник данных должен быть максимально без отказным.
Не так часто и изменяется, мониторю эти закупки html-парсингом минимум с 2010 года. Но тогда эта часть называлась “Реестр недобросовестных поставщиков”, потом это переехало на закупки. Вот, поднял старые скрипты из доступных - окт2020,июл2021,окт2021,янв2022,сен2025 - пять правок за пять лет, не так много, но и не мало. Это из интересующих доков по 44-,223-,615-ФЗ. Но, полностью подтверждаю автора - формат запросов и вывода под каждый ФЗ разный. Соглашусь, что это развлечение не из категории “сделал и забыл”. Если уж речь идёт о “..прям готовы каждый день проверять не «поломали» ли верстку на сайте” - то да, именно это со мной и происходит, мониторю, правлю. Никогда не считал, вот, получается, примерно раз в год по этому ресурсу.
ЕИС использует три разных идентификатора для одного и того же юр.лица:
Настоящий ИНН — 10 цифр у юр.лиц, 12 у ИП. Например 7708410783
organizationId — внутренний 5-8-значный ID, например 2225253
organizationCode — 11-значный код, например 01795000003
И это не просто так — если организация имеет филиалы, может оказаться, что закупки филиала отражаются под отдельным organizationCode, но при этом собственного ИНН у филиала нет — ИНН совпадает с ИНН головной организации, ОГРН тоже совпадает, отличается только КПП. Поэтому сводить всё к одному ИНН неверно.
Покрытие НМЦК для 44-ФЗ — всего 4-5%. Большая часть аукционов публикует НМЦК как диапазон что для расчёта margin score бесполезно. Думаю где брать точные значения, пока не нашёл.
Это не слабое место, это особенности контрактной системы. Точное значение вы не найдете, так как это и есть точное значение - заказчик не может закупить больше чем максимальная цена договора. То что вы назвали
диапазоном типа “не более 1М ₽”
диапазоном не является.
Смотрите есть контракты с НМЦК в них известен объем ТРУ (товаров, работ, услуг), которые планирует приобрести заказчик.
А есть контракты, в которых объем ТРУ не известен. В этих контрактах устанавливается НМЦЕ (начальная (максимальная) цена за единицу) и поставщики торгуют именно эту цену. Но Заказчик обязан установить предельную цену закупки. Поэтому он устанавливает максимальную цену договора, которую вы и видите в виде "диапазоном типа “не более 1М ₽”.
В этом случает пусть Поставщик предложил карандаши по 5 руб. и это самая низкая цена из предложенных. Тогда Заказчик покупает у него карандаши по 5 руб. за штуку на сумму не более 100 000 руб., например.
Мы сейчас парсим информацию через другой сервис. Сейчас не помню ссылки, спрошу у наших разрабов в понедельник и напишу. Но там может возникнуть нюанс. Пока сервис бесплатный, но разработчик хочет ввести оплату 3000 руб. в месяц. Для компании, которая регулярно участвует в тендерах это не принципиально, но вот для вас.
Спасибо за разбор! Это семантика контрактной системы которую я недопонимал. Для cost-per-unit контрактов margin score нужно считать иначе — через объём ТРУ и НМЦЕ, а не через discount от единого числа. Подкручу формулу.
Жду ссылку на альтернативный сервис
Наши парсят вот отсюда https://wiki.gosplan.info/Home
Несколько лет делаю парсинг, верстка за это время пару раз менялась. Все отлично.
я уж в конце подумал гос "слоты"
Я написал себе парсер за полчаса, это тз + генерация и выложил это на youtube. Тут что то придумывать сложное не нужно, учитывая что там ест лента RSS. API вы серьезно?
Мне кажется общую инфу по контракту проще парсить с печатной формы сведений о контракте https://zakupki.gov.ru/epz/contract/printForm/view.html?contractReestrNumber=3500904648925000030
Парсил zakupki.gov.ru без API — расскажу что узнал