КЛАДРируем адреса произвольной формы (ч.1 — импорт)

[jonie]

    new_version=$(curl -sIL -XGET "${DB_FILE_URL}" | tac | grep -im 1 'http/' -B 100 | grep -ie "etag" -e "last-modified" -e "content-length" | tr -d '\r' | tr '\n' '|')

Как-то так можно не выкачивая всё получить заголовки (правда у меня были баги вида файл менялся, а last-modified нет, посему используется сочетание разных заголовков.

[Kilor]

А с I-флагом разве сгенерируется не HEAD-запрос?

сервер достаточно нервно реагирует на скорость загрузки и не поддерживает HEAD-запросы, увы

[jonie]

нет, не HEAD. Добавьте -v к curl-у и убедитесь сами

[Kilor]

Тогда тоже можно как вариант оптимизации использовать.

[jonie]

на самом деле не "можно", а "нужно" ИМХО, т.к. это в разы быстрее чем качать весь файл если он не менялся и не создаёт паразитной долго играющей нагрузки. Я б попросил вас доработать ваш скрипт - сейчас понабегут какие-нибудь настоящие программисты, накопипастят и выгрузку вовсе прикроют каким-нибудь 2FA

[Kilor]

выгрузку вовсе прикроют каким-нибудь 2FA

Это будет очень интересным кейсом доступа к открытым гос-данным. :)

[jonie]

да бросьте - были же уже прецеденты типа добавления капчи на ГАС "Выборы" или "ждите 15 минут прежде чем войти в госуслуги".

[TakashiNord]

начало - зубодробительное.

7zip ! 7 DBF-файлов в DOS-кодировке ! ax- ax

[Kilor]

Там есть альтернативный .arj. ))

[andrydl]

Раньше был вариант сходить в налоговую с 3 дюймовой дискеткой , а лучше с 2-мя (мало ли одна не прочитается) забрать dbf - ки самому) С тех пор структура файлов не менялась) А сейчас можно скачать, прогресс...