Pull to refresh
14
Алексей Розман@alexyr

Python developer

0,1
Rating
1
Subscribers
Send message

Парсер RSS на bash для Лостфильма: щадящий режим для RSS сервера, проверка скачанного

Reading time3 min
Reach and readers6.1K
Доброго времени суток!
Когда-то, благодаря этому топику, был написан неплохой парсер для Лостфильма. Сейчас я хотел бы поделиться собственной доработкой скрипта, связанной с изменением формата ссылок на Лостфильме, добавлением проверки на обновление ленты и проверки скачанного.

Прежде всего, что-бы снизить нагрузку на RSS сервер, при запросе ленты с помощью wget нужно использовать «If-Modified-Since:». Тогда, при отсутствии обновлений, мы не будем качать и обрабатывать всю ленту. Такой подход снизит нагрузку на сервер (и немного на наш компьютер).
Используем следующий вариант команды:

# Подготовка заголовка If-Modified-Since
lastmod="$( grep -m 1 Last-Modified response.out )"

header="If-Modified-Since:"${lastmod#*:}

Читать дальше →

Information

Rating
4,631-st
Location
Иерусалим, Иерусалим, Израиль
Date of birth
Registered
Activity

Specialization

Инженер встраиваемых систем
Старший
Python
C#
Docker
Git
Linux