Обновить
15
Алексей Розман@alexyr

Python developer

1
Подписчики
Отправить сообщение

Парсер RSS на bash для Лостфильма: щадящий режим для RSS сервера, проверка скачанного

Время на прочтение3 мин
Охват и читатели6.1K
Доброго времени суток!
Когда-то, благодаря этому топику, был написан неплохой парсер для Лостфильма. Сейчас я хотел бы поделиться собственной доработкой скрипта, связанной с изменением формата ссылок на Лостфильме, добавлением проверки на обновление ленты и проверки скачанного.

Прежде всего, что-бы снизить нагрузку на RSS сервер, при запросе ленты с помощью wget нужно использовать «If-Modified-Since:». Тогда, при отсутствии обновлений, мы не будем качать и обрабатывать всю ленту. Такой подход снизит нагрузку на сервер (и немного на наш компьютер).
Используем следующий вариант команды:

# Подготовка заголовка If-Modified-Since
lastmod="$( grep -m 1 Last-Modified response.out )"

header="If-Modified-Since:"${lastmod#*:}

Читать дальше →

Информация

В рейтинге
Не участвует
Откуда
Иерусалим, Иерусалим, Израиль
Дата рождения
Зарегистрирован
Активность

Специализация

Инженер встраиваемых систем
Старший
Python
C#
Docker
Git
Linux