Как стать автором
Обновить
9
Карма
0
Рейтинг
Алексей Розман @alexyr

Python developer

  • Подписчики 1
  • Подписки 1

Парсер RSS на bash для Лостфильма: щадящий режим для RSS сервера, проверка скачанного

Настройка Linux
Из песочницы
Доброго времени суток!
Когда-то, благодаря этому топику, был написан неплохой парсер для Лостфильма. Сейчас я хотел бы поделиться собственной доработкой скрипта, связанной с изменением формата ссылок на Лостфильме, добавлением проверки на обновление ленты и проверки скачанного.

Прежде всего, что-бы снизить нагрузку на RSS сервер, при запросе ленты с помощью wget нужно использовать «If-Modified-Since:». Тогда, при отсутствии обновлений, мы не будем качать и обрабатывать всю ленту. Такой подход снизит нагрузку на сервер (и немного на наш компьютер).
Используем следующий вариант команды:

# Подготовка заголовка If-Modified-Since
lastmod="$( grep -m 1 Last-Modified response.out )"

header="If-Modified-Since:"${lastmod#*:}

Читать дальше →
Всего голосов 32: ↑28 и ↓4+24
Просмотры5.3K
Комментарии 48

Информация

В рейтинге
Не участвует
Откуда
Иерусалим, Иерусалим, Израиль
Дата рождения
Зарегистрирован
Активность