Как стать автором
Обновить
14
0

Devops

Отправить сообщение
смогу написать статью, разъясняющую все происходящее

Было бы очень хорошо. А то у меня и заметочник от гугла (Google Keep) перестал открываться с такими же симптомами :-(.


~$ wget keep.google.com
~$ wget keep.google.com
--2017-06-08 14:48:16--  http://keep.google.com/
Распознаётся keep.google.com (keep.google.com)... 173.194.122.232, 173.194.122.233, 173.194.122.226, ...
Подключение к keep.google.com (keep.google.com)|173.194.122.232|:80... соединение установлено.
HTTP-запрос отправлен. Ожидание ответа... 301 Moved Permanently
Адрес: https://keep.google.com/ [переход]
--2017-06-08 14:48:17--  https://keep.google.com/
Подключение к keep.google.com (keep.google.com)|173.194.122.232|:443... ошибка: Время ожидания соединения истекло.
Подключение к keep.google.com (keep.google.com)|173.194.122.233|:443... ошибка: Время ожидания соединения истекло.
Подключение к keep.google.com (keep.google.com)|173.194.122.226|:443... ^C

Видимо было потрачено какое-то время на запрос к экселовскому файлу — "разблокировали" в течении нескольких минут :-).

Жду продолжения. Тем более, что странные блокировки у ТТК продолжаются.


Вначале недели под раздачу попал сайт компании Elastic. Так как мы пользуемся ее ПО, то пришлось отправить запрос в тех.поддержку.


Выдержка из письма

Опять похожая проблема. По http запрос проходит, а по https — нет


~$ wget http://www.elastic.co
--2017-06-05 16:29:20-- http://www.elastic.co/
Распознаётся www.elastic.co (www.elastic.co)... 52.222.157.12, 52.222.157.185, 52.222.157.75, ...
Подключение к www.elastic.co (www.elastic.co)|52.222.157.12|:80... соединение установлено.
HTTP-запрос отправлен. Ожидание ответа... 301 Moved Permanently
Адрес: https://www.elastic.co/ [переход]
--2017-06-05 16:29:21-- https://www.elastic.co/
Подключение к www.elastic.co (www.elastic.co)|52.222.157.12|:443... ошибка: Нет маршрута до узла.

Ответа до сих пор нет, но на следующий день блокировки уже не было.


А со вчерашнего вечера блокируется сайт


Медузы
~$ wget meduza.io
--2017-06-08 11:19:33--  http://meduza.io/
Распознаётся meduza.io (meduza.io)... 163.172.74.46, 163.172.73.23, 88.212.244.68, ...
Подключение к meduza.io (meduza.io)|163.172.74.46|:80... соединение установлено.
HTTP-запрос отправлен. Ожидание ответа... 301 Moved Permanently
Адрес: https://meduza.io/ [переход]
--2017-06-08 11:19:34--  https://meduza.io/
Подключение к meduza.io (meduza.io)|163.172.74.46|:443... ошибка: Время ожидания соединения истекло.
Подключение к meduza.io (meduza.io)|163.172.73.23|:443... ошибка: Время ожидания соединения истекло.
Подключение к meduza.io (meduza.io)|88.212.244.68|:443... ошибка: Время ожидания соединения истекло.
...

Уже как минимум полмесяца заблокированы abuseipdb.com и code.getmdl.io.


Мне в связи с этим непонятно:


1) Почему это только у ТТК? Про других провайдеров с похожей проблемой мне ничего неизвестно.
2) Почему проблема только с протоколом HTTPS?


А так как благодаря компаниям Google и Mozilla все больше сайтов переходят на протокол HTTPS, то количество "невольно" пострадавших компаний будет расти. Причем многие даже не узнают о причине резко упавшей посещаемости сайта.

Провайдер ТТК? Если да, то чуть выше прокомментировал
Ссылка
https://geektimes.ru/post/289787/#comment_10112341
Скорее всего из-за провайдера (ттк). Я об этом полмесяца назад на хабре писал.



В комментариях еще похожих примеров добавили. Чуть ниже упоминают humblebundle.com — тоже самое: не работает https, но http запросы проходят. Достаточно сменить провайдера и все заработает. Проверил минуту назад.

Несмотря на то, что "104.31.75.222 в базе РКН" сайт www.abuseipdb.com недоступен только при подключении через ТТК.


Выглядит это так


~$ curl -I www.abuseipdb.com
HTTP/1.1 301 Moved Permanently
Date: Wed, 17 May 2017 05:20:00 GMT
Set-Cookie: __cfduid=d5ecbfd3d5581299808e29b43b9f9c74c1494998400; expires=Thu, 17-May-18 05:20:00 GMT; path=/; domain=.abuseipdb.com; HttpOnly
Cache-Control: max-age=3600
Expires: Wed, 17 May 2017 06:20:00 GMT
Location: https://www.abuseipdb.com/
Server: cloudflare-nginx
CF-RAY: 36042002b0ea4e84-DME
X-Cache: MISS from blacklist.ttk.ru
X-Cache-Lookup: MISS from blacklist.ttk.ru:3128
Via: 1.1 blacklist.ttk.ru (squid)
Connection: keep-alive

~$ curl -I https://www.abuseipdb.com
curl: (7) Failed to connect to www.abuseipdb.com port 443: Нет маршрута до узла

~$ wget www.abuseipdb.com
--2017-05-17 13:23:46-- http://www.abuseipdb.com/
Распознаётся www.abuseipdb.com (www.abuseipdb.com)... 104.31.75.222, 104.31.74.222, 2400:cb00:2048:1::681f:4ade, ...
Подключение к www.abuseipdb.com (www.abuseipdb.com)|104.31.75.222|:80... соединение установлено.
HTTP-запрос отправлен. Ожидание ответа... 301 Moved Permanently
Адрес: https://www.abuseipdb.com/ [переход]
--2017-05-17 13:23:51-- https://www.abuseipdb.com/
Подключение к www.abuseipdb.com (www.abuseipdb.com)|104.31.75.222|:443... ошибка: Нет маршрута до узла.
Подключение к www.abuseipdb.com (www.abuseipdb.com)|104.31.74.222|:443... ошибка: Нет маршрута до узла.
Подключение к www.abuseipdb.com (www.abuseipdb.com)|2400:cb00:2048:1::681f:4ade|:443... ошибка: Сеть недоступна.
Подключение к www.abuseipdb.com (www.abuseipdb.com)|2400:cb00:2048:1::681f:4bde|:443... ошибка: Сеть недоступна.
Распознаётся www.abuseipdb.com (www.abuseipdb.com)... 104.31.74.222, 104.31.75.222, 2400:cb00:2048:1::681f:4bde, ...
Подключение к www.abuseipdb.com (www.abuseipdb.com)|104.31.74.222|:443... ошибка: Нет маршрута до узла.
Подключение к www.abuseipdb.com (www.abuseipdb.com)|104.31.75.222|:443... ошибка: Нет маршрута до узла.
Подключение к www.abuseipdb.com (www.abuseipdb.com)|2400:cb00:2048:1::681f:4bde|:443... ошибка: Сеть недоступна.
Подключение к www.abuseipdb.com (www.abuseipdb.com)|2400:cb00:2048:1::681f:4ade|:443... ошибка: Сеть недоступна.

Кто еще может подтвердить эту проблему?

Прямо сейчас проблема с www.abuseipdb.com


UPDATE: 104.31.75.222 в базе РКН

Пожалуй всю портянку приводить не буду:


  1)   289 ms     *       23 ms  bl-gw.transtelecom.net [188.43.29.58]
  2)    23 ms    23 ms    23 ms  bl-gw.transtelecom.net [188.43.29.49]
Еще до появления на Хабре компании Veeam нашел на Codeplex утилиту «HV Backup» — не требует остановки виртуальных машин, сразу пакует в zip-архивы. На powershell написал небольшую обертку для вызова и отправки отчета на почту. Так с тех пор и пользуюсь.

Ссылки



Цитирую свой первый коментарий:
Но пару лет назад наткнулся на SQL Server Compressed Backup (http://mssqlcompressed.sourceforge.net/) — расчитанную на резервное копирование одной базы данных. Сделал для нее простую обвязку на C# — ищите msbplaunch на codeplex.com
В основном из-за того, что резервные копии потом куда-нибудь копируются — т.е. обязательно сжатие данных, которое появилось только в SQL Server 2008. Удаления устареших резервных копий вроде до сих пор нет.
Поэтому кроме Maintenance Plan нужны еще какие-нибудь внешние командные файлы, к тому же вызывать их через xp_cmdshell не всегда безопасно.

А если умеешь программировать — почему не написать утилиту, которая сделает так как тебе нравится? Кстати первая версия утилиты была написана на PowerShell 2.0 — немного жаль, что Powershell не так удобен для меня, как C#.

В качестве примера — на самом «большом» SQL Server-е полный бэкап ~20-ти баз данных выполняется примерно за полчаса — получается около 5GB архивов. Сервер работает под Hyper-V (выделено 4 ядра, 5GB памяти). Нагрузка на сервер почти не заметна.
Когда-то пробовал использовать для резеврного копирования Maintenance Plan — не понравилось. В результате много лет использовалась самопальная утилита резервного копирования на JScript

Но пару лет назад наткнулся на SQL Server Compressed Backup (http://mssqlcompressed.sourceforge.net/) — расчитанную на резервное копирование одной базы данных. Сделал для нее простую обвязку на C# — ищете msbplaunch на codeplex.com

Пользуюсь около полутора лет на нескольких SQL серверах — полет нормальный. Суммарный объем полных бэкапов по всем серверам более 10GB.

Нужно отметить, что
1) все базы находятся в режиме простой модели восстановления
2) достаточно ежедневного резервного копирования.

Также важно, что на паре серверов используется SQL 2008 R2 Web Edition — который не знает про опцию «with compression».

Возможно, проблема будет в следующем: очень похоже, что подсистемы Windows пишут в eventlog как минимум двумя способами. Поэтому, понятный текст Message для любых сообщений мне удалось получить только с использованием запросов WMI.

При использовании родных классов .NET некоторые виды сообщения выглядели как набор кодов. Вероятно, Powershell использует именно такой способ. Если так — попробуйте C#.
Смотрите самое начало статьи.

Вопрос в том, как вы определите весь список событий, за которыми нужно следить? Я на этот вопрос ответить не смог.

Поэтому получилось такое решение. Я с ним работаю так:
— ставлю на свежеустановленный сервер, не включая фильтров
— получая каждый день отчет, я добавляю фильтры — вначале общие (входят в комплект программы), потом конкретные для данного сервера
— через несколько дней ко мне начинает приходить отчет, в котором все по нулям, т.е. все сообщения, которые ежедневно появляются в журнале событий — отфильтрованы.

И вот когда спустя какое-то время в отчете программы зафиксировано неопознанное фильтрами событие — это значит, что нужно обратить внимание, даже если событие типа «Info».

Я использую эту утилиту много лет, чаще всего она мне помогала в двух случаях: обнаружение «умирающего» жесткого диска и потеря связи между контроллерами доменов в W2003.
Наверное, нужно дать развернутый ответ.

Исторически сложилось так, что запросить деньги на централизованный софт по сбору/анализу/отчету для EventLog невозможно (и причина не том, что денег нет). Среди просмотренных бесплатных систем за эти годы ничего путного не нашлось. Хотя я уже пару лет ничего не искал — может что-нибудь появилось.

Централизованный коллектор логов тоже есть. Пусть это будет Syslog-сервер (но это неважно)
— Отчеты на e-mail у меня будут? — Нет.

Можно было бы написать систему отчетов для Syslog или воспользоваться готовыми (например, тем же logcheck). Но мое-то решение может работать и без наличия Syslog-сервера.

Т.е. моим решением может воспользоваться:
и администратор одного-двух серверов в небольшой компании, которому совершенно не нужен централизованный сбор логов;
и администратор нескольких серверов, который использует для централизованного сбора логов какое-либо простое решение.

Получить копию логов в любом случае? — Это просто другая задача. Для критических сервисов/приложений использовать надо другие решения.

Когда-то я рассматривал один из вариантов по консолидации логов, но система просмотра и фильтрации не понравилась. Кроме того, такие системы требуют специально предназначенный для этого сервер.

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность