NetBox не выглядит и не является местом, где стоит хранить информацию о виртуальных машинах (даже о необходимости хранения в нём физических машин можно порассуждать).
А можете посоветовать софт для хранения информации о виртуальных машинах, да и о физических тоже? Ищу систему, для документирования инфраструктуры, но в осноновм это сервера и предоставляемые ими сервисы, а не свичи, порты и все это.
Серверов мало - где-то порядка сотни виртуалок, но приходит осознание, что хранить все это в excel'е - возможно не самый удобный способ.
Очень нравится Ваш подход и цикл статей, а также описание NetBox, думаю присособить его под свои задачи, но может быть, есть более удобные варианты?
Подскажите, а есть какие-нибудь готовые шаблоны для виндовых eventlog-ов?
Очень хочется видеть более детальную статистику, чем просто группировка по серверам, левелу и коду ошибки.
Например, входы-выходы юзеров на терминалах и рабочих станциях, сгруппированные по полям логи exchange, логи домен-контроллеров и т.п.
Пока я взял дефолтовое правило из logstash для syslog и преобразовал к такому виду:
match => { «message» => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} (%{DATA:event_type}:(?: %{DATA:event_code}):?: %{DATA:event_result} %{GREEDYDATA:syslog_message}|%{GREEDYDATA:syslog_message})" }
В итоге оно вытаскивает время, имя хоста, тип события, и в большинстве случаев код события. А вот остальные поля парсятся корректно только для Security-Auditing.
В общем, чувствую, для корректного разбора виндовых логов надо потратить кучу времени на освоение сначала регекспов logstash, а потом на написание нескольких десятков (если не сотен) строк правил.
А велосипед изобретать не хочется — винда-то у всех есть, значит, под нее и шаблонов должно быть сколько угодно. Однако почему-то гугл более мощных шаблонов не выдает, или я плохо ищу?
Все, разобрался, я сам лопух.
После того как запостил сюда, пришла в голову мысль пересоздать сертификат. И повторив процедуру, я понял, что сунул туда не тот root-bundle ключ.
Уже не помню, откуда я его тогда взял, может быть это и были «ключи для веб-почты из wosign-кабинета», сейчас указал правильный root-bundle, и сайт заработал.
Оказывается, бывает и так: почему-то только apple на сертификат ругался, винде, андроиду и всем остальным все нравилось.
P.S: кстати подтверждаю: теперь только на год новые сертификаты нахаляву дают. Хорошо я тот старый успел получить на 3 года.
А кто-нибудь сталкивался с проблемами сертификатов WoSign на устройствах apple?
Я такой поставил сертификат от WoSign на 3 года, радуюсь что все так здорово, а тут набежали айфонопользователи и говорят что у них сайт не открывается. И то же самое на макбуках.
Убил дней 5, ковырялся-ковырялся, получил класс A+ по ssllabs, а айфон по-прежнему говорит «не удается проверить удостоверение сертификата».
Говорит, выдан «WoSign CA Free SSL...», при этом пишет «ненадежный», хотя никаких криминальных подробностей про него не пишет.
При этом сейчас проверил fktpm.ru — на том же айфоне отлично открывается. Хотя все поля во всех свойствах те же самые (вроде).
До этого всякие комоды и freessl работали отлично, был стабильный C. (Уязвимость POODLE, слабые алгоритмы, древний TLS и т.п.), ни с какими классами A+ я даже не заморачивался. А китайцев почему-то эпл не хочет воспринимать ни в какую.
Да, теперь соглашусь, получился очень наглядный пример, как не надо писать скрипты.
Исправил:
use MIME::Lite;
и
sub sendsms {
my $text=shift;
$text=~s/_/%5F/g;
my $msg = MIME::Lite->new( From => 'foo@test.com',
To => 'xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx@sms.ru',
Subject => '79xxxxxxxxx',
Type => 'text/plain; charset=UTF-8',
Data => "$text" );
$msg->send();
}
Ну и, как водится, CentOS ругнулся на MIME::Lite, поэтому:
yum install perl-MIME-Lite
Нашел еще глюк, кстати вызванный подходом с моими system-костылями:
Если урл и соотв. $text содержит знак &, то угадайте, что происходит по команде:
system(«echo '$text' | $mailer -s 79xxxxxxxxx xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx\@sms.ru»);
Правильно, & срабатывает как спецсимвол, echo перенаправляется туда не знаю куда, и письмо приходит пустое, а смс вообще не приходит.
Сейчас вылечил костылем в виде $text=~s/&/%26/g;
Ну и урлы типа sometext>/etc/passwd оно «еще лучше» обработает.
В общем, сейчас я сам задаю урлы, но такой подход применять нельзя — надо как-то по-другому организовать вывод.
А что в ней плохого?
Как мне еще одной командой читать весь файл в переменную?
Я даже искал какие-нибудь «правила хорошего тона» для перла — не нашел, может, плохо искал?
Во всех книжках/доках по перлу написано про подобные конструкции $/ — нигде не упоминается о том что они плохи.
Почему-то именно перл меня все время провоцирует писать как можно более неподдерживаемый код.
Можно написать программу в стиле ПХП, но гораздо проще нарисовать крючочков-закорючек, и все это будет будет быстро и будет работать. Правда потом при попытке переделать — часто проще написать заново.
Хотя, я очень стараюсь писать понятно, как минимум для себя, а по возможности и для других.
Спасибо, ценные замечания.
Действительно, я сначала пытался использовать модификатор m для многострочного поиска, удивлялся почему не работает поиск по точке.
В данном случае, подумал что явно указывать переносы — напрасно загромождать регексп, ведь меня не волновало количество строк, а только появление конкретного тега.
Про [^"]+ вместо .?* — не подумал, действительно, должно быть быстрее, стараюсь писать правильно по возможности, чего и всем желаю. :)
Может быть, для новичков? Показать некоторые типовые решения, которые мне пришлось применить. Ну и как я справился с некоторыми трудностями, в данном случае тоже типовыми.
Сам давно читаю хабр, и в подобных решениях нахожу для себя иногда что-нибудь интересное.
Ну и я не говорю что писал скрипт специально для хабра, я его писал для себя, просто стараясь сделать его более-менее читаемым для других.
Это верно, сейчас все-таки скрипт получился уровня «сейчас отмониторить пару объявлений».
Когда речь идет о сопровождении программного продукта с гибко меняющимися входными условиями, несколькими разными сайтами объявлений, все это эволюционирует по запросам клиентов, то этот код скорее всего придется переписать под ноль. И скорее всего уже не на перле. Я бы выбрал ПХП.
Пока я правда парсеры «с парой сотен наборов правил извлечений» еще не делал :)
Именно, это я еще этот скрипт писал, планируя выложить его на хабр, поэтому старался сделать более-менее красиво, обычно терпения на это не хватает. Правда потом за это сам же и расплачиваюсь, когда спустя полгода надо его чуть переделать.
Но 1 строчка старого доброго system(«шелловская команда») зачастую понятнее многим, чем инициализация хитрого фреймворка, который еще не у всех установлен, либо не той версии, из-за чего сперва провозишься с полчаса, пытаясь его установить, плюнешь, да и перепишешь скрипт сам.
Кстати, я честно пытался вместо регекспа применить HTML::Parser. Разбирался с ним, разбирался, потом понял, что мне в данном случае важнее не содержимое полей в тегах, которые он вытаскивает, а именно определенная подстрока в виде шаблона. Ну и считаю, что регексп, который у меня занял ровно 1 строчку — оптимальное решение среди доступных инструментов.
Конечно, эту строчку придется периодически переписывать по мере смены верстки авито.
Мы пользуемся обычным GSM-модемом для мониторинга оборудования. Он надежнее для тех случаев, когда например сеть упала, соответственно, ни на какую почту ничего не придет.
А sms.ru — бесплатная альтернатива, которая дублирует GSM-модем, и заодно используется для всяких не сильно критичных уведомлений, за которые не хочется платить.
LWP я не использовал по единственной причине: ничего о нем не знал до сего момента…
А wget успешно пользуюсь уже лет 15, еще с диалап-времен.
На самом деле согласен, LWP гораздо удобнее для того чтобы просто прочитать страничку в переменную. Если соберусь переделывать свой скрипт — перепишу на LWP.
Еще вопросы в ту же тему: а почему system(«mutt...») вместо какой-нибудь перловской библиотечки, почему даже system(«cp ...»), разве перл не умеет копировать файлы?.. Ответ тот же: мое не очень хорошее знание перл…
Конечно, не в ущерб читаемости и объему кода: чтобы не получилась замена одной строки с system на страницу кода инициализации какого-нибудь фреймворка.
А можете посоветовать софт для хранения информации о виртуальных машинах, да и о физических тоже? Ищу систему, для документирования инфраструктуры, но в осноновм это сервера и предоставляемые ими сервисы, а не свичи, порты и все это.
Серверов мало - где-то порядка сотни виртуалок, но приходит осознание, что хранить все это в excel'е - возможно не самый удобный способ.
Очень нравится Ваш подход и цикл статей, а также описание NetBox, думаю присособить его под свои задачи, но может быть, есть более удобные варианты?
Очень хочется видеть более детальную статистику, чем просто группировка по серверам, левелу и коду ошибки.
Например, входы-выходы юзеров на терминалах и рабочих станциях, сгруппированные по полям логи exchange, логи домен-контроллеров и т.п.
Пока я взял дефолтовое правило из logstash для syslog и преобразовал к такому виду:
match => { «message» => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} (%{DATA:event_type}:(?: %{DATA:event_code}):?: %{DATA:event_result} %{GREEDYDATA:syslog_message}|%{GREEDYDATA:syslog_message})" }
В итоге оно вытаскивает время, имя хоста, тип события, и в большинстве случаев код события. А вот остальные поля парсятся корректно только для Security-Auditing.
В общем, чувствую, для корректного разбора виндовых логов надо потратить кучу времени на освоение сначала регекспов logstash, а потом на написание нескольких десятков (если не сотен) строк правил.
А велосипед изобретать не хочется — винда-то у всех есть, значит, под нее и шаблонов должно быть сколько угодно. Однако почему-то гугл более мощных шаблонов не выдает, или я плохо ищу?
Просто переименовал для удобства…
Все, разобрался, я сам лопух.
После того как запостил сюда, пришла в голову мысль пересоздать сертификат. И повторив процедуру, я понял, что сунул туда не тот root-bundle ключ.
Уже не помню, откуда я его тогда взял, может быть это и были «ключи для веб-почты из wosign-кабинета», сейчас указал правильный root-bundle, и сайт заработал.
Оказывается, бывает и так: почему-то только apple на сертификат ругался, винде, андроиду и всем остальным все нравилось.
P.S: кстати подтверждаю: теперь только на год новые сертификаты нахаляву дают. Хорошо я тот старый успел получить на 3 года.
Я такой поставил сертификат от WoSign на 3 года, радуюсь что все так здорово, а тут набежали айфонопользователи и говорят что у них сайт не открывается. И то же самое на макбуках.
Убил дней 5, ковырялся-ковырялся, получил класс A+ по ssllabs, а айфон по-прежнему говорит «не удается проверить удостоверение сертификата».
Говорит, выдан «WoSign CA Free SSL...», при этом пишет «ненадежный», хотя никаких криминальных подробностей про него не пишет.
При этом сейчас проверил fktpm.ru — на том же айфоне отлично открывается. Хотя все поля во всех свойствах те же самые (вроде).
У меня апач а не nginx, вот конфиг:
SSLCertificateFile /data/www/ssl/webmail.crt SSLCertificateKeyFile /data/www/ssl/webmail.key SSLProtocol all -SSLv2 -SSLv3 SSLCipherSuite kEECDH+AES128:kEECDH:kEDH:-3DES:kRSA+AES128:kEDH+3DES:DES-CBC3-SHA:!RC4:!aNULL:!eNULL:!MD5:!EXPORT:!LOW:!SEED:!CAMELLIA:!IDE A:!PSK:!SRP:!SSLv2; SSLCertificateChainFile /data/www/ssl/wosign/ca-certs.pem SSLHonorCipherOrder On SSLCACertificateFile /data/www/ssl/wosign_root_bundle.crt Header add Strict-Transport-Security "max-age=31536000" Header add Content-Security-Policy-Report-Only "default-src https:; script-src https: 'unsafe-eval' 'unsafe-inline'; style-src https: 'unsa fe-inline'; img-src https: data:; font-src https: data:; report-uri /csp-report"SSLCertificateChainFile генерировал по этой статье: habrahabr.ru/post/254231
До этого всякие комоды и freessl работали отлично, был стабильный C. (Уязвимость POODLE, слабые алгоритмы, древний TLS и т.п.), ни с какими классами A+ я даже не заморачивался. А китайцев почему-то эпл не хочет воспринимать ни в какую.
Что там надо еще включить для счастья на айфонах?
Исправил:
use MIME::Lite;
и
Ну и, как водится, CentOS ругнулся на MIME::Lite, поэтому:
yum install perl-MIME-Lite
Если урл и соотв. $text содержит знак &, то угадайте, что происходит по команде:
system(«echo '$text' | $mailer -s 79xxxxxxxxx xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx\@sms.ru»);
Правильно, & срабатывает как спецсимвол, echo перенаправляется туда не знаю куда, и письмо приходит пустое, а смс вообще не приходит.
Сейчас вылечил костылем в виде $text=~s/&/%26/g;
Ну и урлы типа sometext>/etc/passwd оно «еще лучше» обработает.
В общем, сейчас я сам задаю урлы, но такой подход применять нельзя — надо как-то по-другому организовать вывод.
Как мне еще одной командой читать весь файл в переменную?
Я даже искал какие-нибудь «правила хорошего тона» для перла — не нашел, может, плохо искал?
Во всех книжках/доках по перлу написано про подобные конструкции $/ — нигде не упоминается о том что они плохи.
Можно написать программу в стиле ПХП, но гораздо проще нарисовать крючочков-закорючек, и все это будет будет быстро и будет работать. Правда потом при попытке переделать — часто проще написать заново.
Хотя, я очень стараюсь писать понятно, как минимум для себя, а по возможности и для других.
Действительно, я сначала пытался использовать модификатор m для многострочного поиска, удивлялся почему не работает поиск по точке.
В данном случае, подумал что явно указывать переносы — напрасно загромождать регексп, ведь меня не волновало количество строк, а только появление конкретного тега.
Про [^"]+ вместо .?* — не подумал, действительно, должно быть быстрее, стараюсь писать правильно по возможности, чего и всем желаю. :)
Ну и остальное тоже достойно.
Знал бы питон — писал бы на нем
Сам давно читаю хабр, и в подобных решениях нахожу для себя иногда что-нибудь интересное.
Ну и я не говорю что писал скрипт специально для хабра, я его писал для себя, просто стараясь сделать его более-менее читаемым для других.
Когда речь идет о сопровождении программного продукта с гибко меняющимися входными условиями, несколькими разными сайтами объявлений, все это эволюционирует по запросам клиентов, то этот код скорее всего придется переписать под ноль. И скорее всего уже не на перле. Я бы выбрал ПХП.
Пока я правда парсеры «с парой сотен наборов правил извлечений» еще не делал :)
Но 1 строчка старого доброго system(«шелловская команда») зачастую понятнее многим, чем инициализация хитрого фреймворка, который еще не у всех установлен, либо не той версии, из-за чего сперва провозишься с полчаса, пытаясь его установить, плюнешь, да и перепишешь скрипт сам.
Кстати, я честно пытался вместо регекспа применить HTML::Parser. Разбирался с ним, разбирался, потом понял, что мне в данном случае важнее не содержимое полей в тегах, которые он вытаскивает, а именно определенная подстрока в виде шаблона. Ну и считаю, что регексп, который у меня занял ровно 1 строчку — оптимальное решение среди доступных инструментов.
Конечно, эту строчку придется периодически переписывать по мере смены верстки авито.
А sms.ru — бесплатная альтернатива, которая дублирует GSM-модем, и заодно используется для всяких не сильно критичных уведомлений, за которые не хочется платить.
А wget успешно пользуюсь уже лет 15, еще с диалап-времен.
На самом деле согласен, LWP гораздо удобнее для того чтобы просто прочитать страничку в переменную. Если соберусь переделывать свой скрипт — перепишу на LWP.
Еще вопросы в ту же тему: а почему system(«mutt...») вместо какой-нибудь перловской библиотечки, почему даже system(«cp ...»), разве перл не умеет копировать файлы?.. Ответ тот же: мое не очень хорошее знание перл…
Конечно, не в ущерб читаемости и объему кода: чтобы не получилась замена одной строки с system на страницу кода инициализации какого-нибудь фреймворка.