Некоторые опции Bash хорошо известны и часто используются. Например, многие в начале скрипта пишут

set -o xtrace

для отладки,

set -o errexit

для выхода по ошибке или

set -o errunset

для выхода, если вызванная переменная не установлена.

Но есть много других опций. Иногда они слишком путано описаны в манах, поэтому я собрал здесь некоторые из наиболее полезных, с объяснением.

Как часто вы слышите утверждение что правила корреляции, поставляемые производителем SIEM, не работают и удаляются, или отключаются сразу же после инсталляции продукта? На мероприятиях по информационной безопасности любая секция, посвященная SIEM, так или иначе затрагивает данный вопрос.

Давайте рискнем и попробуем найти решение проблемы.

«А оно там делает магию»
кто-то из тех, кого я удалённо консультировал по Эластику.

Я всегда говорю, что верю в три вещи: мониторинг, логи и бэкапы.

Тема про то, как мы собираем и храним логи, достаточно полно была раскрыта в предыдущих статьях, тема про бэкапы в Elasticsearch — совсем отдельная история, поэтому в этой, возможно заключительной, статье цикла я расскажу как происходит мониторинг моего любимого кластера. Это не очень сложно (и не требует использования дополнительных плагинов и сторонних сервисов) — ибо REST API, предоставляемое самим Elasticsearch простое, понятное и удобное в использовании. Всего-то надо немного углубиться в его внутреннее устройство, понять, что означают все эти метрики, пулы тредов, веса распределения шардов по нодам, настройки очередей — и не останется никаких вопросов о том, что же за «магию» эластик делает прямо сейчас.



На недавней конференции Highload++ 2017 я рассказал о том, как строил кластер своей мечты, и говорил, что недостаточно просто построить сервис. Критически важно в любой момент знать, в каком он состоянии, причём контроль обязательно должен быть многоуровневым. Разбудите меня посреди ночи (отделу мониторинга привет!) — и через две минуты я буду знать, в каком состоянии находится кластер. Причём одна минута из двух уйдёт на подключение к корпоративному VPN и логин в Zabbix.

abstract: разница между текущей производительностью и производительностью теоретической; latency и IOPS, понятие независимости дисковой нагрузки; подготовка тестирования; типовые параметры тестирования; практическое copypaste howto.

Предупреждение: много букв, долго читать.

Лирика

Очень частой проблемой, является попытка понять «насколько быстрый сервер?» Среди всех тестов наиболее жалко выглядят попытки оценить производительность дисковой подсистемы. Вот ужасы, которые я видел в своей жизни:

• научная публикация, в которой скорость кластерной FS оценивали с помощью dd (и включенным файловым кешем, то есть без опции direct)
• использование bonnie++
• использование iozone
• использование пачки cp с измерениема времени выполнения
• использование iometer с dynamo на 64-битных системах

Это всё совершенно ошибочные методы. Дальше я разберу более тонкие ошибки измерения, но в отношении этих тестов могу сказать только одно — выкиньте и не используйте.

Сейчас многие покупают точки доступа 802.11n, но хороших скоростей достичь удается не всем. В этом посте поговорим о не очень очевидных мелких нюансах, которые могут ощутимо улучшить (или ухудшить) работу Wi-Fi. Всё описанное ниже применимо как к домашним Wi-Fi-роутерам со стандартными и продвинутыми (DD-WRT & Co.) прошивками, так и к корпоративным железкам и сетям. Поэтому, в качестве примера возьмем «домашнюю» тему, как более родную и близкую к телу. Ибо даже самые администые из админов и инженеристые из инженеров живут в многоквартирных домах (или поселках с достаточной плотностью соседей), и всем хочется быстрого и надежного Wi-Fi.
[!!]: после замечаний касательно публикации первой части привожу текст целиком. Если вы читали первую часть — продолжайте отсюда.

Давно была идея собрать воедино интересные вопросы, касающиеся сетей.

Объединяет их то, что все они довольно простые, но мы подчас о них не задумываемся (я во всяком случае о них не задумывался).
В общем я их собрал, подбил, нашёл ответы.
Итак, блиц опрос:

Начнём с самых низких уровней и с самых простых вопросов

В1. Почему для витой пары выбран такой странный порядок: синяя пара на 4-5, разрывая зелёную, которая на 3, 6?

В2. В стандарте Ethernet между кадрами всегда имеется промежуток, называемый IFG (Inter Frame Gap) длиною 12 байтов. Для чего он нужен, и почему он присутствует в современных стандартах?

«Кибервойны — это уже реальность и нам, простым смертным, остается только наблюдать за ними...»

Да, начало, пожалуй, вышло пафосным и больше подходит для заголовка какой-нибудь газетной статьи или как раз для ресурса, который в визуальной форме показывает нам происходящие в мире кибератаки.
В этой статье будут описаны известные и, возможно, малоизвестные ресурсы, демонстрирующие происходящие в мире кибератаки в режиме реального времени.

В соседнем топике от bondbig'a прозвучал вопрос: «Расскажите лучше, как самому запилить две версии php на одном сервере (5.3 и 5.5, например).» И я попробую на него ответить на примере suphp, не останавливаясь на деталях, а описав только общую концепцию.

suphp это модуль для apache, который вызывается вместо mod_php и изначально был рассчитан на запуск apache от разных пользователей. Это придумано для того, что бы злоумышленник взломав 1 сайт не получил доступ ко всем сайтам на сервере (ведь по умолчанию apache работает от одного пользователя для всех сайтов на сервере). Но его можно приспособить и под наши задачи.

Я не буду сравнивать suphp с mtm-itk, скажу лишь что компания, в которой я работаю применяет suphp на серверах виртуального хостинга (да, я работаю в хостинг провайдере), применяет успешно и жалоб на этот модуль на моей памяти никогда не было.

Человеку давно свойственно интересоваться окружающим миром и находить объяснения тому окружающим вещам и событиям. Собственно, без этого человек не стал бы человеком. На базе верований, мифов развивалась сначала религия, а потом — и современная наука, которая уже весьма успешно объясняет окружающий мир от очень малых до впечатляющих масштабов. Но всегда оставались люди, которые противились прогрессу и распространяли устоявшиеся мифы, уверяя, что они отвечают на все вопросы и незачем двигаться дальше. Гром гремит — это Перун-громовержец злится; кто-то заболел — это Бог его наказывает, вот тебе объяснения, отстань, не задавай вопросов, а лучше помолись.
Современные мифы более глубоки и обычно связаны с наукой. Причины понятна — наука развилась (особенно в последнее время) до такой степени, что часто нужен колоссальный объем знаний, чтобы просто понять, о чем вообще идет речь. У многих людей этого объема нет или безвозвратно потерян, что и снижает их сопротивляемость к разного рода мифам нашего времени. Миф про вредность пищевых добавок Exxx; миф про полезность натурального и вредность «химии»; миф про врачей-убийц, травящих людей прививками; миф про настолько страшное ГМО, что наклейки с надписью «без ГМО» надо клеить даже на салфетки и на пачки с солью.

Что такое ГМО? Зачем они нужны? Как велика опасность и польза от их использования? Есть ли доказательства безопасности этих организмов?

Предисловие

Некоторые из вас наверняка недавно проходили Stanford'ские курсы, в частности ai-class и ml-class. Однако, одно дело просмотреть несколько видео-лекций, поотвечать на вопросики quiz'ов и написать десяток программ в Matlab/Octave, другое дело начать применять полученные знания на практике. Дабы знания полученые от Andrew Ng не угодили в тот же тёмный угол моего мозга, где заблудились dft, Специальная теория относительности и Уравнение Эйлера Лагранжа, я решил не повторять институтских ошибок и, пока знания ещё свежи в памяти, практиковаться как можно больше.

И тут как раз на наш сайтик приехал DDoS. Отбиваться от которого можно было админско-программерскими (grep / awk / etc) способами или же прибегнуть к использованию технологий машинного обучения.

Далее пойдёт рассказ о создании нейронной сети на Python 2.7 / PyBrain и её применении для защиты от DDoS'а.

Пожалуй, начну с того, что если перегружаться 15 раз в год, то любой «тюнинг» процесса загрузки отнимает больше времени, чем будет выиграно на перезагрузках за все время жизни системы. Однако, спортивный интерес берет свое, тем более, что люди интересуется процессом оптимизации быстродействия. А загрузка оказалась самым очевидным кандидатом в примеры того, как на мой взгляд должен выглядеть этот самый процесс. Сразу скажу, что грузиться будем с 5400 rpm винта, грузиться будем в «рабочую» систему: помимо недобитой вендорской крапвари там стоит еще куча всякого типа вижуал студии, антивируса, скайпа, стима, гуглапдейтера и пр…

Про то, почему отключение pagefile-а скорее вредно, чем полезно — как нибудь в другой раз, а пока…

В данной статье хотелось бы поделиться с читателями своим личным опытом о китайских интернет-магазинах, в которых мне (или моим друзьям) приходилось делать покупки. Речь пойдет именно про электронный сегмент товаров. Сразу перейду к сути, и приведу обзоры этих самых магазинов с заключительной оценкой:

Не успели отшуметь новости по поводу СМС, «утёкших» в свободный доступ с сайта Мегафона, как похожая беда настигла один из известных белорусских банков.

Некоторое время назад в твиттере известного белорусского фотографа Антона Мотолько появилось сообщение о том, что по адресу www.mtb.by/data/anketa/po_domashnemu доступны персональные данные людей, оставивших заявление на кредит. Непродолжительное ковыряние показало, что в каталоге /data/ на сервере доступно много другой информации — от фотографий сотрудников до заявлений на кредитные (как подсказывают в комментариях, и дебетовые) карты с девичьей фамилией матери и прочими паспортными данными.

По грубым оценкам, число оказавшихся доступными анкет превышает 5000.

На данный момент адреса уже закрыты, но кто знает, сколько копий было сделано?



UPD: появился официальный комментарий Банка. Вкратце: анкеты заполнялись не клиентами банка, а теми кто хочет ими стать, никто не знает, стали ли они клиентами, поэтому эту информацию разглашать нестрашно. Кроме того, паспортные данные «утекли» с сервера, находящегося на аутсорсинге у другой компании. Тем, кто всё-таки стал клиентами банка, были принесены извинения.

UPD2: Текст официального ответа от руководства МТБанка:

Я не знаю, видел ли кто-то из вас эту книгу, но это же жесть полнейшая.



— «Хвостик» после имени файла, отделяемый точкой, носит название расширения. Веб-дизайн, будучи синтетическим видом искусства, совмещает в себе:
> фотографии, которые существуют в виде файлов с расширением *.jpg (*.jpeg) или, значительно реже, *.gif (другие форматы графических файлов в Сети не применяются);

— Иногда полезно включить тэг [meta name=«generator» content="…"], чтобы показать, в какой программе сверстана страничка, поскольку это нередко помогает броузеру прочитать ту ахинею, которую накрутил визуальный редактор.

На днях пришлось мне разослать по всей компании письмо. Думаю, что у каждого админа были, есть и будут на обслуживании идиоты, расставляющие кактусы вокруг монитора и одевающие «антикомпьютерные очки».
Для таких индивидуумов и было написано письмо. Остальные просто посмеялись.

Текст письма под катом.

Являясь сторонником твердотельных дисков …
— The State of Solid State Hard Drives (октябрь 2009, англ.)
— Revisiting Solid State Hard Drives (октябрь 2010, англ.)
… я чувствую себя этически и морально обязанным посвятить вас в маленький грязный секрет, открытый мной за последние два года использования твердотельных дисков. Твердотельные диски дохнут. В огромных количествах. И не просто дохнут. Я говорю об ужасных поломках «боже мой, что случилось со всеми моими данными». И это нифига не клево.

Я купил три твердотельных диска Crucial на 128 гигабайт в октябре 2009 для себя и двух других работников Stack Overflow. По состоянию на предыдущий месяц два из них уже сдохли. На днях я беседовал с Джоэлом во врем записи подкаста, и он сказал, что твердотельный диск от Intel в его Thinkpad, купленный примерно в то же время, тоже сдох.

Так как за последние 50 лет компьютеры стали неотъемлемой частью нашей жизни, многие музыканты сочиняли песни о них.

Одна из тем, которая частенько будоражит наше сознание — это беспокойство по поводу противостояния человечества и умных машин. Могут ли машины на самом деле взять на себя всё, что делаем мы, сделав нас ненужными, устаревшими, или, того хуже — рабами?

В искусстве нередко затрагивался этот вопрос. Мы попытались составить список самых знаменитых и запоминающихся песен о компьютерах.

Начнем мы, конечно, с HAL 9000.

В студии «Финам FM» — Сергей Белоусов, председатель совета директоров компании Parallels, и Байрам Аннаков, управляющий партнер компании Empatika. Эксперты и ведущий, Максим Спиридонов, обсуждают запуск собственных карт «Яндексом», заявление премьер-министра России по поводу того, необходимо ли властям дополнительно контролировать Рунет, открытие доменной зоны для сайтов со «взрослым» контентом, подготовку нового сервиса платежной системы Qiwi для расчетов в офлайне, недоразумение вокруг возможности совместного развития Mail.ru Group и «ВКонтакте» и новые подробности предстоящего IPO «Яндекса».

Ссылка

http://www.visualland.net/

Картинка

Примеры визуализаций

• Основы HSRP
• Основы DNS
• RFC2281 state table
• Dynamic NAT Basics

Все.

Около года назад во время написания курсовой работы мне пришлось вплотную столкнуться со сканерами отпечатков пальцев. Отчетливо помню, как меня неприятно удивило их многообразие – еще бы, ведь для каждого мне надо было искать каналы утечки информации и писать методику их оценки. И все же факт остается фактом – в настоящее время существуют принципиально разные способы получения отпечатков пальцев с разной степенью надежности и эффективности.