И снова в эфире наша постоянная рубрика «Лекции Технопарка». На этот раз предлагаем вам ознакомиться с материалами курса «Проектирование высоконагруженных систем». Цель курса — получение студентами навыков проектирования высокоэффективных программных систем.

ВВЕДЕНИЕ

В 1991 году я проходил студенческую практику на одном из предприятий в области энергетики. Задача, которую мне предстояло решить – разработать программу для контроля поручений, выдаваемых руководителями. Программа называлась «КИП – контроль исполнения предписаний». Как мне тогда казалось, задачу я решил. Трудно было предположить, что к этой теме мне предстоит вернуться через 12 лет и превратить ее в основной предмет своей деятельности – разработку и внедрение систем электронного документооборота. 20 лет спустя оказалось, что тема эта столь же актуальна, а попытки ее решить, далеко не всегда приводят к ожидаемым результатам. Почему это происходит?
Причин, наверное, много. Ограничения по срокам и бюджету, квалификация и мотивация персонала, проектная методология, политическая конъюнктура – эти и другие факторы содержат предпосылки проектных неудач. Хочу предложить еще одно объяснение проблемам, возникающих в ходе внедрения и эксплуатации систем электронного документооборота.

Конечно подобный пост найдет голосовательное одобрение только в пламенных сердцах ИТ-подрядчиков, и бойцов прифронтовой кибернетической полосы — но думаю опубликовать будет не лишне!

Работаю АйТишником в крупной компании. В общем, все нормально и замечательно. Как-то однажды наше руководство решило идти в ногу со временем и возникли мысли автоматизироваться. Выбирали довольно долго Электронный документооборот, но либо денег жалко было много платить, либо разработчики какие-то липовые, короче, времени заняло все это переговорно-презентационное безобразие предостаточно. В конечном итоге остановились на некотором решении. Продукт адекватный, разработан под Microsoft Sharepoint 2013 Worklite Docs (я в силу некоторых обстоятельств с этой системой хорошо знаком). В общем выбор пал на него.

Мы собрали воедино все наши корпоративные хотелки, заказали, внедрили — запустили. Все нормально, все работает. Но суть не в этом. Это была присказка.

Привет, хабрахабр! Эта моя первая статья и посвящена она удаленному администрированию. Надеюсь, что она будет интересна не только системным администраторам, но и просто продвинутым юзерам, так как использование некоторых компонентов может вам пригодиться.

В основном речь пойдет об администрировании компьютеров до загрузки операционной системы. Когда количество компьютеров невелико, на поддержку их работоспособности не требуется много человеческих ресурсов. С расширением парка компьютеров, их обслуживание становится более затратным. В моем случае, организация обладает около 100 компьютеров. Переустановка операционных систем, восстановление образов операционных систем занимает много времени. Мне приходилось обслуживать каждую единицу техники отдельно. Поэтому, встала задача разработать систему, которая упростит жизнь администратора и увеличит количество свободного времени, которое можно потрать на более интересные вещи.

Загрузочная флешка с набором нужного софта — замечательный инструмент системного администратора. Казалось бы, что может быть лучше? А лучше может быть загрузочный сервер!

Представьте, вы выбрали в BIOS загрузку по сети и можете установить ОС/вылечить компьютер от вирусов/реанимировать диски/протестировать ОЗУ/etc с PXE Boot сервера, ведь это куда удобнее, нежели бегать с флешкой от машины к машине.
А в случае большого компьютерного парка, такой инструмент и вовсе незаменим.

Вот такое меню встречает нашу команду инженеров при загрузке с PXE



Под катом вас ждет описание всех настроек, а так же небольшой сюрприз.

Озадачился вопросом использования двухфакторной аутентификации для терминального доступа на тонких клиентах на базе Thinstation и немного удивился. Оказывается, что на текущий момент ни одна сборка или конструктор Thinstation не поддерживает электронные USB ключи, такие как eToken, RuToken, iKey. Несмотря на то, что дистрибутив Thinstation настолько популярен, что его используют вместо стандартного ПО на тонких клиентах HP, да и средства аутентификации eToken получили больше распространения на постсоветском пространстве, чем решения от других компаний, но факт остается фактом — в Thinstation нет поддержки электронных USB ключей.

В этой статье мне бы хотелось рассказать о том, как приложения в Linux могут использовать систему Подключаемых Модулей Безопасности (Pluggable Authentication Modules) для прозрачной аутентификации пользователей. Мы немного покопаемся в истории развития механизмов аутентификации в Linux, разберемся с системой настроек PAM и разберем исходный код модуля аутентификации pam_p11, который позволяет проводить аутентификацию пользователей по смарт-картам.
В конце статьи мы рассмотрим на практике настройку и работу модуля аутентификации в сертифицированном по 3 классу защищенности СВТ и 2 уровню контроля отсутствия недекларированных возможностей дистрибутиве Astra Linux для аутентификации по USB-токенам Рутокен ЭЦП и Рутокен S. Учитывая то, что Рутокен S имеет сертификаты ФСТЭК по НДВ 3, а Рутокен ЭЦП по НДВ 4, это решение может применяться в информационных системах, обрабатывающих конфиденциальную информацию, вплоть до информации с грифом «С».

В продолжение давней темы про использование двухфакторной аутентификации в ОС GNU/Linux позвольте рассказать про схему работы и настройку аутентификации с помощью Kerberos. В этой статье мы рассмотрим процесс настройки MIT Kerberos для аутентификации пользователей по сертификатам и ключевым парам, находящимся на USB-токене. Также материалы, изложенные в статье, можно использовать для настройки аутентификации в домене Windows.

В этой статье я попытаюсь описать терминологию, используемую для описания систем, способных исполнять несколько программ параллельно, то есть многоядерных, многопроцессорных, многопоточных. Разные виды параллелизма в ЦПУ IA-32 появлялись в разное время и в несколько непоследовательном порядке. Во всём этом довольно легко запутаться, особенно учитывая, что операционные системы заботливо прячут детали от не слишком искушённых прикладных программ.



Используемая далее терминология используется в документации процессорам Intel. Другие архитектуры могут иметь другие названия для похожих понятий. Там, где они мне известны, я буду их упоминать.

Цель статьи — показать, что при всём многообразии возможных конфигураций многопроцессорных, многоядерных и многопоточных систем для программ, исполняющихся на них, создаются возможности как для абстракции (игнорирования различий), так и для учёта специфики (возможность программно узнать конфигурацию).

КРОК — одна из самых больших в России компаний по построению IT-инфраструктур. У нас в год 2000+ проектов, из которых 200 штук — с бюджетом больше миллиона. Долларов. Внутри этой огромной компании есть мой небольшой отдел, который занимается тем, что ставит open source для крупных заказчиков.

Нередко приходится сталкиваться с мнением, что open source — это кривые поделки гаражных программистов. Мы работаем только с нормальным рабочим ПО; помогаем подобрать оптимальные варианты решений для инфраструктуры и обеспечиваем поддержку там, где производитель по очевидным причинам сделать этого не может. Это — не самая простая работа, в основном, связанная с мифами и легендами про открытое ПО.

Но к чёрту детали, давайте покажу, что и как можно поставить на рабочие места, сервера, в облако, для СУБД, VDI и серверов приложений. И про галстук.

Система классификации Tier, разработанная Uptime Institute для оценки надежности дата-центров, приближается к рубежу в два десятилетия. Со времени своего создания в середине 90-х гг. система прошла путь от общей терминологии до глобального стандарта проверки инфраструктуры дата-центров.

В моем случае, в качестве frontend сервера, стоит nginx и формат access-лога имеет вид:

log_format main '$remote_addr — $remote_user [$time_local] "$host" "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" -> $upstream_response_time';

Что на выходе дает что-то вроде такой строки:

188.142.8.61 — - [14/Sep/2014:22:51:03 +0400] «www.mysite.ru» «GET / HTTP/1.1» 200 519 «6wwro6rq35muk.ru» «Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.191602; .NET CLR 3.5.191602; .NET CLR 3.0.191602» "-" -> 0.003

1. tail -f /var/log/nginx/nginx.access.log | cut -d ' ' -f 1 | logtop

Позволяет получить общую картину: распределение уникальных IP, с которых идут запросы, кол-во запросов с одного IP и т.д.
Самое ценное — что все это работает в режиме реального времени и можно мониторить ситуацию, внося какие-либо изменения в конфигурацию (например просто забанить ТОП 20 самых активных IP через iptables или временно ограничить географию запросов в nginx через GeoIP http://nginx.org/ru/docs/http/ngx_http_geoip_module.html).

Коллеги, возникло желание поделиться практическим опытом эксплуатации сред виртуализации и связанных с ними систем.

В данной статье речь пойдет об особенностях работы систем хранения данных. В принципе, данная информация относится и к физическим серверам, использующим системы хранения, но в основном речь пойдет все же про виртуализацию, и про VMWare в частности.

Почему VMWare? Все просто, я являюсь специалистом по данной среде виртуализации, имею статус VCP5. Продолжительное время работал с крупными заказчиками и имел доступ к их системам.

Итак, начнем с истоков. Я постараюсь не напрягать читателей заумными словами и сложными выкладками. Не все являются специалистами в области, а материал может пригодиться многим.

Доброго времени суток всем!

Я уже писал о своем опыте работы с WebRTC тут, но учитывая то, что в последнее время всё больше статей на эту тему появляется на хабре и то, что я давно хотел написать о том, как мы добились стабильной работы SIP телефонии через WebRTC на продакшне, я решил написать через что мы прошли.

А прошли мы через многое: боль, панику, истерики, кучу матов и пожелания добра мейнтейнерам.
Сейчас же это всё в прошлом. Мы избавились от всех костылей, которые мы делали, и сделали так, чтобы операторы звонили и всё работало стабильно.
В статье, я как можно подробнее описал все проблемы, с которыми мы сталкивались, используя как можно меньше кода и конфигов.

Кому интересно, прошу под кат.

История интернет телефонии и технологии VoIP началась гораздо раньше, чем думает большинство пользователей сети. Кроме того, темпы развития данной области значительно опережают другие коммуникационные технологии, уступая разве что смартфонам. У VoIP богатая история, в которой нашлось место великим личностям, правительственным агентствам и образовательным учреждениям — к развитию технологии приложили свои усилия множество интересных людей и организаций.

1928 год: Технологические истоки VoIP

В 1925 году компания AT&T, которая тогда была, по сути, единственным игроком рынка телефонных коммуникаций, открыла подразделение Bell Laboratories, в чьи задачи входило изобретение и дальнейшая разработка технологий связи, которые бы позволили бы компании улучшить свой сервис. В 1928 году Гомер Дадли (Homer Dudley) создал первый электронный синтезатор голоса, получивший название вокодер. Вокодер анализировал звуки, издаваемые ртом и связками человека, и умел воспроиводить их, что выливалось в аналог речи. Принцип работы вокодера можно сравнить с нынешними технологиями передачи пакетов, в ходе работы которых на одном телефоне записываются образцы звука, воспроизводимые затем на другом устройстве. Позднее во время Второй мировой войны вокодер использовался для передачи зашифрованных сообщений, а всемирную славу получил десятки лет спустя, когда его стали использовать музыканты вроде Kraftwerk.

На прошлой неделе мы рассказали о прямых SIP-звонках. Но как говорится, статью написать это не фейсбук создать, поэтому представляем вашему вниманию web-сервис прямых SIP-звонков.

Месяц назад я начал свое знакомство с IP-телефонией, а именно с Lync и Asterisk. И заметил следующую картину: в сети очень много интересных статей по практической стороне вопроса (как и что делать) и очень мало внимания уделено теории (в конце статьи приведены ссылки). Если Вы хотите разобраться с SIP, то извольте либо читать RFC 3261, либо одну из «этих толстых книг». Это, естественно, полезно, но многим хочется в начале изучить некую выжимку, а уж потом бросаться в омут с головой. Эта статья как раз для таких людей.

В предыдущей статье мы рассмотрели простое взаимодействие клиентов SIP без использования Proxy-сервера. Такое взаимодействие на практике встречается чрезвычайно редко, но отлично подходит для того, чтобы понять основы SIP.

Теперь, когда мы разобрались с базовыми вещами, предлагаю перейти к реальной работе протокола.

Zabbix + Iostat: мониторинг дисковой подсистемы.

Зачем?
Дисковая подсистема одна из важных подсистем сервера и от уровня нагрузки на дисковую подсистему зачастую зависит очень многое, например скорость отдачи контента или то как быстро будет отвечать база данных. Это в большей степени относится к почтовым или файловым серверам, серверам БД. Вобщем, показатели дисковой производительности отслеживать нужно. На основании графиков производительности дисковой подсистемы мы можем принять решение о необходимости наращивания мощностей задолго до того как петух клюнет. Да и вобще полезно поглядывать от релиза к релизу как работа разработчиков сказывается на уровне нагрузки.

Под катом, о мониторинге и о том как настроить.

Сегодня мы вам хотим рассказать о еще одном продукте нашего производства: СХД ETegro Fastor FS200 G3. Его основной и крайне привлекательной, как мы считаем, чертой является то, что он является отказоустойчивым сервером хранения, построенным на двухузловом кластере под управлением Windows Storage Server 2012.