Облачные файловые хранилища продолжают набирать популярность, и требования к ним продолжают расти. Современные системы уже не в состоянии полностью удовлетворить все эти требования без значительных затрат ресурсов на поддержку и масштабирование этих систем. Под системой я подразумеваю кластер с тем или иным уровнем доступа к данным. Для пользователя важна надежность хранения и высокая доступность, чтобы файлы можно было всегда легко и быстро получить, а риск потери данных стремился к нулю. В свою очередь для поставщиков и администраторов таких хранилищ важна простота поддержки, масштабируемость и низкая стоимость аппаратных и программных компонентов.

Знакомьтесь: Ceph

Ceph — это программно определяемая распределенная файловая система с открытым исходным кодом, лишенная узких мест и единых точек отказа, которая представляет из себя легко масштабируемый до петабайтных размеров кластер узлов, выполняющих различные функции, обеспечивая хранение и репликацию данных, а также распределение нагрузки, что гарантирует высокую доступность и надежность. Система бесплатная, хотя разработчики могут предоставить платную поддержку. Никакого специального оборудования не требуется.



При выходе любого диска, узла или группы узлов из строя Ceph не только обеспечит сохранность данных, но и сам восстановит утраченные копии на других узлах до тех пор, пока вышедшие из строя узлы или диски не заменят на рабочие. При этом ребилд происходит без секунды простоя и прозрачно для клиентов.

В общем, как я уже читал тут в комментах: «целые статьи пишут на то, как добавить 5 символов и пробел в конфиг». Все бы хорошо, если бы не google chrome. Они решили прекратить поддержку SPDY и NPN(кому интересно, вот комментарий chromium по этому поводу).

На сегодняшний день процедура реализации «failover» в Postgresql является одной из самых простых и интуитивно понятных. Для ее реализации необходимо определиться со сценариями файловера — это залог успешной работы кластера, протестировать его работу. В двух словах — настраивается репликация, чаще всего асинхронная, и в случае отказа текущего мастера, другая нода(standby) становится текущем «мастером», другие ноды standby начинают следовать за новым мастером.

На сегодняшний день repmgr поддерживает сценарий автоматического Failover — autofailover, что позволяет поддерживать кластер в рабочем состоянии после выхода из строя ноды-мастера без мгновенного вмешательства сотрудника, что немаловажно, так как не происходит большого падения UPTIME. Для уведомлений используем telegram.

Появилась необходимость в связи с развитием внутренних сервисов реализовать систему хранения БД на Postgresql + репликация + балансировка + failover(отказоустойчивость). Как всегда в интернете вроде бы что то и есть, но всё оно устаревшее или на практике не реализуемое в том виде, в котором оно представлено. Было решено представить данное решение, чтобы в будущем у специалистов, решивших реализовать подобную схему было представление как это делается, и чтобы новичкам было легко это реализовать следуя данной инструкции. Постарались описать все как можно подробней, вникнуть во все нюансы и особенности.

Видеохостинг YouTube — второй по посещаемости сайт в мире. Его смотрят с умных телевизоров, игровых и телевизионных приставок, настольных компьютеров и ноутбуков, планшетов и смартфонов. Не все из этих устройств требуют одинаковой картинки. Сетевая природа сервиса и потокового видео предполагает, что на сайте должны быть доступны опции просмотра в разном качестве.

Качество картинки на YouTube варьируется от 144p (144 строчки в прогрессивной развёртке) до 8K 4320p. Последнее видео в четыре раза крупнее 4К 2160p, в шестнадцать — 1080p, в тридцать шесть — 720p, который также называют HD.


Мало какой компьютер может проиграть это видео в его полном разрешении, а доступных по цене 8K-мониторов в мире просто нет.

Технология MPEG-DASH разбивает контент на куски, а браузер запрашивает эти сегменты автоматически. Логично хранить и отдавать отдельно видео и звук. У DASH есть жирный плюс: адаптивность воспроизведения.

Несколько лет назад пользователи YouTube заметили введение DASH по тому, что буферизация видео больше не шла до конца ролика, а ограничивалась примерно минутой. Около того же времени другая проблема возникла у скачивающих видео с YouTube. Внезапно обнаружилось, что ролики с качеством 1080p доступны в виде файлов без звука. Сайты-сервисы, которые раньше выдавали ссылки на скачивание видео, отдавали лишь 720p, не выше. Около 1080p стояло «без звука» или «только видео».

Как устроена загрузка современных ОС? Как при установке системы настроить загрузку посредством UEFI, не утонув в руководствах и ничего не сломав?

Я обещал "самое краткое руководство". Вот оно:

1. Создаём на диске таблицу разделов GPT
2. Создаём FAT32-раздел на пару сотен мегабайт
3. Скачиваем из интернета любой UEFI-загрузчик
   (нам нужен сам загрузчик, это один бинарный файл!)
4. Переименовываем и кладем этот файл на созданный раздел по адресу /EFI/Boot/bootx64.efi
5. Создаём текстовый конфиг, кладем его там, где загрузчик ожидает его увидеть
   (настройка и местоположение конфига зависят от конкретной реализации загрузчика, эта информация доступна в интернете)
6. После перезагрузки видим меню загрузчика
   (Если на диске установлена Windows 8 или 10 — с большой вероятностью это руководство сокращается до пунктов 3 — 5.)

TL;DR не надо прописывать путь к загрузчику в новых загрузочных записях UEFI — надо файл загрузчика расположить по стандартному "пути по-умолчанию", где UEFI его найдет, и вместо загрузочного меню UEFI пользоваться меню загрузчика, которое гораздо проще и безопаснее настраивается

Привет! Мы – техническая поддержка хостинг-провайдера FASTVPS. Компания работает уже больше 10 лет, так что, возможно, вы о нас уже где-то слышали. FASTVPS предоставляет в аренду виртуальные серверы VPS/VDS и выделенные dedicated серверы.

У нас есть собственный дата-центр в Эстонии, собственное оборудование на co-location в Санкт-Петербурге (Selectel), ну и конечно выделенные серверы в HETZNER Online, а также собственное оборудование в США (Сolo, Атланта).

Всего на обслуживании примерно 16 000 виртуальных и выделенных серверов и немногим меньше самых разных клиентов (но всех мы любим одинаково!).

Мы в Одноклассниках занимаемся поиском узких мест в инфраструктуре, состоящей более чем из 10 тысяч серверов. Когда мы слегка задолбались мониторить 5000 серверов вручную, нам понадобилось автоматизированное решение.

Точнее, не так. Когда в седой древности появился примерно 20-й сервер, стали использовать Big Brother — простейший мониторинг, который просто собирает статистику и показывает её в виде мелких картинок. Всё очень, очень просто. Ни приблизить, ни как-то ввести диапазоны допустимых изменений нельзя. Только смотреть картинки. Вот такие:


Два инженера тратили по одному рабочему дню в неделю, просто отсматривая их и ставя тикеты там, где график показался «не таким». Понимаю, звучит реально странно, но началось это с нескольких машин, и потом как-то неожиданно доросло до 5000 инстансов.

Поэтому мы сделали новую систему мониторинга — и сейчас на работу с 10 тысячами серверов тратим по 1-2 часа в неделю на обработку алертов. Расскажу, как это устроено.

С 21 октября 2016 на UltraVDS была включена возможность добавления видеокарт к арендуемым серверам. Такой функционал стал возможным с выходом Windows Server 2016, включающая в себя обновлённую среду виртуализации Hyper-V.

Мне показалось, что в первой части о специфики жизни Кореи я писал слишком негативно. Но затем дал почитать статью друзьям, которые жили или живут в Корее и они сказали, что все ок… Мол, это еще демократично.

Оборачиваясь назад и смотря на мои 2+ года в этой азиатской стране, я в целом считаю их не самыми продуктивными. На ум приходит много печального опыта от ужасного корейского национализма до невозможности получить нормальную задачу на работе. Но стоит отметить, что я очень активный по жизни человек и если бы все было плохо, я бы уехал оттуда через несколько месяцев. Значит, что-то меня там держало.

Реализация инфраструктуры 1С на базе Linux тема древняя, но до сих пор актуальная. Мы недавно публиковали статью Сервер приложений 1С на Linux, но остался открытым вопрос реальной производительности в сравнении с решением под Windows. Тестирование проводилось и в ручном режиме, но для объективности результатов я опубликую итоги теста Гилева, прошедшего на одной и той же аппаратной платформе с использованием разных ОС: Linux CentOS 7 и MS Windows Server 2012.

В качестве сервера использовался стенд с двумя процессорами Intel Xeon E5-2670, 8х4Гб ОЗУ и SSD Intel.

Идею облачных сервисов применительно к бизнес-приложениям можно сформулировать так: перенос сервера приложений из локальной сети организации в Интернет. Пользователи продолжают использовать привычный софт, запуская нативный или веб-клиент на своем компьютере, но для работы теперь им достаточно иметь только подключение к Интернету, и не нужно входить в локальную сеть организации (физически или через VPN). А в случае варианта SaaS провайдер облачных услуг, на чьих вычислительных мощностях развернут сервер приложений, также берет на себя и всю работу по администрированию и обновлениям приложений, избавляя конечного пользователя от этих забот.

Картинка для привлечения внимания: автор статьи с помощью подручных средств (облака, флаг, самолет, парашют) иллюстрирует тезис «1С в облаках».

С давних пор для второго шага аутентификации мы использовали одноразовые пароли отправляемые через СМС. Такой функционал появился в Redmine в 2013, когда мы разработали плагин redmine_sms_auth. Об этом мы писали в давней статье.

Но время не стоит на месте. Мы активно внедряем Telegram в бизнес-процессы компании (раз, два, три).

В связи с этим решили сделать аутентификацию через Telegram в Redmine. Заодно с этим переписать старый плагин про СМС и добавить поддержку Google Authenticator.

Далее мы расскажем о том как установить, настроить и использовать этот плагин.

Александр Крижановский (NatSys Lab.)

Нас сегодня будет интересовать операционная система – ее внутренности, что там происходит… Хочется поделиться идеями, над которыми мы сейчас работаем, и отсюда небольшое вступление – я расскажу о том, из чего состоит современный Linux, как его можно потюнить?

По моему мнению, современная ОС – это плохая штука.

Дело в том, что на картинке изображены графики сайта Netmap (это штуковина, которая позволяет вам очень быстро захватывать и отправлять пакеты сетевого адаптера), т.е. эта картинка показывает, что на одном ядре с разной тактовой частотой до 3 ГГц Netmap позволяет 10 Гбит – 14 млн. пакетов в сек. отрабатывать уже на 500 МГц. Синенькая линия – это pktgen – самое быстрое, что, вообще, есть в ядре Linux’а. Это такая штуковина – генератор трафика, который берет один пакет и отправляет его в адаптер много раз, т.е. никаких копирований, никакого создания новых пакетов, т.е., вообще, ничего – только отправка одного и того же пакета в адаптер. И вот оно настолько сильно проседает по сравнению с Netmap (то, что делается в user-space показано розовой линией), и оно вообще где-то там внизу находится. Соответственно, люди, которые работают с очень быстрыми сетевыми приложениями, переезжают на Netmap, Pdpdk, PF_RING – таких технологий море сейчас.

2 года назад передо мной встала задача реализовать удаленное управление обогревательными приборами в своем загородном доме. В данной статье я хочу поделиться моим вариантом автоматизации и удаленного управления, к которому я в итоге пришел. Постараюсь охватить весь процесс и подробности создания этого хобби-проекта и поделиться всеми сложностями, с которыми пришлось столкнуться. В процессе реализации, как видно из названия статьи, я использовал Noolite (о нем расскажу в статье), Telegram и совсем немного Python.

Изображение: Айван Бакула.

Между датой 10 сентября 2016 года и 10 октября 2007 года — 3258 дней. Между 10 октября 2007 года и 8 ноября 1998 года — те же 3258 дней. Каково значение этих вычислений? Приведённая дата в 1998 году — это день выхода Half-Life. Дата из 2007 года — день выхода Half-Life 2: Episode 2. С момента релиза последней из существующих игр серии прошло уже больше времени, чем между выходом первой и последней игр.

Valve так и не закончила сюжетную линию своей первой игры, а известных планов на продолжение нет. Вместо этого компания предпочитает заниматься сервисом игровой дистрибуции Steam, шляпами для разнообразных мультиплееров и виртуальной реальностью. Последняя игра Valve вышла в 2013 году.

Чтобы попробовать понять, почему так происходит, нужно копнуть в самое начало Valve. Ниже 1996 года, ещё во времена совсем другой компании.

После разработки кастомного загрузчика для своего телефона мне захотелось реализовать вывод ядерных логов на дисплей, как это умеют делать десктопные дистрибутивы Linux. А всё потому, что лично мне при загрузке телефона намного интереснее наблюдать мелькающие kmsg логи, нежели наблюдать сначала логотип загрузчика, а затем ещё и бут-анимацию Android системы. За два года «скучные обоины» уже приелись.

Сейчас попытаюсь вкратце рассказать о модуле LLCON для Android ядра, который реализует низкоуровневый вывод kmsg логов на дисплей.

Программно-управляемые сети (SDN) и виртуализация сетевых функций (NFV) постепенно выходят из лабораторий разработки и занимают свое место в рабочей среде: это более дешевые, более быстрые и более гибкие альтернативы традиционному сетевому оборудованию.
В свое время виртуализация преобразовала возможности развертывания ОС и приложений. Аналогичным образом NFV на уровне 4 и выше (уровень управления) и SDN на уровнях 2 и 3 (управление движением пакетом) преобразуют возможности управления сетевым трафиком с использованием уже существующего оборудования и операционных систем, как проприетарных, так и с открытым исходным кодом. В этой области платформа OPNFV, включая Intel Open Network Platform (ONP) Server (эталонная архитектура), поможет быстро приступить к проектированию и тестированию сети. Используйте инструкции для первоначальной настройки с помощью стандартных существующих серверных платформ с процессорами от Intel Atom до Intel Xeon.

Минимум 3000 сайтов на 1000 серверов скомпрометировано на уровне супер-пользователя.

Несколько дней назад мы обнаружили, что файлы наших сайтов были не санкционировано изменены. Оказалось — взлом. Вроде бы ничего интересного, но в результате небольшого расследования нам удалось обнаружить сотни взломанных серверов в сети FirstVDS.

Основной целью злоумышленника является реклама казино «Вулкан». Из инфицированных сайтов он создает перелинкованные друг с другом ссылочные сети с рекламными веб-страницами, тем самым влияя на алгоритмы поисковых систем. Эти страницы завлекают ботов по запросам вроде «лучшее казино в интернете», и при переходе пользователя на такую страницу, его переносят в казино. Работа оригинального сайта, как правило, полностью не нарушается, и поэтому проблемы остаются незамеченными администраторами большинства серверов.

Это негативно сказывается на поисковой оптимизации сайтов. Поисковики понижают позиции инфицированных сайтов и рекламные бюджеты улетают в трубу. Кроме того, взломанные серверы работают в режиме нештатной нагрузки, что влияет на их стабильность.

Обнаруженные серверы являются полностью скомпрометированными. Нет никаких гарантий, что файлы и данные не украдены, или не внедрена лазейка для удержания контроля над сервером в будущем, после лечения сайтов.

Поиск, адаптация и работа сотрудников служб технической поддержки стала темой для встречи руководителей и специалистов технической поддержки российских ИТ-компаний. Мероприятие проходило в Санкт-Петербурге на базе офиса компании Wrike. Участниками первого support-семинара стали представители более чем 20 компаний, в их числе: Parallels, Wrike, IT Summa, Git in Sky, Virtuozzo, Yota.

В статье вы найдете ссылки на презентации спикеров. Видео запись докладов вы можете посмотреть по ссылке, а запись всего митапа доступна здесь.

В этой статье описывается настройка ограничения скорости входящего трафика для интерфейса Data Plane Development Kit (DPDK) в Open vSwitch (OVS) с DPDK. Эта статья предназначена для сетевых администраторов, которые могут использовать ограничение скорости Open vSwitch, чтобы обеспечить гарантированную скорость приема для портов DPDK на развернутых серверах Open vSwitch. Эта статья дополняет статью Настройка и использование качества обслуживания для Open vSwitch* с DPDK, поскольку ограничение скорости и качество обслуживания действуют соответственно в трактах приема и передачи, используя уникальные команды API для настройки и работы.