Как объяснить контейнеру docker-а сколько у него есть ресурсов?

К написанию этой небольшой заметки меня подтолкнула статья-перевод Java и Docker: это должен знать каждый и скудный на результаты поиск информации по теме. Я давно использую LXC, который тоже ограничивает ресурсы контейнеров средствами cgroup, и там эта проблема уже решена.

Введение

Начну с конца. Это скриншот с некой web-карты, визуализирующей среднюю стоимость недвижимости на вторичном рынке Саратова и Энгельса:



Цвета на карте можно соотнести с цветами на «легенде», цвет на «легенде» соответствует средней стоимости квадратного метра общей площади в тысячах рублей.

Точка на карте соответствует одному предложению по продаже (на вторичном рынке) квартиры с Авито. Всего таких точек, как видно на «легенде», для построения графика использовалось 4943.
Карта в интерактивном виде доступна на GitHub.

А теперь немного предыстории..

Давным-давно…

Привет, Хаброжители! Настало время для очередной распродажи. Подробности внутри.

Проект в Новосибирске

У нас сейчас открыли набор менеджеров проектов для разных инженерных задач. Очень часто стажёры спрашивают, каково это — вырасти от внештатного «админа на выезде» до замдиректора департамента. Я расскажу. Сразу предупреждаю: романтики дальше не очень много, а вот жести и тупой повторяющейся работы — очень даже.

В 2006 году мой коллега Алексей, мой бывший староста группы (он сейчас менеджер проектов у нас), подошёл ко мне, студенту-пятикурснику, и сказал:
— Хочешь денег заработать?
Я работал со второго курса и зарабатывал 300–400 рублей в день. Следующая фраза меня просто поразила:
— Есть такой КРОК. Компьютерами занимаются. Оплата пока не самая высокая, 1000 рублей в день. Но работа интересная. Я уже попробовал, платят вовремя.

Я сразу представил, сколько гречки, картошки и макарон у меня будет в конце месяца, и решил, что упускать шанс нельзя.

15 марта в питерском офисе Wrike прошла встреча автотестировщиков. Поговорили о новых эффективных подходах и инструментах в сфере автоматизации тестирования, оценили их применимость в тех или иных кейсах и спешим поделиться записью докладов и презентациями.

Discord продолжает расти быстрее, чем мы ожидали, как и пользовательский контент. Чем больше пользователей — тем больше сообщений в чате. В июле мы объявили о 40 млн сообщений в день, в декабре объявили о 100 млн, а в середине января преодолели 120 млн. Мы сразу решили хранить историю чатов вечно, так что пользователи могут вернуться в любой момент и получить доступ к своим данным с любого устройства. Это много данных, поток и объём которых нарастает, и все они должны быть доступными. Как мы это делаем? Cassandra!

Привет, Хабр! Это снова Larian Studios. Нас очень тронул теплый прием и интерес, оказанный жителями Хабра нашей прошлой публикации, и поэтому, не теряя времени, мы решили написать что-нибудь еще.

В этот раз слово возьмет святая святых наших студии — отдел писателей и сценаристов. Так как по-русски они говорят еще не очень хорошо, я послужу переводчиком статьи, написанной специально для Хабра нашей писательницей Charlene Putney alphachar.

Charlene описала, из чего состоит жизнь сценариста в игровой студии, и зачем вообще они нужны и чем занимаются.

Так как это текст о писателях — картинок будет мало, а букв много.

Любой язык — начиная от математики и музыки и заканчивая механикой и программированием — позволяет творить достаточно странные штуки. Вот несколько просто примеров того, как восхитительно можно пользоваться такими возможностями.

У нас есть квайны (вики) — программы, которые выводят собственный исходный код. Композитор в какой-то жизненный момент, судя по всему, поспорил с одним своим немецким товарищем, и написал свой аналог квайна. В музыке это — произведение, которые можно проиграть «впрямую» и обратную сторону. В данном случае — два скрипача играют дуэтом, глядя на лист с разных сторон. Вот подобная штука:


Послушать можно вот тут.

Юристы — это вообще песня. Их профессия, пожалуй, наиболее близка к разработке кода, разве что в роли кода выступают люди.

Я — девочка-пиарщик. С экономическим образованием и рекламно-маркетинговым прошлым. Я продвигаю, продаю, консультирую и т.д. корпоративное ПО определённого типа. Когда-то давно я начинала свои посты на разных сайтах со слов «ООО «Ромашка» берёт своё начало в бурных 90-х…» Мне за это не стыдно, это был опыт, который я получала вместе с техническими навыками. Я вижу, насколько редко бывают успешными посты в потоке Маркетинг. И хочу верить, что только потому, что все мы боимся делиться своими профессиональными секретами. А может, не поэтому? В общем, пора поговорить по душам.

Специалист по низкоуровневой оптимизации приложений, Саша Гольдштейн, в рамках своего доклада на JPoint немного отклонится от привычной тематики .NET и расскажет об инструментарии, помогающем бороться за производительность Java приложений под Linux. Что это за инструмент, кому он нужен и зачем, мы решили узнать заранее и взяли у Саши интервью.

JUG.Ru Group: Расскажите, пожалуйста, пару слов о себе и своей работе?

Саша Гольдштейн: Меня зовут Саша Гольдштейн, последние 10 лет я работаю в израильской консалтинговой компании Sela в качестве CTO.
Моя работа сфокусирована на вопросах оптимизации производительности, диагностике на продакшн, мониторинге и всевозможных низкоуровневых задачах.
Моя типичная рабочая неделя наполнена самыми разными задачами: я преподаю, исправляю ошибки или проблемы производительности для клиентов, а также работаю над внутренними проектами. Также я вхожу в программный комитет пары конференций: нашей собственной SDP (Тель-Авив, Израиль), а также DotNext (Москва и Санкт-Петербург, Россия), что на удивление занимает довольно много времени.

«Производительность большинства приложений определяется не железом или средой исполнения» – Sasha Goldshtein о мониторинге производительности Java под Linux

Тиньков в Facebook пылит и дразнит, когда же он деньги делает? А чем вы хуже? Олег Тиньков не один такой, но активных в соцсетях крупных бизнесменов действительно мало. За них там тусуют пиарщики. У Марка Цукерберга команда личных сммщиков 14 человек.

А в целом: хочешь быть бедным — туси в сети, хочешь быть уволен — туси в сети (если ты конечно не Ким Кардашьян, Иван Рудской-EeOneGuy или Анатолий Шарий). Такие стеореотипы гуляют по умам и иногда публично озвучиваются уважаемыми иностранными газетами в наукоподобном стиле.

Хорошая новость — никакой научной базы под этим нет. Вывод про абсолютный вред соцсетей — такой же случай ошибочной индукции как вред порнографии или польза гомеопатии.

У каждого из нас есть по несколько друзей молодого или нестарого возраста, кто напрочь отсутствует в соцсетях. Даже в крупных городах. А всего по данным опросов в стране таких 40 процентов. И хотя их число потихоньку сокращается, чувствуют себя они прекрасно и никак от залогиненных в сетях не отличаются.

Пьеса «Технический долг» в 9 частях. Ставится и показывается впервые.

Часть 0: В пустой комнате стоят Разработчик (Р) и Менеджер (М).

М: Я собрал нас тут, чтобы рассказать пренепреятнейшее известие: система КРОТОПОН, которая работает на продакшане заглючила и мы потеряли кучу денег. Кроме того нет никого, кто знает как она работает. Поэтому (с придыханием) наш СЕО дал мне священную миссию — написать новую систему. Как ты думаешь, за два месяца справишься?

Р: А что делать-то нужно?

М: Да там немного, всего лишь пару десятков систем связать и рюшечки навесить.

Р: Эй, да это же на год работы! И вообще требования будут?

М: (В телефон) Да, конечно, за пол года справимся. (Разработчику) Ну ты тут пока начинай, а я тебе требования потом донесу.

Менеджер уходит.

Р: Но тут же…

Разработчик тяжело вздыхает, затаскивает в комнату инструменты и начинает что-то сооружать.

В этой статье я публикую в свободный доступ мой тестер и измеритель 8шт часовых аккумуляторов-таблеток форм-фактора CR2032. Надеюсь, он пригодится тем, кто делает портативную электронику и различный IoT. В статье я опишу схему моего тестера и расскажу как он работает. Приведу результаты измерения аккумуляторов LIR2032. И проверю восемь CR2032 от разных производителей. Также поделюсь богатым опытом: какие аккумуляторы лучше не брать, а какие — хорошие. Бонусом распишу опасные моменты: и как самому не пострадать и не сжечь дом, как это любит делать Креосан.

Сейчас идут корпоративы, где мы работаем. На них часто случается какой-нибудь косяк: то людей окажется больше, чем планировалось, то свет отключат, то — самое драматичное — алкоголь не подвезут вовремя. Или наоборот, звукари нажрутся и запрутся у себя в комнатке. Поэтому аниматоры возят с собой «аварийные» чемоданы — штуки, где очень компактно уложены игры, которые могут выручить в любой компании в любой ситуации. Плюс знают кучу развлекалок, в которые можно играть просто так, без всего.

Я собирал нечто похожее, но куда, куда компактнее, когда собирался в Гренландию. Ну и, собственно, сейчас покажу, как мы используем настольные игры покомпонентно, без, собственно игры.

В конце есть минимальный набор картинок с играми для того, чтобы сохранить на телефон для вас. Поэтому пост носит оттенок подготовки к новому году.

Итак, первая основа хорошей компрессии — многие вещи требуют одинакового набора генераторов случайных чисел и таймеров. Значит, можно обойтись, например, одним кубиком d20 и одними песочными часами. Или вообще телефоном, если нужно добиться сжатия с потерями.

Запуск Raspberry Pi с полной поддержкой графики на microSD, навсегда остающейся в режиме read-only после установки системы. Отсутствие какой-либо записи данных на флэш-память повышает надёжность устройства, приближая его к промышленному классу изделий. Пошаговая инструкция. Небольшой театр инженерного абсурда для развлечения аудитории.

Мне понадобилось сетевое устройство с открытым кодом и выходом HDMI, и я решил попробовать Малиновый Прог. Да, я именно так предлагаю переводить Pi: Прог. Понятное дело, даже одноплатнику нужна операционка. И вот, захожу я на официальный сайт, ожидая встретить там подробное руководство по созданию суровой, неломаемой Вещи à la turnkey box. Но народ, как ни в чём не бывало, устанавливает Ubuntu (т.е. Raspbian Jessie) прямо на microSD, размещая и swap там же. Как обычный десктоп, face palm.

Но то цветочки. Малиновые ягодки — это проекты фоторамок из МалинПрога, требующие обязательного выключения кнопкой. Иначе фоторамка после сбоя питания может не заработать, вместо картинок предлагая воспользоваться fsck. Но и это не предел, под катом читателя ждёт настоящий шедевр инженерного абсурда, найденный автором на просторах сети.

Итак, по стандартной инструкции нормальный одноплатник превращается в раздутый десктоп со средним временем жизни год-полтора, пока изношенная флэшка не сдохнет, превратив в общем-то хороший девайс в кирпич. И большинство людей, похоже, это вполне устраивает. Меня — нет.

В следующем году впервые у нас в стране пройдет международная конференция DevOpsDays. Думаю, ещё не раз, здесь, и на других площадках читатели увидят зазывающие статьи и рекламные акции. Поэтому, хочу выделить важные моменты, ради которых я и пишу эту заметку. Сейчас организаторы принимают доклады и ищут спонсоров. Прошу внимания всех тех, кто хочет выступить с докладом или провести какую-то рекламную акцию.

Почему я про это рассказываю? Мы тоже хотим участвовать в этой конференции, и я уже отправил на рассмотрение свою тему доклада. Присоединяйтесь!

Предыстория

Прожорливый Bind9

Пришлось мне пару лет назад покинуть свой родной дом и переехать в другой город. В результате свой самосборный медиа-центр пришлось оставить, а на новом месте купить телеприставку AuraHD Plus. Весьма не плохой девайс за свои деньги, особенно если учесть, что в нем встроены приложения для доступа к сервисам с фильмами и т.п.

Все бы ничего, но реклама там крутится на каждый чих. Пришлось изобретать, как же ее "порезать". Первая мысль была — поднять свой DNS сервер и отправлять все неугодные домены в /dev/null на 127.0.0.1. К этому моменту мой домашний серверок вернулся ко мне и занял свое почетное место на шкафу в качестве NAS сервера.

Сказано — сделано. Поднят Bind9, прописаны конфиги для нескольких доменов, все отлично. Летим.

В сети появился сайт, содержащий БД с номерами телефонов и их владельцами. По некоторым номерам даже есть адрес прописки.

Программа конференции Linux Piter 2016, которая пройдет 11-12 ноября этого года в Питере, сформирована на 95%. В этом году на Linux Piter намного больше англоязычных докладчиков, чем было в прошлом году, да и темы, пожалуй, еще более интересные.



Подразделы конференции устроены следующим образом:

• Во-первых это презентации, так или иначе связанные с ядром Linux – 5 штук, включая два доклада про управление энергопотреблением.
  
• Во-вторых контейнеры и кластеры – 3 доклада, включая обзорную презентацию о лёгкой виртуализации и доклад про создание собственной промышленной PaaS на коленке из подручных компонент.
  
• В третьих – пара выступлений про встроенные системы с подробным рассказом про устройство современного отладчика.
  
• Дальше 3 топика про сети, включающие объяснение на пальцах бутылках что такое buffer bloat и рассказ о новостях в TCP/IP стеке.
  
• И в конце немного DevOps’а с тулами для измерений производительности систем и админка.
  

Под катом немного подробнее…

Александр Крижановский (NatSys Lab.)

Нас сегодня будет интересовать операционная система – ее внутренности, что там происходит… Хочется поделиться идеями, над которыми мы сейчас работаем, и отсюда небольшое вступление – я расскажу о том, из чего состоит современный Linux, как его можно потюнить?

По моему мнению, современная ОС – это плохая штука.

Дело в том, что на картинке изображены графики сайта Netmap (это штуковина, которая позволяет вам очень быстро захватывать и отправлять пакеты сетевого адаптера), т.е. эта картинка показывает, что на одном ядре с разной тактовой частотой до 3 ГГц Netmap позволяет 10 Гбит – 14 млн. пакетов в сек. отрабатывать уже на 500 МГц. Синенькая линия – это pktgen – самое быстрое, что, вообще, есть в ядре Linux’а. Это такая штуковина – генератор трафика, который берет один пакет и отправляет его в адаптер много раз, т.е. никаких копирований, никакого создания новых пакетов, т.е., вообще, ничего – только отправка одного и того же пакета в адаптер. И вот оно настолько сильно проседает по сравнению с Netmap (то, что делается в user-space показано розовой линией), и оно вообще где-то там внизу находится. Соответственно, люди, которые работают с очень быстрыми сетевыми приложениями, переезжают на Netmap, Pdpdk, PF_RING – таких технологий море сейчас.