Автор статьи — программист с шестнадцатилетним стажем работы — был поставлен перед невозможностью подолгу сидеть за компьютером (как поступают многие из нас). В этой статье он рассказывает о том, как организовать свою рабочий процесс так, чтобы частые перерывы не вредили возможности сосредоточиться на работе и эффективности труда. В принципе достаточно известные вещи, но лично для меня стали новостью инвертирование приоритетов и сам факт того, что можно работать отвлекаясь и при этом не терять ход мысли.

Я не могу безболезненно сидеть за столом дольше часа подряд, и я не могу работать больше, чем стандартный восьмичасовой день. Проблема в том, что последние 15 лет моя стратегия работы заключалась в том, чтобы поймать «поток» и после этого кодить очень долго без перерывов. Эта стратегия очень популярна у кодеров, любящих запираться на сутки, надевать наушники и отключаться от внешнего мира — и именно поэтому они так болезненно реагируют, когда их отвлекают. Программирование требует концентрации, а концентрация работает по принципу клапанного механизма — на разогрев и запуск требуется время, поэтому уже запущенный механизм лучше не останавливать.

Я не думал, что существуют другие способы программирования, и уже начал было смиряться с тем, что обречен на низкую производительность. Но за последние 6 месяцев я обнаружил, что «медленный разогрев и долгая работа без перерывов» — поведение приобретенное, а не врожденное, и вполне возможно переучиться на другие ритмы активности. Это похоже на многофазный сон — как только вы привыкли делать вещи определенным образом, любые изменения очень трудоемки, но возможны — при наличии достаточной мотивации и времени на привыкание.

Те, кто работает админом и занимается тех.поддержкой пользователей в крупных конторах, часто сталкиваются с необходимостью держать на рабочей машине Windows наряду с любимой ОС — в данном случае Debian GNU/Linux. Задачи, вынуждающие ставить винду могут быть разными. Средства тоже: кто-то ставит VMWare, кто-то qemu, я пользуюсь VirtualBox. В общем виртуальными машинами сейчас никого не удивить. Я хочу поделиться с людьми небольшим, но очень удобным финтом.

Вы, вероятно, представляли ее себе как целый орган — грандиозное сооружение длиной в пару метров с сотнями и тысячами клавиш. На самом деле, большинство китайцев используют обычную клавиатуру с латинской раскладкой QWERTY. Но как с помощью нее можно набрать такое несметное количество различных иероглифов? Мы попросили рассказать об этом нашу сотрудницу Юлию Дрейзис. Ее с Китаем связывают и давняя любовь, и работа.

История вопроса: печатные машинки

За несколько тысяч лет хитроумные китайцы успели довести количество иероглифов до 50000 с хвостиком. И хотя число нужных в повседневной жизни знаков не измеряется десятками тысяч, все равно, как ни крути, стандартный набор старой типографии — 9000 литер.

Долгое время набор осуществлялся по принципу «на каждый иероглиф — отдельный печатный элемент». Поэтому работать приходилось с машинками-монстрами вроде такой:


Печатная машинка фирмы «Шуангэ», 1947 год (принцип действия придуман японцем Киота Сугимото в 1915 году).

Когда VMware выпустили бесплатную версию своего гипервизора под названием ESXi – через некоторое время на рынке появились бездисковые сервера, загружающие сам гипервизор с Flash-карты небольшого объема. Сами же файлы виртуальных машин при этом хранятся на внешних СХД. Это позволяет снизить стоимость оборудования, так как отпадает необходимость в оснащении серверов своими собственными жесткими дисками и RAID-контроллерами. Microsoft выпустили свою версию гипервизора, под названием Hyper-V, включив ее в состав ОС Windows Server 2008. Вслед за этим, был выпущен бесплатный продукт под названием Hyper-V Server 2008, представляющий из себя предельно урезанную версию Windows Server 2008 Server Core, с единственной ролью – Hyper-V. В отличие от продуктов VMware, Hyper-V не требует покупки каких-либо лицензий на отдельные «фичи» гипервизора, и может быть предпочтительнее, если в качетсве гостевых ОС будут использоваться только ОС семейства MS Windows. В версии Hyper-V Server 2008 R2 используется новый гипервизор – Hyper-V 2.0 с поддержкой его новых функций – в частности, Live Migration. Так же Hyper-V Server 2008 R2 может работать на более мощных системах (с большим количеством процессоров и объемом ОЗУ), чем предыдущая версия, и может работать в составе Failover-кластера. Тем не менее – не всем известно, что Hyper-V Server 2008 R2 тоже может загружаться с flash-накопителя, точно так же, кстати, как и Windows Server 2008 R2 и Windows 7. В этой статье я расскажу, как сделать Hyper-V Server 2008 R2 Bootable Flash Drive.

Третья часть. Предыдущие части: Первая, вторая.

В этой теме: управление памятью и процессорами виртуальных машин.

Память

Для того, чтобы понять, как XCP работает с памятью, нужно понять, как с ней работает Xen. В отличие от OpenVZ, Xen всегда выделяет память виртуальной машине (точнее, домену) в монопольное пользование. Память домена — это память домена и только. Никакого оверселла, никаких shared pages, никакого hypervizor swap (виртуальные машины свопиться, разумеется, могут). Если у вас есть 4Гб, то примерно 3.5Гб вы можете разделить между гостевыми машинами (512 уйдёт на dom0). Как вы будете их делить — ваша свобода. Но дать машине больше памяти, чем есть в наличии вы не сможете. Нет. Точка.

Зато в управлении реально выделенной памятью всё очень хорошо. В Xen 3.4 механизм управления памятью (xenballoon) основан на довольно сложной для восприятия мозгом, но простой с точки зрения гипервизора, основе: страницы памяти передаются (transfer) между доменом и гипервизором.

Среди всех энтерпрайзнутых систем виртуализации XCP единственная бесплатная и свободная. История XCP уходит в XenServer, который хоть и основывался на опенсорсном гипервизоре, но был вполне себе платным софтом. Цирикс опубликовала код XenServer под свободной лицензией и с этих пор XenServer начал плавно превращаться в Xen Cloud Platform.

В этом цикле статей я расскажу о том, как применять XCP в условиях единого административного центра, когда виртуальные машины и инфраструктура виртуализации управляется одной и той же организацией (т.е. о типичном сценарии с виртуализацией серверов предприятия). В этих статьях будет мало примеров и ключей командной строки (administration guide на сайте цирикса вполне опубликован), вместо этого я буду рассказывать про понятия, термины и взаимоотношения объектов.

С пользовательской точки зрения основным различием между обычным зеном (в составе большинства ОС) и XCP является процесс установки и количество добработок до запуска в продакт. XCP поставляется в виде ISO'шки с готовой ОС для dom0 (CentOS), адаптированной для обслуживания гипервизора и обеспечения работы хостов в облаке. Xen же обычно идёт в виде hypervisor + utils, подразумевается, что всё остальное человек создаст сам. Ещё некоторым бонусом для тех, кому приходится соприкасаться с продукцией Microsoft, являются подписанные драйвера для Windows (их с некоторыми ухищрениями можно установить и в зене, но в XCP они являются родными).

XCP — относительно своеобразная платформа. Она не «закрыта» в том смысле, как закрыт, например, hyper-v, но идёт в виде готовой ОС, многие аспекты конфигурации которой контролируются средствами платформы, а не ОС. Например, сеть: можно повесить ip-адрес на любой интерфейс ifconfig'ом, но последствия этого будут печальные — следует использовать инструментарий платформы для управления сетями и интерфейсами.

XCP состоит из нескольких компонент: xen, xapi, open vswitch, xe cli, stunnel, sqeezed обеспечивающих разные аспекты работы системы.

В начале о системных требованиях:

Предыдущая часть определяла терминологию. Теперь перейдём к обстоятельному объяснению «как это устроено». (тем, кому не терпится «взять и запустить» могут сделать с помощью руководств на сайте xen'а).

В этой части: подробнее про пулы и обзор устройства хостов и чуть-чуть о Xen'е.

Пулы

Весь XCP представляет собой один пул (поддержка нескольких пулов есть в очень отдалённых планах). В принципе, компания может иметь несколько пулов. Если используется разное железо для хостов, то придётся формировать пулы в пределах одинакового железа; в вырожденном случае это означает «один хост — один пул». В такой конфигурации возможность живой миграции отсутствует, а единственной опцией является экспорт/импорт виртуальной машины (медленно и неавтоматически). Соответственно, нужно иметь хотя бы пару одинаковых машин, чтобы получить возможности живой миграции (одинаковых означает «совсем одинаковых», вплоть до степпинга процессора). Чуть раньше возникли вопросы, можно ли в пул собрать разное железо. Официальный ответ: нет. Если очень захотеть, то можно, но все возможно возникшие при этом глюки будут вашими собственными именными граблями.

Каждый хост пула (его устройство обсуждается чуть ниже) имеет полную информацию о состоянии всех машин в пуле (хранит всю базу пула). Выполнять же операции может только один хост, именуемый «мастером пула». Мастер может легко меняться на ходу (без перезагрузки и остановке в работе виртуальных машин), в случае «смерти» мастера его роль может быть перенесена на другой хост силком. Если бывший мастер после этого загрузится, то произойдёт «pool split» — разделение пула на две неравные части, когда бывший мастер считает, что это он мастер, а все остальные подчиняются новому мастеру. Эта проблема легко решается силовой сменой настроек «бывшем мастере».

С мастерами следует играться осторожно, именно из-за игр с тем, кто мастер, я и получил ситуацию "Ghost in the Xen" (когда была запущена виртуальная машина, отсутствующая в списке машин облака). Впрочем, со времён XCP 0.1.1 ситуация немного поменялась, и поведение хостов в отстутствии живого мастера стало более разумным.

Добрый день!

Как представитель проекта Лекториум рад сообщить — мы опубликовали весь архив Computer Science клуба.
Кроме того, почти год назад мы организовали запись всех лекций на хорошие камеры и микрофоны.
А в этом году планируем подключить вебинары.


Большинство лекций читается на русском языке. Все записи снабжены презентациями и описаниями.

UPD. Кратко. Старые лекции в плохом качестве, а новые с 2010 года с хорошим звуком и в 720p.
UPD 2 Расширили канал, видео грузится теперь без проблем.

Под катом перечень курсов и несколько вопросов касательно вебинаров.

Задача

Установить Debian Lenny на сервер, который находится на удалённой площадке.
На площадке уже есть один Linux-based сервер, и есть инженер, который может подключить новый сервер к сети и включить.

Решение

Загрузить образ netinstall по PXE и воспользоваться пакетом network-console для установки, используя ssh.

[FF D8]

Вам когда-нибудь хотелось узнать как устроен jpg-файл? Сейчас разберемся! Прогревайте ваш любимый компилятор и hex-редактор, будем декодировать это:

Специально взял рисунок поменьше. Это знакомый, но сильно пережатый favicon Гугла:

Последующее описание упрощено, и приведенная информация не полная, но зато потом будет легко понять спецификацию.

Даже не зная, как происходит кодирование, мы уже можем кое-что извлечь из файла.

[FF D8] — маркер начала. Он всегда находится в начале всех jpg-файлов.

Следом идут байты [FF FE]. Это маркер, означающий начало секции с комментарием. Следующие 2 байта [00 04] — длина секции (включая эти 2 байта). Значит в следующих двух [3A 29] — сам комментарий. Это коды символов ":" и ")", т.е. обычного смайлика. Вы можете увидеть его в первой строке правой части hex-редактора.

В июне этого года был ратифицирован стандарт IEEE 802.3ba, описывающий одновременно две новые скорости: 40 и 100 Гбит/с. Эта новость не прошла мимо хабра, однако проскользнула как-то легко, незаметно и без подробностей. Это ж не новая андроидная прошивка, в самом деле :)
Постараюсь все-таки добавить чуть-чуть фактов.
Разработка велась, практически, с 2006 года. Кое-кто уже запустил свои предстандартные продукты (например, Cisco с триальным CRS-3 и Juniper, представивший 100G интерфейс для роутера T1600 еще в 2009 году), однако это, по словам IEEE и производителей оборудования, не приведет к несовместимости, т.к. вендоры в своих разработках основывались на драфте стандарта, существующем в тот момент времени.

В далеком 2006-ом году я, в течении полутора месяцев, работал на факультете компьютерных наук (Computer Science Department — cs.stanford.edu) в Стэнфордском университете (Stanford University). Стэнфорд является одним из лучших университетов США и всего мира, а факультет компьютерных наук заслуженно считается кузницей кадров для Кремниевой долины. Из него вышли основатели основатели Sun, Yahoo, Google и многих других небезысвестных ИТ компаний. Кстати, с основателями гугла Сергеем Брином и Ларри Пейджем произошла занимательная история. Изначально поисковый движок находился на поддомене университетского сайта, но когда его трафик превысил половину всего трафика университета, основателей Гугл мягко попросили перенести их поисковую систему с чего и началось их независимое плавание. В общем, университет произвел на меня неизгладимое впечатление, поэтому хоть и с запазданием, хочу поделиться фотографиями и своим мнением.

На последней конференции хакеров Defcon ребята из компании Fortify Software провели опрос среди участников этой конференции. Было опрошено около 100 хакеров, а цель опроса — узнать, что же участники конференции думают о безопасности в «облачной» среде. Интересные результаты получились — 96 участников, то есть 96% опрашиваемых, ответили, что считают такие платформы весьма привлекательными, «открывающими новые возможности». Кроме того, участники опроса ответили, что считают недостаточными усилия производителей «облачного» ПО и оборудования по обеспечению безопасности своих продуктов.

Когда-то, давным-давно, тут пиарился один удивительный и абсолютно чистый от рекламы сервис по сиськам OpenBoobs.
Он мне понравился еще тогда, но вот недавно я решил сделать для него маленький виджет. Итак, встречайте OpenBoobs Reader!

Он вам поможет:

• Просматривать отборные груди в случайном порядке;
• Быстро сохранить на диск понравившуюся грудь;
• Незаметно на вашем рабочем столе показывать разные груди в режиме слайдов;
• Просто расслабится.

Тема электротранспорта меня интересовала всегда.
И вот наступил долгожданный момент, когда я от теории наконец перешел к практике. О своём опыте я поведаю ниже.

Пара мыслей в качестве вступления.
Почему именно сейчас так активно заговорили про электромобили, электросамолёты, электробайки? Наконец почти разрешилась основная проблема электротранспорта — начали появляться достаточно компактные и емкие батареи. Более того, они заряжаются за терпимое время. Собственно только этого и ждали, все остальное давно создано и «обкатано» — кузов, ходовая часть, электроника, электромоторы. Все это уже используется сотню лет. А электромоторы позволяют использовать непривычные решения — к примеру устанавливать себя в ступицы самих колес.

К делу!

Технические характеристики:

— велосипед обычный, средней ушатанности, цена примерно 200$
— электромотор на 48V и мощность 380W
— батарея на 48V и 10A
— скорость без помощи педалей по ровной дороге 35-40 км/ч
— дальность поездки 22-25 км по легкой холмистой местности и в городе
— время полного заряда 2 часа



Надо отметить, что переоборудование не сильно бросается в глаза и большинство людей на улице просто не замечают ничего необычного в велосипеде.

Не так давно я уже писал о программном обеспечении "Kraken", которое посредством использования специальных криптографических таблиц помогает взламывать алгоритм шифрования A5/1 (именно он массово используется операторами мобильной связи) для GSM-сетей. Но одно дело — взлом алгоритма, и другое — полная расшифровка закодированного сигнала. Вот с этим «на ура» справляется новоявленное ПО, также представленное на конференции Black Hat. Вообще говоря, эта конференция принесла много чего неожиданного, начиная от того самого Kraken-а, и заканчивая взломом банкоматов. Так вот, на этот раз эксперт по криптографии Карстен Ногл представил усовершенствованный программный пакет Airprobe. По заявлению разработчика, это программное обеспечение вкупе с несколькими компонентами позволяет максимально упростить задачу расшифровки сигналов, передаваемых по GSM-сетям (Airprobe позволяет записывать и раскодировать разговоры и SMS).

Как мы все знаем, подавляющее большинство сотовых работает с GSM-сетями, такая ситуация наблюдается в большинстве стран. Мобильных телефонов, работающих в GSM-сетях, сейчас насчитывается около 3,5 миллиардов по всему миру. Можно себе представить, каким лакомым кусочком перехват и прослушка разговоров по сотовым является для злоумышленников разного рода. Правда, все передаваемые по GSM-сетям данные кодируются по алгоритму A5/1 (в большинстве сетей), и раскодировать передаваемые данные не так просто (по крайней мере, для рядовых хакеров, понятно, что спецслужбы давно используют отличное оборудование, позволяющее без проблем все это делать). Так вот, алгоритм шифрования A5/1 очень быстро взламывается представленным на днях ПО, названным «Kraken».

«Художники показывают свою работу, режиссер хочет побольше того или другого, и все это повторяется туда и обратно много раз. Это цикл, который двигает нашу работу и заставляет вещи выглядеть так, как они выглядят в итоге. Таким путем каждый маленький кусочек становится лучше и лучше, потом становится совершенным, а потом мы переходим к следующему кадру», – так описывает свою работу над фильмом «Аватар» Джо Уилки (Joe Wilkie), один из менеджеров студии спецэффектов Weta Digital из Веллингтона, Новая Зеландия. Именно здесь создавалась вся магия фильма «Аватар», которая покорила нас всех.



12 Мб на кадр, 288 Мб на секунду, 17,28 Гб на минуту. Все 162 минуты фильма, который мы увидели на экранах – огромный объем информации – это только маленькая толика того, что пропустил через себя новый дата-центр студии Weta. Собранный, как вы уже могли догадаться, на серверах HP: 34 стойки с 32 блейдами HP Proliant BL2x220c в каждой – 40 000 процессорных ядер и 104 Тб RAM, семь строчек в суперкомпьютерном рейтинге Top-500. Посмотрим немного на ту сторону фильма, что осталась за кадром.

В конце июня HP начала поставки двух моделей серверов-лезвий HP ProLiant на основе новейшего процессора AMD Opteron. Двухсокетный HP ProLiant BL485c G7, который занимает в полке HP BladeSystem c7000 половину высоты, и четырехсокетный полноразмерный HP ProLiant BL685c G7 используют восьми- либо двенадцатиядерные Opteron 6100.

Первая модель оборудована 16 слотами для модулей памяти DDD3 и поддерживает ОЗУ объемом 256 Гбайт, а у второй модели вдвое больше слотов DDR3, поэтому ее ОЗУ масштабируется до 512 Гбайт. Оба этих лезвия комплектуются заменяемыми в горячем режиме двумя 2,5-дюймовыми дисками SAS/SATA либо двумя твердотельными дисками SSD и встроенным RAID-контроллером Smart Array P410 i с однигигабайтным кэшем, для которого предусмотрено сохранение данных в энергонезависимой флэш-памяти при отключении питания сервера.

Главное новшество этих лезвий по сравнению с их предшественниками шестого поколения – встроенная в системную плату сервера двухпортовая карта конвергированных сетей HP NC551i FlexFabric 10-Gb Ethernet Converged Network Adapter, обеспечивающая поддержку как 10-гигабитного Ethernet, так и протоколов для доступа к системам хранения Fibre Channel over Ethernet (FCoE) и iSCSI.

Слова «облако», «облачные вычисления», «облачный» используются для чего попало. Новое модное слово, buzzword. Мы видим «облачные антивирусы», «облачные блейд-сервера». Даже именитые вендоры сетевого оборудования, не стесняются выставлять коммутаторы с ярлыком «for cloud computing». Это вызывает инстинктивную неприязнь, примерно, как «органические» продукты питания.

Любой технарь, который попытается разобраться с технологиями, лежащими в основе «облака», после нескольких часов борьбы с потоком рекламных восторгов, обнаружит, что это облака — это те же VDSы, вид сбоку. Он будет прав. Облака, в том виде, как их делают сейчас — обычные виртуальные машины.

Однако, облака, это не только маркетинг и переименованные VDS. У слова «облако» (или, точнее у фразы «облачные вычисления») есть есть своя техническая правда. Она не такая патетичная и восхитительно-инновационная, как рассказывают маркетологи, но она всё-таки есть. Придумана она была много десятилетий назад, но только сейчас инфраструктура (в первую очередь, Интернет и технологии виртуализации x86) доросла до уровня, который позволяет реализовать её в массовом порядке.

Итак, сначала о причине, которая вообще породила потребность в облаках:

Вот как выглядит предоставляемая услуга для обычного VDS (на месте этого графика может быть любой ресурс: процессор, память, диск):


Обратите внимание: это недельный график. Существующие технологии временного увеличения лимита потребления ресурса (burst, grace period) не способны решить эту проблему на таких длинных интервалах. Т.е. машина недополучает ресурсы тогда, когда они ей больше всего нужны.

Вторая проблема — посмотрите на огромные интервалы (голубой цвет), когда ресурсы, фактически, пришлось оплатить, но использовать не удалось. Виртуальной машине ночью просто не нужно столько ресурсов. Она простаивает. И не смотря на это — владелец платит по полной.

Возникает проблема: человек вынужден заказывать ресурсов больше, чем нужно в среднем, для того, чтобы переживать без проблем пики. В остальное время ресурсы простаивают. Провайдер видит, что сервер не нагружен, начинает продавать ресурсов больше, чем есть (это называют «оверселл»). В какой-то момент, например, из-за пика нагрузки на нескольких клиентов, провайдер нарушает свои обязательства. Он обещал 70 человекам по 1Ггц — но у него есть только 40 (2.5*16 ядер). Нехорошо.

Продавать полосу честно (без оверселла) невыгодно (и цены нерыночные получаются). Оверселлить — снижать качество сервиса, нарушать условия договора.

Эта проблема не связана с VDS или виртуализацией, это общий вопрос: как честно продавать простаивающие ресурсы?

Именно ответом на эту проблему и стала идея «облачных вычислений». Слова хоть и модные, но своей основой уходящие во времена больших мейнфреймов, когда продавалось машинное время.

Облачные вычисления делают то же самое — вместо лимитов и квот, которые оплачиваются вне зависимости от реального потрбления, пользователям предоставляется возможность использовать ресурсы без ограничения, с оплатой реального потребления (и только того, что было реально использовано). Это и есть суть «облака».