Облачные вычисления *

Воланд у М. Булгакова говорил, что «кирпич ни с того ни с сего никому и никогда на голову не свалится». Может, и так, но, когда два с половиной года назад меня спросили, хочу ли я познать OpenStack, это был тот самый хорошо завуалированный кирпич (а на старте даже не кирпич, а гранитная плита). Именно 2016 год стал для меня так называемой «точкой невозврата», положив начало стремительному освоению концепций открытого мира и в значительной степени повлияв на менталитет, – превратив мою дальнейшую жизнь в праздник. «Праздник», который всегда со мной.

Я заметил, что в Кремниевой долине много шума на тему падения цен на облачные вычисления. Предприниматели, венчурные капиталисты и СМИ пишут об этой тенденции, утверждая, что она позволила появиться новой волне стартапов в таких областях, как искусственный интеллект и крупномасштабная обработка данных. Во многих статьях утверждается, что новые технологии и высокая конкуренция в течение последних нескольких лет резко снизили стоимость облаков.

Пример от Натана Бенаича, вице-президента компании Point Nine Capital:

Я считаю, что искусственный интеллект — одна из самых перспективных и прогрессивных возможностей нашего времени. Есть несколько причин, почему это так…

Расходы на вычисление и хранение падают на порядок, а вычислительная способность современных процессоров растет.

Джон Мелас-Кириази, инвестор Spark Capital, повторяет это мнение:

Машинное обучение (ML) и некоторые формы искусственного интеллекта (AI) официально стали мейнстримом. Взрыв инноваций, который мы видим в AI/ML, связан с рядом технологических достижений, которые появились за последние несколько десятилетий: быстрые и более дешевые компьютеры (по закону Мура), облачные вычисления с переменными затратами...

Многие ссылаются на Закон Мура как на причину «порядка величины» улучшений в облачном ценообразовании. Другие заходят ещё дальше и создают свои собственные теории. Например, Закон Безоса, предложенный Грегом О'Коннором (CEO AppZero) в виде идеи о том, что «за всю историю облака цена единицы вычислительной мощности снижается на 50 процентов примерно каждые три года».

Ясно, что многие яркие умы оптимистично относятся к быстрому снижению стоимости облачных вычислений и последующему росту инновационных стартапов, которые могут подняться на этой волне.

Но действительно ли цены на облако падают?

Всех с окончанием праздников!… Некоторые скажут, что это поздравление — так себе. Но, наверняка, у многих скоро отпуск, так что поднажмите еще немного. Ну а мы не сдаем обороты и в этот теплый день делимся опытом наших партнеров. Речь пойдет об оптимизации работы с базой данных. Подробнее под катом!

Вчера компания Amazon Web Services объявила о полноценном запуске своего облачного сервиса на базе Kubernetes — EKS (Amazon Elastic Container Service for Kubernetes). Впервые он был анонсирован в ноябре прошлого года (вскоре после того, как AWS присоединилась к стоящему за Kubernetes фонду CNCF), но тогда он имел статус предварительного доступа. Что скрывается за EKS?

Google Colaboratory — это не так давно появившийся облачный сервис, направленный на упрощение исследований в области машинного и глубокого обучения. Используя Colaboratory, можно получить удаленный доступ к машине с подключенной видеокартой, причем совершенно бесплатно, что сильно упрощает жизнь, когда приходится обучать глубокие нейросети. Можно сказать, что она является некоторым аналогом гугл-документов для Jupyter Notebook.

В Colaboratory предустановлены Tensorflow и практически все необходимые для работы Python-библиотеки. Если какой-то пакет отсутствует, он с легкостью устанавливается на ходу через pip или apt-get. Но что если необходимо собрать проект из исходников и подключиться к GPU? Оказывается, это может быть не настолько просто, что я выяснил в ходе сборки SSD-Caffe. В этой публикации я дам краткое описание Colaboratory, опишу встреченные трудности и способы их решения, а также приведу несколько полезных приемов.

Весь код доступен в моем Colaboratory Notebook.

Sheepdog — масштабируемая система, которая предоставляет виртуальным машинам распределенные блочные устройства. Его развитие началось в 2009 году разработчиками из японской компании Nippon Telegraph and Telephone Corporation. Sheepdog — это приложение с открытым исходным кодом под лицензией GPL2. Последняя версия 0.9.3, выпущенная в ноябре 2015 года станет наследиком версии 1.0, пригодной для коммерческого испрользования¹. (уже стала — прим.пер.)

Чисто ради интереса, первая версия (0.1.0), была выпущена разработчиками в августе 2010 года — и в то же время поддержка sheepdog сразу была включена в основную ветку разработки QEMU.

Провайдеры услуг публичного облака в конце 2017 объявили о своем доходе за 3 квартал. Показатели дохода впечатляют своим размером и скоростью роста. Совокупный доход трёх крупных компаний (Amazon Web Services, Microsoft Azure и Google Cloud Platform) составил 7,5 млрд долларов за третий квартал или 30 млрд долларов США в пересчете на год.

10 миллиардов долларов в расходах на облака являются потерями

Аналитики RightScale задались вопросом, сколько доходов облачных провайдеров приходится на арендаторов, которые не понимают, как они могли бы предотвратить напрасные потери в совокупных затратах на облачные вычисления. Ранее в отчете «RightScale 2017 State of the Cloud Report» было отмечено, что пользователи облачных вычислений считают, что излишние затраты достигают 30 процентов от расходов на облако. На самом деле, вероятно, что эта цифра даже выше.

Здравствуйте, коллеги.

В последнее время мы вынашиваем планы издать книгу по обработке естественного языка. Одним из наиболее масштабных решений, которые определяют перспективы этой отрасли, несомненно, является платформа Google Cloud, как нельзя лучше адаптированная для машинного обучения. Просим высказываться о востребованности этой книги



и почитать под катом о небольшой библиотеке, предназначенной для обработки естественного языка на R.

Год назад в центр компетенций по системам управления ИТ и мониторинга «прилетела» задача: развернуть продукт Pivotal Cloud Foundry (являющийся, фактически, эталонным образцом модели PaaS). В двух словах, Pivotal Cloud Foundry (PCF) – это готовое коммерческое решение для предприятий, которые:

• нуждаются в платформе, работающей в гибридной среде или в среде с несколькими облаками;
• хотят перейти от использования монолитных архитектур к облачным схемам;
• хотят запускать цифровые сервисы следующего поколения с первого дня использования;
• уже используют Java или Spring для развертывания микросервисов.

В этой статье я не стремлюсь прорекламировать вендорский продукт или в очередной раз «пояснить за микросервисы». Моя главная цель – поделиться опытом развертывания инфраструктуры для облачной платформы PCF в нестандартной конфигурации такого рода решения. Эта конфигурация пришла в ходе задачи о создании среды для разработчиков проекта, который без ложной скромности называли «Цифровой трансформацией».

Последние несколько лет мы все чаще слышим термин «Serverless» по отношению к облачным сервисам. Более того, в Европе наш собственный Voximplant часто называют «Serverless телефонией для разработчиков». Но ведь у нас есть серверы, и много! Откуда такое странное название и что именно имеют в виду те, кто его использует? Чтобы обобщить и собрать в одном месте информацию про «Serverless», организация с длинным названием «Cloud Native Computing Foundation» посвятила ей официальный документ, Swapnil Bhartiya его внимательно изучил и написал интересную статью (интересные статьи про linux и open source он пишет уже лет 15), а мы адаптировали перевод для Хабра. Кстати, в очередной раз обновляя холивар «зачем переводить для Хабра». Во-первых, по-русски, если перевод адекватный, читать быстрее и когнитивно менее напряжно. Даже с очень хорошим английским. Физиология, ничего личного. Во-вторых, если кто-то решил перевести статью — то она, скорее всего, того стоит. Если вы не эксперт в чем-то, можно смело пропустить 100 статей, вышедшие по интересной теме за последний месяц, а посмотреть только те две, что перевели для Хабра.

В Mars IS я отвечаю за мониторинг производительности приложений. Главный принцип, на котором основывается мониторинг производительности заключается в детальном централизованном анализе сетевого трафика между конечными пользователями и серверами, расположенными в наших дата-центрах. Он осуществляется в режиме реального времени и позволяет видеть объективную картину производительности как отдельных пользователей, так и приложений в целом. Подробнее о наших методах мониторинга и анализа можно прочитать здесь.

Однако, мир не стоит на месте и наша компания, следуя общему тренду, начинает активно пользоваться облачными решениями. В частности, многие из приложений перемещаются на сервера в облачном дата-центре. Это перемещение вызывает определённые сложности в моей области и даже ставит под угрозу перспективу её существования.

Начиная с 8 мая 2018 года, после установки обновлений на свой персональный компьютер, многие пользователи виртуальных серверов под управлением ОС Windows Server столкнулись с ошибкой «CredSSP encryption oracle remediation» при попытке подключения к удалённому рабочему столу:



На самом деле это не ошибка, а уведомление о проблеме безопасности давно необновлённого сервера.

Со вчерашнего дня мы добавили в работу совершенно новое и уникальное на рынке облачных услуг оборудование – таких VPS / VDS вы не найдете ни у одного провайдера:

• Новейшие процессоры Intel Xeon W-2145 с тактовой частотой 3.7ГГц, а благодаря мощной системе жидкостного охлаждения они работают у нас практически все время на частоте 4.4ГГц
• Оперативная память — самая быстрая из всех существующих серверных вариантов с частотой 2666МГц
• Дисковая система – один из самых надёжных и быстрых RAID6, построенных на новейших контролерах Broadcom MegaRAID (ex LSI) и дисках SSD PCIe NVMe корпоративного класса Intel P4600

В жизни каждого админа случаются моменты, когда нужно сильно и за недорого. Часто такие задачи способствуют личностному росту и становятся первым шагам к жестким извращениям. Сейчас я попробую описать именно такой случай.

Задача

Нужно опубликовать информацию на web-сайте. Информация должна быть защищена от изменений. Информация размещённая на сайте должна быть доступна вне зависимости от полезной или паразитной нагрузки на web сервер.

Я специально объединил 2 темы в одну, так как для нас работа по API, создание того или иного сервиса или внедрение нового функционала в свой имеющийся – это по своей сути точно такие же партнёрские отношения. Мы открыты к сотрудничеству в любых сферах деятельности и в любом направлении, предлагая по-настоящему надёжные услуги на самом современном серверном оборудовании. Такие, какими мы пользуемся сами изо дня в день для других направлений бизнеса. Речь, разумеется, пойдет о предоставлении серверов VPS Windows в аренду.

С понятием DDoS-атака знакомы уже многие, но далеко не все с ней сталкивались и знают, как правильно с подобными атаками бороться.

Практически всегда атакующий ставит задачу сделать недоступным ваш онлайн-ресурс (web-сайт, игровой сервер, и т.д.) — то есть сам ваш VPS, при этом цели получения закрытых данных нет.

DDoS-атака – это очень просто / дёшево и эффективно, успешно провести её на небольшой интернет-магазин может любой желающий прямо из своего дома, убытки при этом от времени простоя могут доходить до сотен тысяч рублей, особенно если при этом вы активно запускаете рекламные компании.

Недавно Google добавила к списку облачных услуг Tensor Processing Unit v2 (TPUv2) — процессор, специально разработанный для ускорения глубокого обучения. Это второе поколение первого в мире общедоступного ускорителя глубокого обучения, который претендует на альтернативу графическим процессорам Nvidia. Недавно мы рассказывали о первых впечатлениях. Многие просили провести более детальное сравнение с графическими процессорами Nvidia V100.

Объективно и осмысленно сравнить ускорители глубокого обучения — нетривиальная задача. Но из-за будущей важности этой категории продуктов и отсутствия подробных сравнений мы чувствовали необходимость провести самостоятельные тесты. Сюда входит и учёт мнений потенциально противоположных сторон. Вот почему мы связались с инженерами Google и Nvidia — и предложили им прокомментировать черновик этой статьи. Чтобы гарантировать отсутствие предвзятости, мы пригласили также независимых экспертов. Благодаря этому получилось, насколько нам известно, самое полное на сегодняшний день сравнение TPUv2 и V100.

Согласно прогнозам Cisco к 2021 году в мире 94% задач и виртуальных вычислений будут выполняться в облачных ЦОДах, а в традиционных ЦОДах — 6%. При этом не только приложения переносятся в облачные среды, но также и необходимые для их работы компоненты, количество которых постоянно растёт. Инфраструктура приложений всё чаще развёртывается между локальными центрами обработки данных, частными и публичными облаками. Для контроля и управления инфраструктурой приложений Citrix разработала NetScaler MAS. О специфике данного решения и его основных функциях мы и поговорим.

Вообще-то, Kubernetes и контейнеры вошли в обиход совсем недавно, поэтому не будет удивительным, если вы пока еще мало о них знаете или не очень активно используете. В этом посте мы расскажем о Kubernetes тем, кто хочет присоединиться к авангарду ИТ-технологий – разработчикам, которые еще не перешли на контейнеры, и даже не техническим людям, которые сегодня тоже не могут обойтись без ИТ (привет, цифровизация бизнеса!).



Раскрыть горячую тему нам поможет пример с мороженым.

В следующем году будет 20 лет с момента создания службы каталогов Active Directory. За это время служба обросла функционалом, протоколами, различными клиентами. Но необходимость поддерживать совместимость с рядом устаревших клиентов вынуждает иметь настройки по-умолчанию, ориентированные на совместимость. Администраторы часто не меняют их, а это создает большой риск. В этой статье мы рассмотрим обнаружение атак, которые могут привести к domain dominance.