Облачные вычисления *

Статья для тех, у кого клиенты в Евросоюзе. Я работаю юристом в компании ISPsystem и уже пару месяцев разбираюсь в тонкостях GDPR. В этой статье поделюсь своими мыслями о нем и расскажу, почему не надо по любому поводу спрашивать у клиента разрешение на обработку персональных данных.

Лайфхак по 152-ФЗ

Для начала небольшое, но важное отступление.

Недавно знакомый из торговой компании попросил посмотреть их договор с веб-студией. Те собирались дорабатывать сайт магазина. Первым делом я открыл техзадание и увидел, что ребята планируют зарегистрировать владельца сайта в Роскомнадзоре как оператора персональных данных. Я подумал: «Они это серьезно?» И сам же ответил: «К сожалению, да».

Мы решили создать небольшой фреймворк для бессерверных веб-приложений в AWS. Может более правильно назвать это не фреймворком, а заготовкой, — я не знаю. Но суть в том, чтобы создать основу для быстрой разработки бессерверных приложений в AWS. Код выложен на GitHub и открыт для любых усовершенствований, коих предстоит немало.


В статье речь пойдет о том, как разрабатывать и тестировать бессерверные приложения локально, о роутинге на фронтенде и бекенде, о сервисах Amazon и тому подобных вещах. Кому интересно, добро пожаловать под кат!

Ещё в прошлом веке многие предприятия начали массово переходить на электронный документооборот. У всех появились компьютеры с офисными программами. Документы часто набирали в Microsoft Word или других текстовых редакторах, экспортировали в PDF, отправляли по электронной почте.

Казалось, что если документооборот электронный, то мы скоро забудем о шкафах с бумажными архивами, на рабочих столах не останется ни единого бумажного листа. Если вдруг в организацию пришлют бумажный документ по обычной почте, то артефакт немедленно отсканируют и переведут в цифровой вид. В реальности вышло совсем наоборот. Оказалось, что чем больше организация использует компьютеры для цифрового документооборота — тем больше документов она печатает. Ведь каждый документ нужно завизировать. Документ без подписи — это просто черновик или информационная записка. Чтобы получить подпись, документы распечатывают, а потом зачастую сканируют обратно, храня оригиналы в архиве.

Сейчас понятно, что действительно электронный (безбумажный) документооборот никак не внедрить без цифровых подписей.

Виртуальный сервер уже давно перестал быть чем-то IT-шным и все чаще данной услугой интересуются люди с совершено различными и повседневными рабочими задачами: от размещения бухгалтерских программ до программ по автоматизации рутинных SEO-задач, от игровых серверов до самих игр (самых современных!), от общего файлового сервера небольшой организации до полноценных удалённых рабочих столов крупных компаний.

Вовсе не обязательно играть в игры, чтобы вам потребовалась видеокарта, сейчас ресурсы видеокарт активно используют разработчики популярного программного обеспечения: любой современный браузер будет отрисовывать страницы сайтов значительно быстрее если сможет использовать графический ускоритель, не говоря уже о том, что 3D игры могут быть в самих браузерах, которые работают на платформе WebGL.

Сегодня мы поделимся интересным лайфхаком о том, как можно пользоваться нашей платформой Azure бесплатно без проблем с урезанной функциональностью. Ведь все просто — нужно быть студентом.

В рамках проекта Jisp, разработкой которого занимается компания WaveAccess, возникла задача по загрузке и проигрыванию видео. В целом, ничего необычного, но с ней связаны известные проблемы, такие как необходимость препроцессинга, а также необходимость поддержать возможность стриминга в требуемом качестве и формате. Видео должно успешно проигрываться на основных платформах, а именно Android, iOS и desktop (web). Подробнее о решении проблем читайте под катом!

Продолжает расти популярность решений на основе PKI — всё больше сайтов переходят на HTTPS, предприятия внедряют цифровые сертификаты для аутентификации пользователей и компьютеров, S/MIME доказывает свою состоятельность и для шифрования электронной почты, и как способ проверки источника сообщений для противодействия фишингу. Но шифрование и аутентификация в этих приложениях практически бессмысленны без правильного управления ключами.

Каждый раз при выдаче цифрового сертификата от центра сертификации (ЦС) или самоподписанного сертификата нужно сгенерировать пару из закрытого и открытого ключей. Согласно лучшим практикам, ваши секретные ключи должны быть защищены и быть, ну… секретными! Если кто-то их получит, то сможет, в зависимости от типа сертификата, создавать фишинговые сайты с сертификатом вашей организации в адресной строке, аутентифицироваться в корпоративных сетях, выдавая себя за вас, подписывать приложения или документы от вашего лица или читать ваши зашифрованные электронные письма.

Во многих случаях секретные ключи — личные удостоверения ваших сотрудников (и, следовательно, часть персональных данных организации), так что их защита приравнивается к защите отпечатков пальцев при использовании биометрических учётных данных. Вы же не позволите хакеру добыть отпечаток своего пальца? То же самое и с секретными ключами.

В этой статье мы обсудим варианты защиты и хранения закрытых ключей. Как вы увидите, эти варианты могут незначительно отличаться в зависимости от типа сертификата(ов) и от того, как вы его используете (например, рекомендации для сертификатов SSL/TLS отличаются от рекомендаций для сертификатов конечных пользователей).

Мало кто верит в честность и беспристрастность собственных обзоров и сравнения качества услуг, но тем не менее сегодня мы предлагаем вашему внимаю совершенно прозрачный тест наших услуг, который вы можете сделать бесплатно самостоятельно в любое время – тестовый период на любой VPS-сервер стоимостью до 3000 руб. в месяц предоставляется бесплатно.

VPS.house – это проект телекоммуникационной компании ООО «Глобальные Коммуникации», предоставляющий возможность за пару минут создать виртуальный сервер практически любой требуемой конфигурации и в дальнейшем свободно управлять им или целым пулом серверов в личном кабинете.

В данном тесте мы сравним работу 2-х вариантов конфигураций: самой минимальной (максимально бюджетной) и относительно средней со стоимостью до 2000 руб. в месяц.



В обоих случаях мы будем использоваться самую современную ОС Windows Server 2016.
Задачей текста мы ставим сравнить производительность и пригодность к использованию для установки сервисов и приложений, работающих 24x7 как для первой, так и для второй конфигурации.

В предыдущей статье «Всё по ГОСТу. Защита информации при использовании технологий виртуализации», мы упомянули про разработанный проект ГОСТ «Защита информации при использовании облачных технологий». Несмотря на то, что он уже не первый год лежит без утверждения, мы можем ориентироваться на него, как на источник информации о направлении деятельности регуляторов в сфере облачных технологий. Так же проект ценен систематизированным списком терминов, угроз и мер защиты облачных сервисов.

Начнем по порядку, как указано в проекте, ГОСТ устанавливает требования по защите информации, обрабатываемой с использованием облачных технологий. Поэтому предлагаю перейти к терминам и разобраться, что понимается в проекте под облачными технологиями и прочими терминами, встречающимися в данном документе. Заранее стоит отметить, что некоторые стандарты этого документа весьма спорные и временами противоречат сложившейся бизнес-практике.

Появление на рынке FPGA-ускорителей, которые можно перепрограммировать сколь угодное число раз, причем на языке высокого уровня типа "С", стало настоящим прорывом в нише высокопроизводительных вычислений. Но не меньшим прорывом стала возможность использовать технологию FPGA, не покупая эти весьма дорогостоящие адаптеры (цена в России от 250 тыс.руб.), — а просто арендуя выделенный сервер с ускорителем в облаке провайдера.

Санкт-Петербург, специально для вас, университеты DataLine возвращаются!
29 марта пройдет семинар на тему «Как ERP в облаке живется? Опыт, сценарии, грабли». Обсуждаем размещение ERP-систем на виртуализации, планирование миграции и параметры SLA.

Спикер: Эдуард Бавижев, директор проектов DataLine.

Осталось всего несколько мест, будем рады видеть ИТ-директоров, инженеров и всех, кто занимается вопросами обслуживания информационных систем компании.

В этой статье я хочу рассказать о нас и о том, как мы делаем AB-DOC — бессерверное веб-приложение, предоставляющее интерфейс к хранилищу Amazon S3. Подробнее про AB-DOC можно почитать в нашей предыдущей статье. Сейчас речь пойдет о технологических решениях, которые лежат в основе AB-DOC. Расскажу, как мы построили процесс разработки и развертывания.



На фото я за рабочим столом у себя дома, где я работаю 90% времени.

Прошло больше года с релиза Service Fabric и вокруг него возникло множество заблуждений, возникающих из-за недопонимания по ключевым вопросам. Пока я готовился к нашему новому OpenHack и общался с партнёрами, увидел статью, в которой автор собрал воедино все ключевые мифы и развеял их. Она настолько меня вдохновила, что я решил перевести её для вас.

Машинное обучение превратилось в модный термин, но при работе с большими объёмами данных оно уже много лет является жизненной необходимостью. Яндекс обрабатывает более 200 миллионов запросов ежедневно! Когда-то в интернете было так мало сайтов, что наилучшие из них помещались в каталог, а теперь за релевантность ссылок на страницы в выдаче отвечают сложные формулы, обучающиеся на новых и новых данных. Задача ложится на так называемые конвейеры, регулярные процессы, обучающие и контролирующие эти формулы.

Сегодня хотим поделиться с сообществом Хабра нашим опытом создания вычислительной платформы Нирвана, которая, среди прочего, применяется для задач машинного обучения.



Нирвана — неспециализированная облачная платформа для управления вычислительными процессами, где приложения запускаются в порядке, указанном пользователем. В Нирване хранятся нужные процессам описания, ссылки, блоки процессов и связанные с ними данные. Процессы оформлены в виде ациклических графов.

Нирваной для решения вычислительных задач пользуются разработчики, аналитики и менеджеры разных департаментов Яндекса — потому что далеко не всё можно посчитать на своем ноутбуке (а почему ещё — мы расскажем в конце статьи, когда перейдем к примерам применения Нирваны).

Мы расскажем, с какими проблемами столкнулись при использовании предыдущего решения, опишем ключевые компоненты Нирваны и объясним, почему для платформы было выбрано именно такое название. А потом посмотрим на скриншот и перейдем к задачам, для которых полезна платформа.

И уже скоро. Стартап Fathom Computing в ближайшие два года планирует выпустить оптическое устройство, которое обойдет GPU по скорости тренировки крупных нейронных сетей. Разработчики хотят разместить оптический компьютер в облачном дата-центре, чтобы к нему могли получить доступ создатели систем искусственного интеллекта со всего мира.

О решении Fathom и о том, кто еще занимается такими разработками, расскажем под катом.

Каждое устройство Cloud TPU состоит из четырёх «чипов TPUv2». В чипе 16 ГБ памяти и два ядра, каждое ядро с двумя юнитами для умножения матриц. Вместе два ядра выдают 45 TFLOPS, в общей сложности 180 TFLOPS и 64 ГБ памяти на один TPU

Большинство из нас осуществляет глубинное обучение на Nvidia GPU. В настоящее время практически нет альтернатив. Тензорный процессор Google (Tensor Processing Unit, TPU) — специально разработанный чип для глубинного обучения, который должен изменить ситуацию.

Через девять месяцев после первоначального анонса две недели назад Google наконец-то выпустила TPUv2 и открыла доступ первым бета-тестерам на платформе Google Cloud. Мы в компании RiseML воспользовались возможностью и прогнали парочку быстрых бенчмарков. Хотим поделиться своим опытом и предварительными результатами.

Давно мы ждали появления конкуренция на рынке оборудования для глубинного обучения. Она должна разрушить монополию Nvidia и определить, как будет выглядеть будущая инфраструктура глубинного обучения.

Disclaimer: Эта статья основана в том числе на личном мнении Амирама Шачара (Amiram Shachar, CEO of Spotinst). Компания автора предлагает конкурирующий продукт под названием Spotinst Functions.

Перевод выполнен облачным провайдером Cloud4Y. Мы предлагаем программно-конфигурируемые дата-центры (vDC) на базе кластерных решений VMware vSphere с управлением посредством портала самообслуживания VMware vCloud Director.

По мнению многих специалистов, бессерверные вычисления являются следующим шагом в эволюции архитектуры вычислительных систем. Причины для совершения этого «прыжка» ясны:

• Вы экономите время: больше не нужно планировать и думать о том, как объём ресурсов для работы приложения будет расти или уменьшаться. Вам не только не придётся заниматься внедрением после развертывания, но также вы сможете потратить больше времени на дальнейшие инновации, экономя его на работе с инфраструктурой.
• Вы можете сэкономить деньги: в serverless-мире, где вы платите за триггер, вам не нужно писать on/off-скрипты, планировать резервирование или прогнозировать всплески. Вы просто платите за то, что используете.

Serverless — следующий шаг

Как переход от on-premises к облаку, переход к serverless в некоторой мере неизбежен. Однако, сделав этот ход, вы можете неожиданно получить счёт на большую, чем ожидаете сумму.

Затраты на бессерверные вычисления больше, чем pay-per-trigger

Развитие сложной ИТ-инфраструктуры китайской компании Huawei, насчитывающей более 180 тысяч сотрудников, привело к новым вызовам и требованиям, ответом на которые стало создание PaaS, основанной на Kubernetes и Docker. Внутреннее применение новой платформы не просто отлично зарекомендовало себя, но и продемонстрировало реальную заинтересованность извне — со стороны заказчиков Huawei. Так, используя Open Source-продукты и свой обширный enterprise-опыт, компания сумела закрыть внутренние потребности, предложить конкурентные услуги на рынке и помочь сообществу с разработкой важных проектов.

Все уже привыкли к облачной инфраструктуре и облачным сервисам, но на тему iPaaS нет ни одной статьи, лишь несколько упоминаний.

С ростом числа облачных сервисов и приложений выросло и число разнообразных API, тут и мобильные платформы подтянулись, и всё это должно как-то обмениваться данными. В результате на интеграцию этого разнообразия стало уходить очень много ресурсов разработчиков, да и саппортить всё это надо. А ещё логи разбирать, если их вообще не забыли реализовать. Рынок откликнулся на возникшую проблему появлением iPaaS.

Мы продолжаем гастроли Университетов DataLine в Санкт-Петербурге: 1 марта пройдет семинар на тему «Системы хранения данных для облака и в облаке». Поговорим о том, как правильно выбрать СХД для виртуальной инфраструктуры.

Ведущий курса: Михаил Соловьев, руководитель направления виртуализации DataLine.

Осталось всего несколько мест, будем рады видеть ИТ-директоров, инженеров и всех тех, кто занимается вопросами обслуживания информационных систем компании.