Как стать автором
Поиск
Написать публикацию
Обновить
0

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

Архитектура хранилищ данных: традиционная и облачная

Время на прочтение8 мин
Количество просмотров204K
Привет, Хабр! На тему архитектуры хранилищ данных написано немало, но так лаконично и емко как в статье, на которую я случайно натолкнулся, еще не встречал.

Предлагаю и вам познакомиться с данной статьей в моем переводе. Комментарии и дополнения только приветствуются!


(Источник картинки)
Читать дальше →

Ищем ошибки в исходном коде Amazon Web Services SDK для .NET

Время на прочтение17 мин
Количество просмотров4.5K

Picture 1


Приветствую всех любителей покритиковать чужой код. :) Сегодня в нашей лаборатории новый материал для исследования — исходный код проекта AWS SDK для .NET. В своё время мы писали статью о проверке AWS SDK для C++. Тогда не нашлось ничего особо интересного. Посмотрим, чем нас порадует .NET версия AWS SDK. Хорошая возможность в очередной раз продемонстрировать возможности анализатора PVS-Studio, а также сделать мир немного совершеннее.
Читать дальше →

AWS, MongoDB и экономические реалии open source

Время на прочтение9 мин
Количество просмотров13K
В 1999 году доходы музыкальной индустрии США достигли максимальной отметки $14,6 млрд (все цифры от RIAA). Но важно понимать, что именно продавалось:

  • $12,8 млрд получено от продажи CD
  • $1,1 млрд от продажи кассет
  • $378 млн составили продажи музыкальных видео на физических носителях
  • $222,4 млн — синглы на CD

В общем, музыкальная индустрия в основном продавала пластиковые диски в красивых коробках. Записанная музыка — просто способ отличить одни кусочки пластика от других. Сама музыка не продавалась.

Это может показаться глупым отличием, но так становится понятно, что произошло дальше:
Читать дальше →

Настройка передачи данных с устройства в AWS IoT Core

Время на прочтение3 мин
Количество просмотров4.1K
Представляю вашему вниманию перевод части статьи: The non-primitive approach of amazon — how AWS IoT meets IoT challenges

AWS IoT Core, пожалуй, является наиболее значимым сервисом среди базовых сервисов Amazon, посвященных IoT. Он позволяет просто и безопасно подключать физические устройства к облаку, надежно их масштабировать и обеспечивает полное взаимодействие между устройствами IoT с их периферийным программным обеспечением и облачными сервисами AWS IoT, упомянутыми выше.

Чтобы начать работу с AWS IoT, давайте организуем пробное подключение тестового устройства, содержащего микроконтроллер, а также следующие датчики HDC1080 — (температура, влажность), BME280 — (давление), MH-Z19 — (CO2), CCS811 — (eCO2, tVOC) в AWS IoT Core для пробной передачи данных.
Читать дальше →

AWS показал Open Source средний палец

Время на прочтение3 мин
Количество просмотров25K

От переводчика: мне кажется, заголовок слегка неточный и на самом деле средний палец показали ребятам из MongoDB, которая теперь не очень то и Open Source.



Сегодня, Amazon AWS запустил продукт DocumentDB — новую базу данных, совместимую с API MongoDB. Компания описывает DocumentDB так — "быстрая, масштабируемая и отказоустойчивая документная база данных, разработанная так, чтобы быть совместимой с вашими существующими приложениями и инструментами на MongoDB". Фактически, это полная замена MongoDB, развёрнутая в AWS, которая не использует код MongoDB.


В AWS утверждают, что, хотя MongoDB отлично справляется со своими задачами, их клиентам всё же трудно создавать быстрые и высокодоступные приложения на платформе с открытым исходным кодом, которые смогут масштабироваться до нескольких терабайт и сотен тысяч операций чтения и записи в секунду. Поэтому компания создала свою собственную базу данных документов, но сделала ее совместимой с API MongoDB 3.6, распространяющимся под лицензией Apache 2.0.

Читать дальше →

Бессерверный REST API «на коленке за 5 минут»

Время на прочтение8 мин
Количество просмотров20K
Привет, Хабр! Сегодня продолжим разговор о возможностях, которые предоставляет нам Amazon Web Services и о том, как эти возможности использовать в решении прикладных задач.

На простом примере рассмотрим создание буквально за несколько минут собственного бессерверного автомасштабируемого REST API с разбором кейса — получения списка для ресурса.

Интересно? Тогда заходим под кат!


(Источник)
Читать дальше →

Переход с Redshift на ClickHouse

Время на прочтение10 мин
Количество просмотров12K


Долгое время в iFunny использовался Redshift в качестве базы данных для событий, которые происходят в сервисах бэкенда и мобильных приложениях. Его выбрали потому, что на момент внедрения, по большому счёту, не было альтернатив, сравнимых по стоимости и удобству.

Однако всё изменилось после публичного релиза ClickHouse. Мы долго его изучали, сравнивали стоимость, прикидывали примерную архитектуру и вот, наконец, этим летом решились посмотреть, насколько он нам полезен. Из этой статьи вы узнаете о том, какую проблему нам помогал решить Redshift, и как мы перенесли это решение на ClickHouse.
Читать дальше →

Что происходит у Intel и почему Amazon не переведет AWS целиком на свои чипы вопреки громким заголовкам

Время на прочтение5 мин
Количество просмотров25K
Если вы лениво следите за последними новостями, просматривая заголовки в своей ленте, то в течение последних двух лет вы сталкивались с пассажами примерно такого уровня: «Amazon борется с доминацией Intel и запускает производство своих серверных CPU», «Intel теряет значительную долю рынка», «Amazon отказывается от процессоров Intel», «В разработке находятся серверные ARM-процессоры от Amazon», «Intel переносит потребительский релиз 10 нм CPU» и наконец «Intel представит 7 нм процессор в 2020 году».

Конечно, заголовки эти весьма примерные и если вы не занимаетесь обслуживанием серверов или не арендуете мощности у AWS, то все это вас слабо касается. Ну барахтаются там гиганты между собой, как девицы на вечеринке лупят друг друга мешками, набитыми деньгами, при этом Qualcomm и AMD ведут каждый свою разработку, у NVIDIA какое-то движение с их CUDA, а Apple как обычно тихо в углу жует клей занимается своими делами. А еще создается впечатление, что скоро Intel свергнут, если уже не свергли (до сих пор сидят на 14 нм !), про электовафельницы от AMD перестанут шутить да и вообще, Amazon станет крупным производителем ARM-процессоров. Но все далеко не так, так что давайте разбираться.

Serverless убьет DevOps?

Время на прочтение3 мин
Количество просмотров10K


Каждый раз, когда приходится читать про очередного новорожденного убийцу айфона или фейсбука, невольно начинаешь улыбаться. За эти годы столько их уже было, а воз и ныне там. Поэтому, наткнувшись на очередную публикацию, где ключевой мыслью была идея о том, что наступающая эпоха бессерверных вычислений приложений (Serverless) «съест» DevOps, скепсису не было предела.
Читать дальше →

В AWS представили Firecracker — «микровиртуализацию» для Linux

Время на прочтение4 мин
Количество просмотров28K


На AWS re:Invent 2018, что проходит в эти дни в Лас-Вегасе, состоялся анонс Firecracker — новой технологии виртуализации с открытым кодом, основанной на Linux KVM. Авторы обещают, что с ней «в доли секунды можно запускать легковесные микровиртуальные машины (microVMs) в невиртуализированной среде, получив преимущества и традиционных ВМ — в виде безопасности и изоляции рабочих нагрузок, и контейнеров — в виде эффективного использования ресурсов».
Читать дальше →

Представляем Amazon Corretto, бесплатный дистрибутив OpenJDK с долгосрочной поддержкой

Время на прочтение3 мин
Количество просмотров21K
image

Java является одним из самых популярных языков, используемых клиентами AWS, и мы стремимся поддерживать Java, сохраняя эту поддержку бесплатной. Многие наши клиенты стали беспокоиться о том, что они будут вынуждены платить за LTS-версию Java при выполнении своей рабочей нагрузки. В качестве первого шага мы недавно подтвердили долгосрочную поддержку Java в Amazon Linux. Однако, наши клиенты и более широкое Java-сообщество запускает Java на различных платформах, как на AWS, так и вне её. Вот почему мы рады анонсировать предварительную [preview] версию Amazon Corretto — бесплатного, мультиплатформенного и готового к использованию на продакшене дистрибутива OpenJDK от Amazon.
«Amazon имеет долгую и глубокую историю с Java. Я очень рад видеть, что работа нашей внутренней критически важной Java-команды становится доступной для остального мира»
— Джеймс Гослинг [James Gosling, создатель языка Java, работает в AWS с мая 2017 года]
Читать дальше →

Проксируем файлы из AWS S3 средствами nginx

Время на прочтение4 мин
Количество просмотров35K
Казалось бы, задача реализации фронтенда для AWS на nginx звучит как типовой кейс для StackOverflow — ведь проблем с проксированием файлов из S3 быть не может? На деле выяснилось, что готовое решение не так-то просто найти, и данная статья должна исправить эту ситуацию.



Зачем это вообще может понадобиться?


  1. Контроль доступа к файлам средствами nginx — актуально для концепции IaC (инфраструктура как код). Все изменения, связанные с доступом, будут вноситься только в конфигах, которые лежат в проекте.
  2. Если отдавать файлы через свой nginx, появляется возможность их кэшировать и сэкономить тем самым на запросах к S3.
  3. Подобный прокси поможет абстрагироваться от типа хранилища файлов для разных инсталляций приложения (ведь помимо S3 существуют и другие решения).
Читать дальше →

Исследователи нашли способ обнаружения и обхода Honeytoken-ключей в ряде сервисов Amazon

Время на прочтение4 мин
Количество просмотров4.5K


В современной парадигме информационной безопасности для масс прочно укрепилось мнение, что cyber security — это дорого, сложно, а для рядового пользователя фактически невозможно. Так что если вы хотите в полной мере защитить свои данные и персональную информацию, то заведите себе аккаунт у Google или Amazon, прибейте его гвоздями в плане идентификации владельца и периодически проверяйте тревожные оповещения, что большая и сильная компания пресекла очередную попытку входа.

Но люди, разбирающиеся в ИБ всегда знали: облачные сервисы намного более уязвимы, чем отдельная рабочая станция. Ведь в случае форс-мажорной ситуации ПК можно физически ограничить доступ в сеть, а там уже начинается гонка по смене явок и паролей на всех атакуемых направлениях. Облачная же инфраструктура огромна, зачастую децентрализована, а на одном и том же физическом носителе могут храниться данные нескольких клиентов, либо наоборот, данные одного клиента разнесены по пяти континентам, а объединяет их лишь учетная запись.

Короче говоря, когда интернет был сравнительно свеж и юн (а было это в 2003 году), тогдашние специалисты по информационной безопасности внимательно посмотрели на систему защиты от переполнения буфера 1997 года, и разродились технологией, которую сейчас мы называем Honeytoken или Canarytoken. И пятнадцать лет они исправно работали (и до сих пор работают), вот только последнее исследование говорит, что вместо последнего рубежа обороны в ряде сервисов AWS, Honeytoken превратился в зияющую дыру в ИБ из-за особенностей реализации на стороне Amazon.
Читать дальше →

Ближайшие события

Облачные сервисы для WebGL? Нет, спасибо

Время на прочтение3 мин
Количество просмотров5K
Несколько месяцев назад некоторые из наших клиентов начали сообщать о проблемах с подключением к нашему хостингу WebGL-приложений Verge3D Network. Как оказалось, причиной этого были заблокированные Роскомнадзором IP-адреса Amazon Web Services.

Неприятно, конечно, но терпимо. Verge3D — десктопный тулкит, а публикация на амазоновском хостинге это приятная, но не критичная для работы фича. Тем не менее, такие события заставляют задуматься о перспективах. Собственно, эта статья содержит некоторые соображения об облачных сервисах вообще и WebGL-сервисах в частности.

image
Читать дальше →

Размещение веб-приложения на Amazon Web Services. Дёшево. Возможно ли это?

Время на прочтение3 мин
Количество просмотров35K

Наверняка все слышали про Amazon Web Services (AWS). А некоторые даже заглянули на страницу Pricing. И заметили, что цены там заметно выше, чем на DigitalOcean, Linode, Hetzner Cloud и др. Вот таблица для сравнения цен:


Тип RAM CPUs Диск Трафик Цена
DigitalOcean - 4 GB 2 vCPUs 80 GB 4 TB $20
Linode Linode 4GB 4 GB 2 vCPUs 80 GB 4 TB $20
AWS t2.medium 4 GB 2 vCPUs - - $40

Amazon берёт деньги за трафик, причём цены тоже не низкие:



Так для чего же тогда выбирать Amazon? Вот какие причины вижу я:


  1. Большое количество полезных сервисов.
  2. Free Tier.

О втором и пойдет речь в этой статье.

Читать дальше →

Serverless tensorflow на AWS Lambda

Время на прочтение7 мин
Количество просмотров11K

Image
Машинное обучение и нейросети становятся все более незаменимыми для многих компаний. Одна из основных проблем, с которыми они сталкиваются — деплой такого рода приложений. Я хочу показать показать практичный и удобный способ подобного деплоя, для которого не требуется быть специалистом в облачных технологиях и кластерах. Для этого мы будем использовать serverless инфраструктуру.

Читать дальше →

Пошаговая инструкция по восстановлению доступа к Linux Amazon EC2 инстансу при потере pem-файла

Время на прочтение8 мин
Количество просмотров9.6K
Если при создании Linux-инстанса в AWS не была создана пара ключей (KeyPair) для доступа к нему через SSH либо они утеряны, то необходимо совершить ряд операций для получения доступа к машине. К уже запущенному инстансу добавить ключи через консоль AWS невозможно. Существует три способа, с помощью которых мы сможем восстановить доступ по SSH к инстансу.

Самый простой способ — настройка ключа с использованием механизма cloud-init (спасибо за подсказку yusman). Но он не работает если права на директорию /home повреждены или дистрибутив не поддерживает директивы cloud-init.

Второй способ — создание образа (Amazon Machine Image) с существующего инстанса и последующий запуск нового инстанса на его основе, но с созданием ключа. Таким образом фактически будет клонирована существующая машина с той лишь разницей, что на последнем этапе возможно создать новые ключи. Создание образа может занять длительное время для инстанса с дисками большого объема, и вам придется настраивать все сервисы, завязанные на эту машину заново. Поэтому данный способ в большинстве случаев займет больше времени.

В официальной документации от Amazon описывается и другой способ. Он позволяет восстановить доступ и свести к минимуму издержки на перенастройку сервисов (по сравнению со вторым способом), которые завязаны на инстанс, к которому потерян доступ. В статье дается его пошаговое описание.
Читать дальше →

Как парни из Storyline вернулись из Кремниевой долины в Минск с $770 тысячами на стартап

Время на прочтение16 мин
Количество просмотров25K
В 2017 году Василий Шинкоренко и Максим Абрамчук создали сервис Storyline, где можно разрабатывать приложения для голосового помощника от Amazon не используя программирование. Парни участвовали в двух акселераторах в Кремниевой долине — Boost VC и Y Combinator. Весной 2018 они получили $770 тысяч инвестиций.

Мы с fillpackart позвонили им и обо всем расспросили — что под капотом сервиса, каково быть разработчиком в стартапе, как им жилось в долине и как скоро голосовые ассистенты изменят мир.


Кросс-облачное программирование с Go Cloud

Время на прочтение5 мин
Количество просмотров7.8K

Введение


Сегодня (прим. переводчика 24-07-2018), команда Go в Google выпустила новый Open Source проект Go Cloud, библиотека и инструменты для разработки в открытом облаке. Этим проектом, мы преследуем цель, чтобы разработчики выбирали язык Go для создания кросс-облачных приложений.

Этот пост обясняет почему мы начали этот проект, детали того как работает Go Cloud, и как вовлечься и начать использовать его.
Читать дальше →

1M HTTP rps на 1 cpu core. DPDK вместо nginx+linux kernel TCP/IP

Время на прочтение15 мин
Количество просмотров15K
Я хочу рассказать о такой штуке как DPDK — это фреймворк для работы с сетью в обход ядра. Т.е. можно прямо из userland писать\читать в очереди сетевой карты, без необходимости в каких либо системных вызовах. Это позволяет экономить много накладных расходов на копирования и прочее. В качестве примера я напишу приложение, отдающее по http тестовую страницу и сравню по скорости с nginx.
Читать дальше →

Вклад авторов