Все потоки

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

СтатьиПостыНовостиАвторыКомпании

alexkowel 17 сен 2018 в 15:19

Облачные сервисы для WebGL? Нет, спасибо

3 мин

5K

Amazon Web Services * WebGL * Облачные вычисления * Облачные сервисы *

Несколько месяцев назад некоторые из наших клиентов начали сообщать о проблемах с подключением к нашему хостингу WebGL-приложений Verge3D Network. Как оказалось, причиной этого были заблокированные Роскомнадзором IP-адреса Amazon Web Services.

Неприятно, конечно, но терпимо. Verge3D — десктопный тулкит, а публикация на амазоновском хостинге это приятная, но не критичная для работы фича. Тем не менее, такие события заставляют задуматься о перспективах. Собственно, эта статья содержит некоторые соображения об облачных сервисах вообще и WebGL-сервисах в частности.

Читать дальше →

+5

fiftin 1 сен 2018 в 19:07

Размещение веб-приложения на Amazon Web Services. Дёшево. Возможно ли это?

3 мин

35K

Amazon Web Services * Облачные сервисы * Веб-разработка *

Наверняка все слышали про Amazon Web Services (AWS). А некоторые даже заглянули на страницу Pricing. И заметили, что цены там заметно выше, чем на DigitalOcean, Linode, Hetzner Cloud и др. Вот таблица для сравнения цен:

	Тип	RAM	CPUs	Диск	Трафик	Цена
DigitalOcean	-	4 GB	2 vCPUs	80 GB	4 TB	$20
Linode	Linode 4GB	4 GB	2 vCPUs	80 GB	4 TB	$20
AWS	t2.medium	4 GB	2 vCPUs	-	-	$40

Amazon берёт деньги за трафик, причём цены тоже не низкие:

Так для чего же тогда выбирать Amazon? Вот какие причины вижу я:

Большое количество полезных сервисов.
Free Tier.

О втором и пойдет речь в этой статье.

Читать дальше →

+23

ryfeus 30 авг 2018 в 10:10

Serverless tensorflow на AWS Lambda

7 мин

11K

Блог компании Open Data ScienceМашинное обучение * TensorFlow * IT-инфраструктура * Amazon Web Services *

Машинное обучение и нейросети становятся все более незаменимыми для многих компаний. Одна из основных проблем, с которыми они сталкиваются — деплой такого рода приложений. Я хочу показать показать практичный и удобный способ подобного деплоя, для которого не требуется быть специалистом в облачных технологиях и кластерах. Для этого мы будем использовать serverless инфраструктуру.

Читать дальше →

+27

Xordal 15 авг 2018 в 12:39

Пошаговая инструкция по восстановлению доступа к Linux Amazon EC2 инстансу при потере pem-файла

8 мин

9.6K

*nix * Amazon Web Services *

Туториал

Из песочницы

Если при создании Linux-инстанса в AWS не была создана пара ключей (KeyPair) для доступа к нему через SSH либо они утеряны, то необходимо совершить ряд операций для получения доступа к машине. К уже запущенному инстансу добавить ключи через консоль AWS невозможно. Существует три способа, с помощью которых мы сможем восстановить доступ по SSH к инстансу.

Самый простой способ — настройка ключа с использованием механизма cloud-init (спасибо за подсказку yusman). Но он не работает если права на директорию /home повреждены или дистрибутив не поддерживает директивы cloud-init.

Второй способ — создание образа (Amazon Machine Image) с существующего инстанса и последующий запуск нового инстанса на его основе, но с созданием ключа. Таким образом фактически будет клонирована существующая машина с той лишь разницей, что на последнем этапе возможно создать новые ключи. Создание образа может занять длительное время для инстанса с дисками большого объема, и вам придется настраивать все сервисы, завязанные на эту машину заново. Поэтому данный способ в большинстве случаев займет больше времени.

В официальной документации от Amazon описывается и другой способ. Он позволяет восстановить доступ и свести к минимуму издержки на перенастройку сервисов (по сравнению со вторым способом), которые завязаны на инстанс, к которому потерян доступ. В статье дается его пошаговое описание.

Читать дальше →

+3

arttom 9 авг 2018 в 13:45

Как парни из Storyline вернулись из Кремниевой долины в Минск с $770 тысячами на стартап

16 мин

25K

Развитие стартапаИнтернет вещейИнтервьюIT-компанииAmazon Web Services *

В 2017 году Василий Шинкоренко и Максим Абрамчук создали сервис Storyline, где можно разрабатывать приложения для голосового помощника от Amazon не используя программирование. Парни участвовали в двух акселераторах в Кремниевой долине — Boost VC и Y Combinator. Весной 2018 они получили $770 тысяч инвестиций.

Мы с fillpackart позвонили им и обо всем расспросили — что под капотом сервиса, каково быть разработчиком в стартапе, как им жилось в долине и как скоро голосовые ассистенты изменят мир.

+33

houk 25 июл 2018 в 12:22

Кросс-облачное программирование с Go Cloud

5 мин

7.9K

Программирование * Облачные сервисы * Google Cloud Platform * Go * Amazon Web Services *

Перевод

Введение

Сегодня (прим. переводчика 24-07-2018), команда Go в Google выпустила новый Open Source проект Go Cloud, библиотека и инструменты для разработки в открытом облаке. Этим проектом, мы преследуем цель, чтобы разработчики выбирали язык Go для создания кросс-облачных приложений.

Этот пост обясняет почему мы начали этот проект, детали того как работает Go Cloud, и как вовлечься и начать использовать его.

Читать дальше →

+6

taxx 10 июл 2018 в 02:49

1M HTTP rps на 1 cpu core. DPDK вместо nginx+linux kernel TCP/IP

15 мин

15K

Amazon Web Services * C * Программирование * Сетевые технологии * Системное программирование *

Я хочу рассказать о такой штуке как DPDK — это фреймворк для работы с сетью в обход ядра. Т.е. можно прямо из userland писать\читать в очереди сетевой карты, без необходимости в каких либо системных вызовах. Это позволяет экономить много накладных расходов на копирования и прочее. В качестве примера я напишу приложение, отдающее по http тестовую страницу и сравню по скорости с nginx.

Читать дальше →

+17

SanSYS 24 июн 2018 в 10:36

Unrestricted File Upload at Apple.com

2 мин

9.9K

Информационная безопасность * Amazon Web Services *

Перевод

Внимание — это фривольный перевод заметки о том, как именно Jonathan Bouman нашёл публичный AWS S3, который использовался на одном из поддоменнов apple.com. Плюс заметка хороша тем, что наглядно демонстрирует пользу от нескольких маленьких утилит в совокупности с терпением.

Читать дальше →

+28

shurup 6 июн 2018 в 09:07

Kubernetes в Amazon (EKS) стал общедоступным

3 мин

14K

Блог компании ФлантAmazon Web Services * Kubernetes * Облачные вычисления *

Вчера компания Amazon Web Services объявила о полноценном запуске своего облачного сервиса на базе Kubernetes — EKS (Amazon Elastic Container Service for Kubernetes). Впервые он был анонсирован в ноябре прошлого года (вскоре после того, как AWS присоединилась к стоящему за Kubernetes фонду CNCF), но тогда он имел статус предварительного доступа. Что скрывается за EKS?

Читать дальше →

+24

zdanevich-vitaly 29 мая 2018 в 12:28

Как я год строил расширениe для браузера которое читает статьи голосом (с синхронизацией в подкаст)

16 мин

7.2K

Расширения для браузеровAmazon Web Services *

Не один раз я пробовал использовать сторонние API для получения голоса из текста который мне интересно прочитать — можно переключить чтение на уши когда глаза устали, или слушать во время комьюта. Знаю я такой не один, даже люди далекие от айти бывает загружают куда-то текст и скачивают mp3. И подкасты/аудиокниги становятся все популярнее, и голосовые интерфейсы. Очевидно что аудитория есть, топовые экстеншены в маркете Хрома на эту тематику имеют сотни тысяч пользователей. Но голоса от Амазона обычно у них нет (лучший из доступных, лучше нового от Гугла), а где есть нет чего-то другого, например возможности слушать в экстеншене — а не только добавлять в свой подкаст. Предложил идею проекта внутри компании — был получен апрув — пошла разработка.

+12

smarteq 6 мая 2018 в 05:30

Еще один вариант генерации превьюшек для изображений с использованием AWS Lambda & golang + nodejs + nginx

7 мин

6.7K

Go * Amazon Web Services *

Здравствуйте уважаемые пользователи Хабра!

Меня зовут Никита, в текущий момент времени я тружусь backend-разработчиком в стартапе мобильного приложения. Наконец у меня появилась действительно нетривиальная и достаточно интересная задача решением которой хочу поделиться с Вами.

О чем собственно пойдет разговор? В разрабатываемом мобильном приложении имеется работа с изображениями. Как можно нетрудно догадаться: где есть картинки, там скорее всего появятся превьюхи. Еще одно условие, практически первая общая задача которая была мне поставлена: сделать чтобы все это работало и масштабировалось в облаке на Амазоне. Если немного лирики: был телефонный разговор со знакомым партнера по бизнесу в режиме громкой связи, где я получил пачку ценных указаний главная мысль которых звучит просто: уходите от серверного мышления. Ну ок, уходим так уходим.

Генерация изображений это достаточно дорогая операция в плане ресурсов. Этот участок бэкэнда предсказуемо плохо показал себя на таком, своего рода «нагрузочном тестировании», которое я проводил на очень дохлой VDS-ке при практически дефолтных настройках LAMP, по крайней мере без дополнительного тюнинга, где все неоптимизированные места вылезут сразу и гарантированно. По этой причине я принял решение данную задачу убрать подальше от пхп-бэкэнда. Пусть он занимается тем что дает более-менее однородную нагрузку, а именно запросы к БД, логика приложения и JSON-ответы и тому подобная малоинтересная API-шная рутина. Те, кто знаком с Амазоном скажут: а в чем проблема? Почему нельзя настроить масштабирование EC2 инстансов в автоматическом режиме и оставить на PHP эту задачу? Отвечаю: «так микросервиснее». А если серьезно — есть масса нюансов в контексте архитектуры бэкэнда, выходящих за пределы данной статьи, по этому оставлю данный вопрос без ответа. Каждый на него ответит сам в контексте своей архитектуры, если он возникнет. Я всего лишь хочу предложить решение и милости прошу под кат.

Читать дальше →

+10

m1rko 28 апр 2018 в 13:42

Как Netflix эвакуируется из региона AWS за семь минут

5 мин

26K

Amazon Web Services * Python * Высоконагруженные системы * Серверная оптимизация * Серверное администрирование *

Перевод

Netflix уменьшил время аварийного переключения с 45 до 7 минут без каких-либо затрат

Изображение: Florida Memory. Доработано Opensource.com. CC BY-SA 4.0

Зимой 2012 года Netflix пережил длительный сбой, уйдя в отключку на семь часов из-за проблем с сервисом AWS Elastic Load Balancer в регионе US-East (Netflix работает на AWS — у нас нет собственных дата-центров. Всё ваше взаимодействие с Netflix происходит через AWS, кроме самого потокового видео. Как только вы нажмете Play, начинает загружаться видеопоток из нашей собственной сети CDN). Во время сбоя ни один пакет из региона US-East не доходил до наших серверов.

Чтобы такого больше не повторилось, мы решили создать систему аварийного переключения, устойчивую к сбоям базовых поставщиков услуг. Аварийное переключение (failover) — это система обеспечения отказоустойчивости, когда в случае сбоя основной системы автоматически активируется резервное оборудование.

Читать дальше →

+44

yaak 9 апр 2018 в 11:15

Эффективное использование spot-инстансов AWS

3 мин

11K

Amazon Web Services * DevOps * IT-инфраструктура *

Spot-инстансы — это по сути продажа свободных в данный момент ресурсов со отличной скидкой. При этом инстанс могут в любой момент выключить и забрать обратно. В статье я расскажу о особенностях и практике работы с этим предложением от AWS.

Читать дальше →

+16

GolovinskayaAlbina 26 мар 2018 в 13:37

Aws Lambda Go 1.x, Kinesis, CloudSearch

5 мин

4K

Go * Amazon Web Services *

Туториал

В предыдущей статье я описала как создать простую лямбду на Golang, которая принимает на вход простой объект из двух полей и такой же простой объект отдает на выходе. Теперь немного усложним задачу, подсоединив к лямбде в качестве источника данных Kinesis, а результат обработки записей Kinesis мы будем перекидывать в CloudSearch. Никакой особенной логики в лямбде не будет для упрощения: просто примем запросы от Kinesis, залогируем их в CloudWatch, преобразуем и отправим в CloudSearch.

Читать дальше →

+10

GolovinskayaAlbina 22 мар 2018 в 11:40

Amazon Lambda with Golang

3 мин

9.5K

Amazon Web Services * Go *

Туториал

В середине января этого года Амазон анонсировал поддержку Go в своих лямбдах.
Отличная новость, но сейчас я пишу эти строки, не имея никакого опыта написания кода на Golang, чтобы, проходя через пеньки и ухабы параллельно с написанием статьи, прийти к первой своей работающей лямбде на Go.

Читать дальше →

+8

cazorla19 22 фев 2018 в 09:40

Интервью портала A Cloud Guru с Келси Хайтауэром: о DevOps, Kubernetes и serverless

9 мин

6.3K

Блог компании FUNCORPAmazon Web Services * DevOps * Google Cloud Platform * Облачные вычисления *

Перевод

Наверняка не все знают, что по нагрузке и числу пользователей iFunny является настоящим highload-сервисом. API обслуживает в пиках порядка 15000 запросов в секунду, система аналитики обрабатывает около 5 миллиардов событий в сутки, а для поддержки полного функционала работает до 400 инстансов EC2. Поэтому для приложения очень важно иметь сильную команду инженеров. Чтобы решать типичные проблемы высоконагруженных систем и улучшать свою работу каждый день, команда iFunny постоянно ищет новые инструменты и решения. И в этот раз невозможно было пройти мимо интервью одного из основных контрибьюторов мирового IT-сообщества — Келси Хайтауэра. Достойно перевода и вашего внимания.

+14

SanDark7 20 фев 2018 в 08:32

Анонс Serverless Moscow Meetup #1

1 мин

1.5K

Блог компании Rambler&CoAmazon Web Services *

Всем привет! Первый митап в России по технологии Serverless пройдет 1-ого марта в Rambler&Co. Мы поговорим о том, что такое Serverless и почему появился этот подход, а также рассмотрим два практических кейса: построение аналитической системы для мобильного приложения и сбор данных с систем умного дома.

Читать дальше →

+4

mintfoto 13 фев 2018 в 12:32

3-х дневное падение облачного сервиса Битрикс24

3 мин

24K

ХостингОблачные вычисления * IT-инфраструктура * CRM-системы * Amazon Web Services *

Произошло, пожалуй, самое крупное падение сервиса Битрикс24 за свою историю.В общей сложности на протяжении 3 дней у пользователей Российского сегмента возникали трудности с доступностью www.bitrix24.ru, www.bitrix24.by и www.bitrix24.kz Общее количество зарегистрированных в сервисе компаний составляет около 3 000 000.

Падает все и международный сервис Российского производства не исключение. Предлагаю читателям ознакомиться с хронологией событий данного падения и восстановления.
В конце я сформулировал несколько вопросов, которые интересовали большинство пользователей сервиса и меня лично.

Читать дальше →

+48

marika_reka 13 фев 2018 в 07:09

Amazon S3 и все-все-все: выбираем объектное хранилище

7 мин

68K

IT-инфраструктура * Облачные вычисления * Amazon Web Services * Хранение данных *

Самые известные на мировом рынке объектные хранилища — это Amazon S3 (Simple Storage Service), Google Cloud Storage и Microsoft Blobs Storage. Они надежны, доступны через интернет и масштабируются до сотен петабайт. Наиболее популярный способ доступа к объектному хранилищу — S3 RESTful API от компании Amazon. Есть и альтернатива, OpenStack Swift — поддерживает оба API и даже имеет собственное (как у Microsoft или Google, например). Дополнительно предоставляется доступ по другим файловым и блочным протоколам вроде WebDAV, NFS и FTP, но в контексте этой статьи мы тестируем только доступ по протоколу HTTPS через разнообразные API.

Для сравнения возьмем отечественные публичные объектные хранилища. Их не так много, и мы рассмотрим наиболее заметных игроков российского рынка: Mail.Ru Cloud Solutions, servers.ru, Selectel, Техносерв и Ростелеком.

Читать дальше →

+26

yurymkomarov 16 янв 2018 в 15:58

Еще раз о SWAP в Linux «на горячую» на AWS EC2 Instance

3 мин

7.6K

DevOps * Amazon Web Services * *nix *

Из песочницы

Все мы знаем, как важен SWAP. И как без него бывает плохо. Особенно когда ОЗУ не так много, а на сервере появился "прожорливый" процесс. Да и дискового пространства впритык на сервере. А работоспособность нужно восстановить прямо сейчас...

В данной статье хочу рассмотреть способы добавления SWAP на AWS EC2 серверах "на горячую", без перезагрузки сервера.

Читать дальше →

+4

1 2 ...

14

15 16 ...