Как стать автором
Обновить

Cockroach Labs провела тесты облачных провайдеров

Время на прочтение 4 мин
Количество просмотров 3.5K
Высокая производительность *Amazon Web Services *Microsoft Azure *Google Cloud Platform *Облачные сервисы *

Самые производительные инстансы у каждого провайдера

Компания Cockroach Labs, которая занимается бизнесом с распределёнными SQL, проанализировала производительность публичных облаков и опубликовала результаты сравнительного тестирования.

Тестеры пришли к выводу, что облачная платформа Google выигрывает по пропускной способности, а AWS лидирует по производительности CPU и минимальной сетевой задержке. Но кому-то важнее соотношение цена/производительность. Такие тесты тоже провели.
Читать дальше →
Всего голосов 9: ↑7 и ↓2 +5
Комментарии 1

Серия вебинаров по серверной разработке на Kotlin. Продолжение

Время на прочтение 3 мин
Количество просмотров 3.2K
Блог компании JetBrains Kotlin *Конференции

Мы продолжаем серию вебинаров о разработке серверных приложений на Kotlin (на английском языке). С 18 февраля по 18 марта пройдут четыре вебинара, на которых мы вместе с вами рассмотрим прикладную бэкенд-разработку на Kotlin в формате живых кодинг-сессий. Вебинары подойдут для Kotlin- и Java-разработчиков любого уровня подготовленности, в том числе для разработчиков мобильных приложений без опыта серверной разработки.

Спикеры из JetBrains, VMware, Confluent и Oracle расскажут о реактивном программировании, асинхронных приложениях на базе фреймворка Ktor, создании микросервисов с помощью Helidon и других аспектах применения Kotlin в серверной разработке:

Going Reactive With Spring WebFlux, Kotlin Coroutines, and RSocket, 18 февраля, 19:00 – 20:00 МСК

Building Microservices With Helidon and Kotlin, 10 марта, 19:00 – 20:00 МСК 

— Ktor From the Ground Up, 17 марта, 20:30 – 21:30 МСК 

Applied Event Streaming With Apache Kafka, Kotlin, and Ktor, 18 марта, 19:00 – 20:00 МСК 

Во время вебинаров вы сможете задавать вопросы спикерам и организаторам. Подробнее о каждом из вебинаров читайте ниже.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 0

Молния: предстоящие вебинары про Serverless технологии

Время на прочтение 2 мин
Количество просмотров 724
Разработка мобильных приложений *Amazon Web Services *Microsoft Azure *Google Cloud Platform *Serverless *

Привет, Хабр! Уже завтра Amazon проводит Serverless Immersion Day, на котором будут практические упражнения по бессерверным архитектурам, методам развертывания на AWS и  функциям таких сервисов, как Lambda, API Gateway и сервисов. Также я собрал для вас краткий список предстоящий мероприятий посвященных Serverless технологиям от крупнейших облачных провайдеров.

Читать далее
Всего голосов 17: ↑14 и ↓3 +11
Комментарии 0

Как Google Cloud вдохнул жизнь в Pokémon GO

Время на прочтение 4 мин
Количество просмотров 15K
Блог компании Google Developers Разработка мобильных приложений *Разработка игр *
Перевод
В течение всей моей карьеры инженера, я приложил руку к запуску множества продуктов, завоевавших миллионы пользователей. Люди принимают продукт, обычно, постепенно, в течение нескольких месяцев, когда внедрение новых возможностей и архитектурных изменений распланировано на достаточно долгий период. Но никогда раньше я не видел ничего даже близкого к тому росту, который компания Niantic, клиент Google Cloud, испытала с Pokémon GO.

В качестве затравки я начну с картинки, стоящей тысячи слов:


Читать дальше →
Всего голосов 31: ↑24 и ↓7 +17
Комментарии 18

Система рекомендаций интернет магазина на основе методов машинного обучения в Compute Engine (Google Cloud Platform)

Время на прочтение 16 мин
Количество просмотров 14K
Блог компании Softline Программирование *Google App Engine *Google API *Машинное обучение *
Туториал
Перевод
С помощью сервисов Google Cloud Platform можно создать эффективную масштабируемую систему рекомендаций для интернет-магазина.

На рынке интернет-торговли сложилась интересная ситуация. Хотя общий денежный поток вырос, увеличилось и количество продавцов. Это привело к тому, что доля каждого магазина уменьшилась, а конкуренция между становится все напряженнее. Один из способов увеличить средний размер покупки (а значит, и прибыль) – предлагать покупателям дополнительные товары, которые могут их заинтересовать.

Из этой статьи вы узнаете, как на базе Cloud Platform настроить среду для поддержки базовой системы рекомендаций, которую со временем можно будет доработать и расширить.

В ней описывается решение для сайта агентства по аренде недвижимости, позволяющее подбирать и предлагать рекомендации пользователям.


Читать дальше →
Всего голосов 17: ↑17 и ↓0 +17
Комментарии 0

Spotify: миграция подсистемы событий в Google Cloud (часть 1)

Время на прочтение 7 мин
Количество просмотров 5.4K
Блог компании Google Developers Высокая производительность *Мессенджеры *Google Cloud Platform *
Перевод
Всякий раз, когда пользователь выполняет действие в клиенте Spotify – такое как, например, прослушивание песни или поиск исполнителя – небольшое количество информации, событие, отправляется на наши сервера. Доставка событий, процесс безопасной и надежной транспортировки информации от клиентов по всему миру к нашей центральной системе обработки, — интересная задача. В серии этих статей мы рассмотрим некоторые решения, которые реализовали в этой области. Если быть более точными, то мы рассмотрим архитектуру нашей новой системы доставки событий и расскажем, почему решили развернуть ее в Google Cloud.

В этой первой статье мы объясним то, как работает наша текущая система доставки событий и расскажем о некоторых уроках, которые извлекли в ходе работы с ней. В следующей – рассмотрим создание новой системы и то, почему мы выбрали Cloud Pub/Sub в качестве транспортного механизма для всех событий. В третьей, и последней, статье мы объясним, как работаем со всеми событиями с помощью DataFlow, и насколько быстро все это происходит.

image
Читать дальше →
Всего голосов 25: ↑24 и ↓1 +23
Комментарии 0

Spotify: миграция подсистемы событий в Google Cloud (часть 2)

Время на прочтение 9 мин
Количество просмотров 6.6K
Блог компании Google Developers Высокая производительность *Мессенджеры *Google Cloud Platform *
Перевод
В первой статье мы говорили о том, как работала старая система доставки сообщений и тех уроках, которые мы вынесли из ее работы. Во этой (второй) статье мы расскажем об архитектуре новой системы и том, почему мы выбрали Google Cloud Pub/Sub в качестве транспортного механизма для всех событий.

image
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Комментарии 1

Spotify: миграция подсистемы событий в Google Cloud (часть 3)

Время на прочтение 8 мин
Количество просмотров 2.4K
Блог компании Google Developers Высокая производительность *Мессенджеры *Google Cloud Platform *
Перевод
В первой статье этой серии мы говорили о том, как работает старая система доставки сообщений и некоторых выводах, которые мы сделали по итогам ее работы. Во второй мы рассмотрели конструкцию новой системы и то, почему мы выбрали Cloud Pub/Sub в качестве транспортного механизма для всех событий. В этой третьей и последней статье мы объясним, как мы намереваемся работать со всеми опубликованными событиями при помощи Dataflow, и что мы узнали о таком подходе.

image
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 0

Рассказ о том, как я ездил на Google Next 17. Краткая выжимка по анонсам и самому важному

Время на прочтение 11 мин
Количество просмотров 8.3K
Блог компании Voximplant Google App Engine *Машинное обучение *Google Cloud Platform *
Всем привет! Я хочу рассказать о том, как съездил на конференцию Google Next. На конференции я был первый раз, забегая вперед скажу, что остался доволен и почти все самые интересные технические анонсы были во второй день, но, давайте обо всем по порядку.

image
Всего голосов 26: ↑25 и ↓1 +24
Комментарии 8

Выбираем бесплатный сервер в облаке для тестовых целей, домашних проектов и т.д

Время на прочтение 7 мин
Количество просмотров 321K
Настройка Linux *Серверное администрирование *DevOps *
Всегда хотелось познакомиться с облачными сервисами, но на моих работах они либо не использовались, либо не в моём отделе. Платить свои деньги не очень хотелось за такое знакомство, да и всё это казалось довольно сложным. Куча разных тарифов, что-то бесплатно, что-то платно. Но на самом деле каждый может разобраться с этим и самое главное легко. Настолько легко, что вы просто обязаны получить свой собственный бесплатный облачный сервер прямо сейчас. Осталось только выбрать какой.

Статья будет полезна тем, кто ещё не пользовался облачными серверами.


Читать дальше →
Всего голосов 37: ↑36 и ↓1 +35
Комментарии 110

Бэкап скриптами в облако Google Cloud Platform (GCP) за пять минут

Время на прочтение 3 мин
Количество просмотров 11K
Облачные вычисления *Резервное копирование *Хранение данных *
Туториал
Давно уже ребята задают вопросы, как организовать резервное копирование в облако, при этом не тратя много сил, времени и лучше всего бесплатно. Поводом для написания статьи послужил очередной диалог на эту тему. По итогами долгой переписки с коллегами, объяснения теории и перебора вариантов практической реализации, я решил написать об этом. Все просто как пять пальцев, но часто спрашивают КАК.

Резервное копирование в облако — тема уже давно не новая. Каждый выбирает своего облачного провайдера, свои инструменты для копирования и пр. Вендоров много, здесь мы рассмотрим именно Google Cloud Platform. Мы все реализуем самыми простыми скриптами, без покупки софта, покупки дисковых хранилищ и прочего.
Читать дальше →
Всего голосов 10: ↑6 и ↓4 +2
Комментарии 10

Доступный ИИ для любой компании: Cloud AutoML

Время на прочтение 4 мин
Количество просмотров 17K
Блог компании Google Developers Машинное обучение *Google Cloud Platform *Google Cloud Vision API *

image

Привет, Хабр! Сегодня информацией делится Джиа Ли, глава департамента R&D, Cloud AI. Джиа с командой сделали ИИ легким в применении и доступным даже для неспециалистов. Надеемся, что теперь ИИ придет в каждый бизнес, как некогда пришел компьютер в каждый дом, и читаем, как выглядит и что умеет Cloud AutoML.

Всего голосов 32: ↑30 и ↓2 +28
Комментарии 5

Почему не следует пользоваться Google Cloud

Время на прочтение 3 мин
Количество просмотров 92K
Управление проектами *Google Cloud Platform *Облачные сервисы *
Перевод
Дополнение (2 июля 2018 г): сотрудники поддержки Google Cloud Platform (GCP) заверили, что такое больше не повторится. Их слова: «Многие люди (в рамках GCP) заинтересованы в том, чтобы улучшить ситуацию не только для вас, но для всех клиентов».

Примечание: это пост не о качестве облачных сервисов Google. Они превосходны, наравне с AWS. Речь идёт о «резких движениях без предупреждения», когда они полностью отключают все ваши системы, если сотрудники (или машины) вдруг решили: что-то не так. C нами это случилось второй раз.

Предыстория


Наш проект в продакшне использует GCP для мониторинга сотен ветроэнергетических установок (ВЭУ) и десятков солнечных электростанций, разбросанных по восьми странам. У нас центры управления с экранами на всю стену: там приборные панели, набитые метриками, за которыми следят круглосуточно. Менеджеры объектов используют эту систему для контроля в реальном времени состояния отдельных ВЭУ и солнечных установок. Если требуется вмешательство, оно производится немедленно. Команды разработки и прогнозирования используют систему для отработки алгоритмов на данных в BigQuery. Все действия непосредственно транслируются в нашу прибыль. Мы имеем дело с ветровой/солнечной энергией — скоропортящимся товаром. Если мы генерируем излишек, то не можем сохранить его и продать позже. Если генерируем недостаточно, то платим штрафы. По этой причине объекты нужно отслеживать 24/7, чтобы не выходить за рамки потребностей энергосистемы и заключенных соглашений о покупке электроэнергии.
Читать дальше →
Всего голосов 171: ↑170 и ↓1 +169
Комментарии 166

Кросс-облачное программирование с Go Cloud

Время на прочтение 5 мин
Количество просмотров 6.4K
Программирование *Amazon Web Services *Go *Google Cloud Platform *Облачные сервисы *
Перевод

Введение


Сегодня (прим. переводчика 24-07-2018), команда Go в Google выпустила новый Open Source проект Go Cloud, библиотека и инструменты для разработки в открытом облаке. Этим проектом, мы преследуем цель, чтобы разработчики выбирали язык Go для создания кросс-облачных приложений.

Этот пост обясняет почему мы начали этот проект, детали того как работает Go Cloud, и как вовлечься и начать использовать его.
Читать дальше →
Всего голосов 15: ↑12 и ↓3 +9
Комментарии 2

Новые Google Compute Engine образы VM для Deep Learning

Время на прочтение 8 мин
Количество просмотров 5.5K
Облачные вычисления *Машинное обучение *Google Cloud Platform *Облачные сервисы *Искусственный интеллект
Перевод

Cоавтор статьи: Mike Cheng


Google Cloud Platform теперь в своем портфолио имеет образы виртуальных машин, разработанные специально для тех, кто занимается Deep Learning. Сегодня мы поговорим о том что эти образы из себя представляют, какие преимущества они дают разработчикам и исследователям, ну и само собой о том, как создать виртуальную машину на их базе.

Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 0

Переход на облачную платформу Google Cloud (Google Cloud Platform – GCP)

Время на прочтение 7 мин
Количество просмотров 8.9K
Блог компании Southbridge Системное администрирование *Серверное администрирование *DevOps *
Перевод

[часть 2 из 2]


[часть 1 из 2]





Как нам это удалось


Мы решили перейти на GCP, чтобы повысить производительность приложений — увеличив при этом масштаб, но без существенных затрат. Весь процесс занял более 2 месяцев. Для решения этой задачи мы сформировали специальную группу инженеров.


В этой публикации мы расскажем о выбранном подходе и его реализации, а также о том, как нам удалось достичь главной цели, — осуществить этот процесс максимально гладко и перенести всю инфраструктуру на облачную платформу Google Cloud Platform, не снижая качества обслуживания пользователей.


image

Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Комментарии 0

Будущее за облаками

Время на прочтение 6 мин
Количество просмотров 4.3K
Облачные вычисления *Облачные сервисы *
Из песочницы

1.1. Введение


Говоря о развитии ИТ в последние несколько лет, нельзя не отметить долю Облачных решений среди прочих. Давайте разберемся, что же такое облачные решения, технологии и т.д.
Облачные вычисления (или же облачные сервисы) — это особый набор инструментов и методов логистики, хранения и обработки данных на удаленных вычислительных ресурсах, в которые входят сервера, системы хранения данных (СХД), системы передачи данных (СПД).

При производстве ИТ продукта, будь то сайт-визитка, интернет магазин, высоконагруженный портал или система баз данных (БД) существует по крайней мере два варианта размещения вашего продукта.

На территории заказчика (англ. — on-premise) или в облаке (англ. — cloud). При этом нельзя точно сказать, что выгоднее по деньгам в общем случае.

Если вы используете сервер, где у Вас крутиться небольшая БД, не требующая отказоустойчивости и простой сайт без особой нагрузки — да, наземное размещение это ваш вариант. Но как только у Вас возрастают нагрузки и потребности — следует задуматься о том, чтобы переехать в облако.
Читать дальше →
Всего голосов 12: ↑8 и ↓4 +4
Комментарии 12

Terraformer — Infrastructure To Code

Время на прочтение 5 мин
Количество просмотров 14K
Open source *Amazon Web Services *Go *DevOps *Google Cloud Platform *
image
Хотел бы рассказать про новый CLI tool который я написал для решения одной старой проблемы.

Проблема


Terraform уже давно стал стандартом в Devops/Cloud/IT сообществе. Вещь очень удобная и полезная чтоб заниматся infrastructure as code. Есть много прелестей в Terraform а так же много вилок, острых ножей и граблей.
С Terraform очень удобно делать новые вещи и потом ими управлять, менять или удалять. А что делать тем у кого есть огромная инфраструктура в облаке и не создано через Terraform? Переписывать и пересоздавать все облако как то дорого и небезопасно.
Я сталкивался с такой проблемой на 2 работах, самый простой пример когда хочешь что все было в гите виде терраформ файлов, а у тебя 250+ бакетов и писать их для терраформа руками как то много.
Есть issue еще с 2014 года в terrafom которую закрыли в 2016 с надеждой что будет import.

Вообщем все как на картинке только справа налево
Читать дальше →
Всего голосов 30: ↑29 и ↓1 +28
Комментарии 14

Мониторинг безопасности облаков

Время на прочтение 30 мин
Количество просмотров 8.1K
Блог компании Cisco Информационная безопасность *Облачные сервисы *
Перенос данных и приложений в облака представляет собой новую проблему для корпоративных SOCов, которые не всегда готовы к мониторингу чужой инфраструктуры. По данным Netoskope среднее предприятие (видимо все-таки в США) использует 1246 различных облачных сервиса, что на 22% больше, чем год назад. 1246 облачных сервисов!!! 175 из них касаются HR-сервисов, 170 связано с маркетингом, 110 — в области коммуникаций и 76 в финансах и CRM. В Cisco используется “всего” 700 внешних облачных сервисов. Поэтому меня немного смущают эти цифры. Но в любом случае проблема не в них, а в том, что облака достаточно активно начинают применяться все большим числом компаний, которые хотели бы иметь те же возможности по мониторингу облачной инфраструктуры, как и в собственной сети. И эта тенденция нарастает — по данным американской счетной палаты к 2023 г. в США собираются закрыть 1200 ЦОДов (6250 уже закрылись). Но переход к облаку — это не просто “а давайте перенесем наши сервера к внешнему провайдеру». Новая ИТ-архитектура, новое программное обеспечение, новые процессы, новые ограничения… Все это вносит существенные изменения в работу не только ИТ, но и ИБ. И если с обеспечением безопасности самого облака провайдеры научились как-то справляться (благо рекомендаций достаточно много), то с облачным мониторингом ИБ, особенно на SaaS-платформах, есть существенные сложности, о которых мы и поговорим.

image
Читать дальше →
Всего голосов 7: ↑4 и ↓3 +1
Комментарии 2

GCP: Разбор вычислительного стека Google Cloud Platform

Время на прочтение 8 мин
Количество просмотров 16K
Блог компании OTUS Облачные вычисления *Google Cloud Platform *Облачные сервисы *
Перевод

Перевод статьи подготовлен специально для студентов курса «Облачные сервисы».


Интересно развиваться в данном направлении? Смотрите запись профессионального мастер-класса «AWS EC2 сервис», который провёл Егор Зуев — TeamLead в компании InBit и автор образовательной программы в OTUS.



Google Cloud Platform (GCP) предлагает множество сервисов, и в частности вычислительный стек, который содержит Google Compute Engine (GCE), Google Kubernetes Engine (ранее — Container Engine) (GKE), Google App Engine (GAE) и Google Cloud Functions (GCF). Все эти сервисы имеют крутые названия, но могут быть не совсем очевидными в отношении их функций и того, что делает их уникальными по отношению друг к другу. Эта статья предназначена для тех, кто только знакомится с облачными концепциями, в частности с облачными сервисами и GCP.

Читать дальше →
Всего голосов 11: ↑10 и ↓1 +9
Комментарии 0