Если хотите знать, откуда дует ветер, отправляйтесь в самое сердце урагана.
Приблизительно такое ощущение сложилось от посещения конференции Google Cloud Next ’19, где три дня разработчики, продакт-менеджеры, специалисты по данным и другие светлые умы делились самыми горячими новостями в сфере разработки приложений и архитектуры, безопасности, управления расходами, анализа данных, гибридных облачных технологий, ML и АІ, внесерверной обработки данных и пр… 30 000 человек, потоки по индустриям и техническим направлениям, почти безостановочные лекции. Вот это ажиотаж!
Расскажу вам, какие важные новости о Google Cloud в 2019-2020 гг. и его 122 обновлениях нельзя упустить, на основе заметок Влада Флакса, CEO компании OWOX, который побывал на конференци.
Пока продукт в закрытой beta, но разработчики уже ждут знакомства с Anthos, который позволяет им писать и запускать гибридные приложения вне зависимости от среды разработки. Локально или в облаке, вам гарантируется одинаковый уровень безопасности и простоты доступа.
Благодаря системе контейнеров и микросервисов, ваши виртуальные машины, сервера и сервисы могут запускаться с самых разных точек планеты (и возможно, Луны)
В Anthos:
Хотя вся техническая начинка базируется на оупен-сорс, такая роскошь в комбинации все еще стоит денег: от $10,000/месяц. Видео-презентацию Anthos полюбопытствуйте здесь.
Еще одна радость для разработчиков, которая поможет наконец-то ответить на вопрос, как запускать приложения с полпинка без ненавистного выбора между локальной или серверной обработкой данных.
Синтезируя продукт, решающий проблемы масштабирования, поддержки и настройки серверов, и ограниченности стандартных процедур, библиотек и языков локальных решений (считайте, скрещивая бульдогов и носорогов) для разработчиков веб-приложений, появился Cloud Run, пока что бета.
Смысл таков: взять все полезное от этих двух подходов. Размещай HTTP-контейнер без сохранения состояния, работая на любом языке, под который все нужные библиотеки и зависимости будут автоматически подтянуты, в полноценном “облаке”, где мощности сервера будут автоматически подтягиваться, если будет меняться нагрузка по трафику. Звучит сложно?
Но это действительно приносит больший time-to-value в процессе разработки: не нужно больше размышлять-выбирать-прицениваться с серверной частью, контейнерная разработка легко управляется и адаптируется с помощью Cloud Code. Создал, запустил, получил результат.
Apigee hybrid (бета-версия) — новая функция системы управления API, предоставляющая возможность управлять API в гибридных кросс-облачных условиях: у себя в центре обработки данных или на общедоступной облачной среде.
Сюда же включено много обновлений по расширению доступа к базовым функциям Google Cloud. А также необходимое оповещение о безопасности APIs.
Это опять же упрощает исполнение задач бизнеса, желающего везде пройти кратчайшим и самым безопасным путем.
Управление данными в Google Cloud основано на принципе: сколько бы данных у тебя не было, пусть управление, перемещение и доступ к этим данным будут простыми. Поэтому в этом году были анонсированы следующие улучшения сервиса:
И много вопросов, связанных с безопасностью и доступом, получили свои обновления. Например, улучшено управление файловой системой облака Google Filestore, единая система согласования доступов к базе теперь более чем удобна, полноценный доступ с помощью AWS V4 ключей станет доступным полностью после тестирования беты.
Для бизнеса это опять же приятные новости, так как ускоряется и упрощается доступ к управлению вашими данными с любой точки мира и расширяется операционная и программно-техническая база под Google Cloud.
Чтобы начать пользоваться этим сервисом скоро не нужно будет делать ничего сверхчеловеческого. Ведь еще одна заповедь Google — упростить все для нетехнического специалиста, сохраняя должный уровень безопасности и приватности.
В зависимости от типа организации, у вас есть опции выбрать одну из четырех схем, обеспечивающую самый быстрый трафик по внутренним или внешним IP-адресам, от локального до глобального уровней, к вашим сервисам Google Cloud, BigQuery или сторонним SaaS-сервисам через VPN или Cloud Interconnect. Кстати, 100 Gbps — это много или мало для Interconnect? Такая емкость подключения порадует любых гигантов мира данных!
К тому же, в бете уже Traffic Director, полностью покрывающий SLA и призванный справляться с сотнями продуктов и сервисов в вашем распоряжении.
Если вы придумали, какое бы еще приложение хотелось бы вам иметь, более чем вероятно, Google уже выпустил его бету.
Более 17 обновлений, призванных спасти вас от даже случайной потери данных, информационного вандализма, фишинга, и пр. Дополнительная защита отдельных периметров, определение вредоносного программного обеспечения, крипто-майнинга или DDoS-атак на основе проприетарных вычислительных моделей.
Кто знает о недостатках систем безопасности больше, чем компания профессионально собирающая данных?
Data Fusion (бета-версия) — полностью управляемый, нативный облачный сервис по объединению данных, призванный принимать и интегрировать данные с разных источников в BigQuery. Все ETL-процессы и структуры данных, вне зависимости от сложности и типа, будут представлены в едином интерфейсе с высоким уровнем защиты, удобством визуализации данных в реальном времени и интеграцией с другими сервисами.
И все это счастье — “для бизнесов любых размеров” и “без технических знаний”.
Без высокотехнической экспертизы, благодаря стандартизированным процедурам, Data Fusion создает и поддерживает ваши данные в формате data lake — озера данных, идеального “вселенского супа” для аналитики.
Но с точки зрения практики OWOX, с data lake все еще много работы до построения аналитической структуры для ежедневных нужд бизнеса.
BigQuery Data Transfer Service теперь поддерживает более 100+ SaaS-приложений, автоматизируя сбор данных по расписанию без единой строчки кода.
Но если вы в поиске персональных решений, вам все еще придется попотеть.
Google упрощает миграцию баз данных любых размеров с таких платформ как Teradata, Amazon Redshift, Amazon S3, и др…
Cloud Dataflow SQL (уже в полной альфа-версии) и Dataflow Flexible Resource Scheduling (FlexRS, в бета-версии) позволяет настраивать потоки с помощью знакомого Standard SQL по расписанию для равно пакетной и потоковой обработки данных. Система сама “решит” за вас, какой способ применить в конкретном случае.
Но все еще нет лучшего, чем сбор данных с пониманием специфики маркетинговых данных.
Не смотря на то, что Google определяет множество своих продуктов как таких, которым не нужны “технические” специалисты, обновления, решения и сервисы для специалистов по данным — это воздух, которым дышит корпорация.
Следующие три обновления (все — беты) касаются как раз этих зубастых технологий.
Сервис Cloud Dataproc autoscalling будет решать боль специалистов по данным с подключением и отключением Hadoop и Spark кластеров на Google Cloud Platform. Dataproc Kerberos TLC включает режим защиты Hadoop на Dataproc с помощью API поддержки протокола Kerberos.
А еще — любители Presto получат возможность работать с Dataproc Presto job type через нативный Dataproc API и писать простые запросы к разрозненным источникам типа Cloud Storage и Hive мета-хранилищам.
Знакомьтесь, бета-версия BigQuery BI Engine, обещающая сервис представления анализа больших данных с управляемым доступом к данным из оперативной памяти, менее секундным ответом на запросы, высокой стабильностью, упрощенной BI-архитектурой и “умной” настройкой исполнения.
Несмотря на столько лет разработки, Google продолжает охватывать множество “упрощенных” моделей, создавая ниши для таких компаний как OWOX BI, которые не боятся прийти к более точным решениям под нужды бизнеса. Также стоимость BigQuery BI Engine пока что немного отталкивает по сравнению с Amazon Kinesis и ClickHouse.
Новый тип таблиц Connected sheets специализирован под нужды специалистов по данным, работающих с BigQuery. Вот это действительно удобная штука, о которой мечтало сотни специалистов по всему миру, ведь ранее необходимо было бы по крайней мере настраивать отдельное API и возится с запросами. А теперь все красиво вписано в единый интерфейс.
Полная библиотека BigQuery ML теперь доступна вместе с новыми типами моделей, вызываемых с помощью SQL-запросов.
Альфа-версия импорта моделей TensorFlow теперь позволяет вызывать их прямо с BigQuery для создания классификатора и прогнозирующих моделей прямо из хранилища. Также можно научить, настроить и запустить DNN модель напрямую из стандартного SQL-интерфейса BigQuery. И вообще много внимания было уделено этой технологии.
В Google подготовили больше 14 обновлений, упрощающих разработку, настройку приложений на АІ с помощью сервисов Google Cloud. И среди них 4 собственно разработанных API, занимающихся самыми разными задачами: от навигации по авторазметке видео с трекингом объектов и автоматической аннотации стримингового видео до библиотек русского и японского языков доступных для NLP-обработки текста на ML-мощностях от Google.
Но более всего привлекает бета-версия Recommendations AI.
Этот будущий сервис-конфетка обещает стать персонализированным советчиком ваших покупателей без ограничения масштабов бизнеса, при этом оставаясь полностью GDPR-послушным.
Вот обещанные достижения, возможные с Recommendations AI:
+90% CTR от рекомендаций
+40% конверсий от рекомендаций
+50% прибыли от рекомендаций
+5% общей прибыли от посещения
Вот как он будет работать:
Что может пойти не так? То, что если бизнес не знает своих покупателей, то не сможет дать нужную рекомендацию (на любом шаге). То, что сила рекомендаций умноженная на маркетинговое давление может вызвать и строго обратный результат.
Но в общих чертах, любой инструмент нужно опробовать, прежде чем судить, и мы с нетерпением ждем альфа-версии!
Тренд “без технических специалистов” и тренд “только для технических специалистов” смешались воедино, и теперь для бизнеса важно быть как можно ближе ко всем актуальным технологиям, чтобы выбрать из них те, которые отвечают бизнес-целям.
Об этом свидетельствует и количество посетителей С-уровня корпоративного мира, посетившего конференцию. Потому как требования, боли и нужды этих специалистов и составляют движущую силу передового бизнеса и технологий всего мира.
Больше всего Google Cloud вкладывается в простоту реализации сложных задач и упрощение жизни главных своих пользователей – больших корпораций и крупных компаний, понимая нетривиальность и нелинейность вызовов современной работы с данными. И все больше превращает программирование и работу с данными в виртуозное нетехническое искусство, исполняемое оркестром продуктов Google Cloud.
Приблизительно такое ощущение сложилось от посещения конференции Google Cloud Next ’19, где три дня разработчики, продакт-менеджеры, специалисты по данным и другие светлые умы делились самыми горячими новостями в сфере разработки приложений и архитектуры, безопасности, управления расходами, анализа данных, гибридных облачных технологий, ML и АІ, внесерверной обработки данных и пр… 30 000 человек, потоки по индустриям и техническим направлениям, почти безостановочные лекции. Вот это ажиотаж!
Расскажу вам, какие важные новости о Google Cloud в 2019-2020 гг. и его 122 обновлениях нельзя упустить, на основе заметок Влада Флакса, CEO компании OWOX, который побывал на конференци.
Продукты: Anthos (ранее — Cloud Services Platform)
Пока продукт в закрытой beta, но разработчики уже ждут знакомства с Anthos, который позволяет им писать и запускать гибридные приложения вне зависимости от среды разработки. Локально или в облаке, вам гарантируется одинаковый уровень безопасности и простоты доступа.
Благодаря системе контейнеров и микросервисов, ваши виртуальные машины, сервера и сервисы могут запускаться с самых разных точек планеты (и возможно, Луны)
В Anthos:
- За локальную оркестрацию контейнерной инфраструктуры отвечает GKE On-Prem — ключевой элемент
- За менеджмент микросервисов — Istio
- За облачные возможности — GCP
Хотя вся техническая начинка базируется на оупен-сорс, такая роскошь в комбинации все еще стоит денег: от $10,000/месяц. Видео-презентацию Anthos полюбопытствуйте здесь.
Продукты: внесерверный, но все еще немного облачный Cloud Run (BETA)
Еще одна радость для разработчиков, которая поможет наконец-то ответить на вопрос, как запускать приложения с полпинка без ненавистного выбора между локальной или серверной обработкой данных.
Синтезируя продукт, решающий проблемы масштабирования, поддержки и настройки серверов, и ограниченности стандартных процедур, библиотек и языков локальных решений (считайте, скрещивая бульдогов и носорогов) для разработчиков веб-приложений, появился Cloud Run, пока что бета.
Смысл таков: взять все полезное от этих двух подходов. Размещай HTTP-контейнер без сохранения состояния, работая на любом языке, под который все нужные библиотеки и зависимости будут автоматически подтянуты, в полноценном “облаке”, где мощности сервера будут автоматически подтягиваться, если будет меняться нагрузка по трафику. Звучит сложно?
Но это действительно приносит больший time-to-value в процессе разработки: не нужно больше размышлять-выбирать-прицениваться с серверной частью, контейнерная разработка легко управляется и адаптируется с помощью Cloud Code. Создал, запустил, получил результат.
Управление API: гибридизация
Apigee hybrid (бета-версия) — новая функция системы управления API, предоставляющая возможность управлять API в гибридных кросс-облачных условиях: у себя в центре обработки данных или на общедоступной облачной среде.
Сюда же включено много обновлений по расширению доступа к базовым функциям Google Cloud. А также необходимое оповещение о безопасности APIs.
Это опять же упрощает исполнение задач бизнеса, желающего везде пройти кратчайшим и самым безопасным путем.
Управление данными: откуда угодно, на чем угодно
Управление данными в Google Cloud основано на принципе: сколько бы данных у тебя не было, пусть управление, перемещение и доступ к этим данным будут простыми. Поэтому в этом году были анонсированы следующие улучшения сервиса:
- Cloud SQL под Microsoft SQL Server (в режиме спецпоказа)
- CloudSQL под PostgreSQL, теперь поддерживается 11 версия
- Доступна мультирегиональная копия Cloud Bigtable
И много вопросов, связанных с безопасностью и доступом, получили свои обновления. Например, улучшено управление файловой системой облака Google Filestore, единая система согласования доступов к базе теперь более чем удобна, полноценный доступ с помощью AWS V4 ключей станет доступным полностью после тестирования беты.
Для бизнеса это опять же приятные новости, так как ускоряется и упрощается доступ к управлению вашими данными с любой точки мира и расширяется операционная и программно-техническая база под Google Cloud.
Чтобы начать пользоваться этим сервисом скоро не нужно будет делать ничего сверхчеловеческого. Ведь еще одна заповедь Google — упростить все для нетехнического специалиста, сохраняя должный уровень безопасности и приватности.
Организация сети
В зависимости от типа организации, у вас есть опции выбрать одну из четырех схем, обеспечивающую самый быстрый трафик по внутренним или внешним IP-адресам, от локального до глобального уровней, к вашим сервисам Google Cloud, BigQuery или сторонним SaaS-сервисам через VPN или Cloud Interconnect. Кстати, 100 Gbps — это много или мало для Interconnect? Такая емкость подключения порадует любых гигантов мира данных!
К тому же, в бете уже Traffic Director, полностью покрывающий SLA и призванный справляться с сотнями продуктов и сервисов в вашем распоряжении.
Если вы придумали, какое бы еще приложение хотелось бы вам иметь, более чем вероятно, Google уже выпустил его бету.
Безопасность и идентификация
Более 17 обновлений, призванных спасти вас от даже случайной потери данных, информационного вандализма, фишинга, и пр. Дополнительная защита отдельных периметров, определение вредоносного программного обеспечения, крипто-майнинга или DDoS-атак на основе проприетарных вычислительных моделей.
Кто знает о недостатках систем безопасности больше, чем компания профессионально собирающая данных?
Аналитика: самое важное и интересное
Data Fusion (бета-версия) — полностью управляемый, нативный облачный сервис по объединению данных, призванный принимать и интегрировать данные с разных источников в BigQuery. Все ETL-процессы и структуры данных, вне зависимости от сложности и типа, будут представлены в едином интерфейсе с высоким уровнем защиты, удобством визуализации данных в реальном времени и интеграцией с другими сервисами.
И все это счастье — “для бизнесов любых размеров” и “без технических знаний”.
Без высокотехнической экспертизы, благодаря стандартизированным процедурам, Data Fusion создает и поддерживает ваши данные в формате data lake — озера данных, идеального “вселенского супа” для аналитики.
Но с точки зрения практики OWOX, с data lake все еще много работы до построения аналитической структуры для ежедневных нужд бизнеса.
BigQuery Data Transfer Service теперь поддерживает более 100+ SaaS-приложений, автоматизируя сбор данных по расписанию без единой строчки кода.
Но если вы в поиске персональных решений, вам все еще придется попотеть.
Google упрощает миграцию баз данных любых размеров с таких платформ как Teradata, Amazon Redshift, Amazon S3, и др…
Cloud Dataflow SQL (уже в полной альфа-версии) и Dataflow Flexible Resource Scheduling (FlexRS, в бета-версии) позволяет настраивать потоки с помощью знакомого Standard SQL по расписанию для равно пакетной и потоковой обработки данных. Система сама “решит” за вас, какой способ применить в конкретном случае.
Но все еще нет лучшего, чем сбор данных с пониманием специфики маркетинговых данных.
Не смотря на то, что Google определяет множество своих продуктов как таких, которым не нужны “технические” специалисты, обновления, решения и сервисы для специалистов по данным — это воздух, которым дышит корпорация.
Следующие три обновления (все — беты) касаются как раз этих зубастых технологий.
Сервис Cloud Dataproc autoscalling будет решать боль специалистов по данным с подключением и отключением Hadoop и Spark кластеров на Google Cloud Platform. Dataproc Kerberos TLC включает режим защиты Hadoop на Dataproc с помощью API поддержки протокола Kerberos.
А еще — любители Presto получат возможность работать с Dataproc Presto job type через нативный Dataproc API и писать простые запросы к разрозненным источникам типа Cloud Storage и Hive мета-хранилищам.
Знакомьтесь, бета-версия BigQuery BI Engine, обещающая сервис представления анализа больших данных с управляемым доступом к данным из оперативной памяти, менее секундным ответом на запросы, высокой стабильностью, упрощенной BI-архитектурой и “умной” настройкой исполнения.
Несмотря на столько лет разработки, Google продолжает охватывать множество “упрощенных” моделей, создавая ниши для таких компаний как OWOX BI, которые не боятся прийти к более точным решениям под нужды бизнеса. Также стоимость BigQuery BI Engine пока что немного отталкивает по сравнению с Amazon Kinesis и ClickHouse.
Новый тип таблиц Connected sheets специализирован под нужды специалистов по данным, работающих с BigQuery. Вот это действительно удобная штука, о которой мечтало сотни специалистов по всему миру, ведь ранее необходимо было бы по крайней мере настраивать отдельное API и возится с запросами. А теперь все красиво вписано в единый интерфейс.
Полная библиотека BigQuery ML теперь доступна вместе с новыми типами моделей, вызываемых с помощью SQL-запросов.
Альфа-версия импорта моделей TensorFlow теперь позволяет вызывать их прямо с BigQuery для создания классификатора и прогнозирующих моделей прямо из хранилища. Также можно научить, настроить и запустить DNN модель напрямую из стандартного SQL-интерфейса BigQuery. И вообще много внимания было уделено этой технологии.
AI & ML: навстречу целевому клиенту
В Google подготовили больше 14 обновлений, упрощающих разработку, настройку приложений на АІ с помощью сервисов Google Cloud. И среди них 4 собственно разработанных API, занимающихся самыми разными задачами: от навигации по авторазметке видео с трекингом объектов и автоматической аннотации стримингового видео до библиотек русского и японского языков доступных для NLP-обработки текста на ML-мощностях от Google.
Но более всего привлекает бета-версия Recommendations AI.
Этот будущий сервис-конфетка обещает стать персонализированным советчиком ваших покупателей без ограничения масштабов бизнеса, при этом оставаясь полностью GDPR-послушным.
Вот обещанные достижения, возможные с Recommendations AI:
+90% CTR от рекомендаций
+40% конверсий от рекомендаций
+50% прибыли от рекомендаций
+5% общей прибыли от посещения
Вот как он будет работать:
Что может пойти не так? То, что если бизнес не знает своих покупателей, то не сможет дать нужную рекомендацию (на любом шаге). То, что сила рекомендаций умноженная на маркетинговое давление может вызвать и строго обратный результат.
Но в общих чертах, любой инструмент нужно опробовать, прежде чем судить, и мы с нетерпением ждем альфа-версии!
Главные выводы
Тренд “без технических специалистов” и тренд “только для технических специалистов” смешались воедино, и теперь для бизнеса важно быть как можно ближе ко всем актуальным технологиям, чтобы выбрать из них те, которые отвечают бизнес-целям.
Об этом свидетельствует и количество посетителей С-уровня корпоративного мира, посетившего конференцию. Потому как требования, боли и нужды этих специалистов и составляют движущую силу передового бизнеса и технологий всего мира.
Больше всего Google Cloud вкладывается в простоту реализации сложных задач и упрощение жизни главных своих пользователей – больших корпораций и крупных компаний, понимая нетривиальность и нелинейность вызовов современной работы с данными. И все больше превращает программирование и работу с данными в виртуозное нетехническое искусство, исполняемое оркестром продуктов Google Cloud.
