Как стать автором
Обновить
3

Google Cloud Platform *

Облачная платформа от Google

Сначала показывать
Порог рейтинга
Уровень сложности

Виртуальные машины А2 – крупнейшие облачные образы с графическими процессорами NVIDIA A100 теперь доступны для всех

Время на прочтение6 мин
Количество просмотров3.4K

Недавно, в нашем Google Cloud блоге, мы анонсировали, что в сервисе Compute Engine появились виртуальные машины A2 на базе графических процессоров NVIDIA Ampere A100 с тензорными ядрами. С их помощью пользователи смогут выполнять машинное обучение и высокопроизводительные вычисления на базе архитектуры NVIDIA CUDA, увеличивая рабочие нагрузки за меньшее время и цену. 

В этой статье, мы хотим рассказать подробнее о том, что представляют из себя виртуальные машины А2, об их производительности и особенностях. И рассказать о том, как мы используют эти машины наши коллеги и партнеры.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии6

Как магия машинного обучения меняет нашу жизнь

Время на прочтение4 мин
Количество просмотров4.9K

Много лет назад я загорелась идеей – научиться программированию, создав собственный сайт. Тогда я ничего не понимала в компьютерах и тем более в серверах. И только одна мысль о том, сколько же мне предстоит узнать нового, будила во мне необыкновенный интерес. Перед сном я обдумывала сотни вариантов своего сайта – от параллакс-эффекта при прокручивании до шрифтов из Google Fonts – и мечтала о будущих проектах.

Прошли годы, и теперь я профессиональный инженер и решаю серьезные технологические задачи – они действительно гораздо сложнее, чем мой первый сайт! Тем не менее, я часто вспоминаю ощущения и эмоции, которые испытала тогда, делая первые шаги в программировании.

Один из веселых способов познакомиться с машинным обучением – это создать что-то для себя. В этой статье я расскажу, как это сделать.

Работая в сфере технологий, вы посвящаете свою жизнь учебе. Глазом не успеешь моргнуть, как самое совершенное ПО моментально заменяется чем-то более продвинутым (хотя я все никак не могу отвыкнуть от старого доброго Vim).

Одно из интереснейших направлений в ИТ – машинное обучение. Большинству из нас не рассказывали о нем в вузах (а у некоторых вообще не было уроков информатики), но скоро машинное обучение станет повсеместным, и оно изменит процесс разработки ПО во всех областях. Неудивительно, что меня часто спрашивают, с чего лучше начать изучение машинного обучения.

Обычно я советую обратиться к таким ресурсам, как курс компании Google под названием Machine Learning Crash Course, а также книга Прикладное машинное обучение с помощью Scikit-Learn, Keras и TensorFlow и курс на сайте Coursera Машинное обучение (автор: Andrew Ng), который нацелен не только на теоретические основы, но и на практику.

Читать далее
Всего голосов 5: ↑4 и ↓1+3
Комментарии0

Автогенерация кода и стейта для существующих ресурсов в Terraform. Terraformer

Время на прочтение6 мин
Количество просмотров5K

Terraformer — консольный инструмент для генерации кода и стейта в форматах HCL и json для уже существующей инфраструктуры.

Читать далее
Всего голосов 13: ↑12 и ↓1+11
Комментарии8

Как натренировать и использовать модель машинного обучения из Google таблиц с помощью BigQuery ML

Время на прочтение6 мин
Количество просмотров5.6K

Электронные таблицы используются везде. Это один из самых удобных инструментов для повышения производительности. С их помощью можно быстро упорядочить, рассчитать и представить данные. Google Таблицы – это приложение для работы с электронными таблицами в составе сервиса Google Workspace, с которым активно работают более 2 миллиардов пользователей

Машинное обучение также стало важным бизнес-инструментом. Когда появилась недорогая возможность высокоточного прогнозирования на основе данных, рынок стал развиваться по новому пути. По оценкам, каждый год доля машинного обучения в бизнесе будет увеличиваться более чем на 40 %.

Это наталкивает на мысль о том, что машинное обучение было бы разумно применять для анализа данных в таблицах. И это так! Тем более теперь для этого есть все средства. О них мы и поговорим в этой статье.

Читать далее
Всего голосов 3: ↑3 и ↓0+3
Комментарии1

Истории

Какие возможности для развертывания в гибридной и мультиоблачной среде открывает Anthos?

Время на прочтение4 мин
Количество просмотров3.8K

Anthos – это управляемая платформа разработки приложений, которая позволяет использовать сервисы и методики Google Cloud в удобной для вас среде, чтобы вы могли быстрее обновлять приложения и обеспечивать их слаженную работу. С помощью платформы Anthos, основанной на Kubernetes, вы можете ускорить разработку корпоративных контейнерных приложений в Google Cloud, локальной среде или облаке. В этой статье мы рассмотрим все возможности для развертывания, доступные с Anthos.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии1

Google признала сложность Kubernetes, поэтому разработала режим «Автопилот»

Время на прочтение4 мин
Количество просмотров20K

Новый режим GKE более дорогой и менее гибкий, но зато проще и безопаснее



Автопилот в GKE управляет подами за вас

О кластерах Kubernetes хорошо известны две вещи. Первое, что это абсолютно лучший инструмент для критически важной задачи — оркестровки контейнеров. И второе: его сложность является барьером для внедрения и общей причиной ошибок. Это признаёт даже Google, изобретатель и главный промоутер Kubernetes.

Чтобы упростить развёртывание и управление кластерами, компания представила всем клиентам GKE доступ к сервису Автопилот, который Google уже давно использует в собственных кластерах Borg. Это автоматическая конфигурация ресурсов на основе машинного обучения.
Читать дальше →
Всего голосов 31: ↑31 и ↓0+31
Комментарии2

Мой опыт с экзаменами GCP: Associate, Architect, Network

Время на прочтение3 мин
Количество просмотров4.2K

Весной 2020 года я решил приступить к изучению Google Cloud Platform: моя фирма является партнером Google и у нас есть некоторые решения на GCP.

Доступ к GCP. Возможно мало кто знает, но получить доступ к платформе может каждый, у кого есть gmail аккаунт. Нужно только подтвердить свою личность с помощью кредитной карты (сразу скажу что не все карты подходят, моя например карта Revolut не проходила). Многие советуют иметь другой аккаунт специально под нужды GCP, не знаю точно с чем это связано. После активации аккаунта вы получаете полный доступ к консоли (это Google так называет свое облачное окружение, CLI же, через который можно выполнять команды называется Cloud Shell) и кредит в валюте вашей страны в эквиваленте 300 доларов США.

Подготовка и процесс сдачи экзамена Associate Cloud Engineer. Основные требования к экзамену можно посмотреть на странице Google Cloud сертификации. Для подготовки к экзамену я использовал различные источники: книга Associate Cloud Engineer Study Guide автор Dan Sullivan в связке с практикой в GCP консоли; видео с ютуб канала ADV-IT о Google Cloud; платформа Qwiklabs с лабораторными работами. Сдавал экзамен в июне 2020 года, как раз когда снова открылись экзаменационные центры в Польше. Для сдачи экзамена нужно зарегестрироваться на сайте Kryterion и забронировать экзамен. Экзамен занимает 2 часа. В конце экзамена ты получаешь информацию – PASS или FAIL, я экзамен сдал. Через несколько дней приходит на электронную почту письмо с доступом к сертификату.

Подготовка и процесс сдачи экзамена Professional Cloud Architect. Для подготовки использовал книгу Google Cloud Certified Professional Cloud Architect Study Guide автор Dan Sullivan. Также на платформе Qwiklabs моя фирма открыла мне  доступ к учебным материалам. Данный экзамен содержит 4 кейса о разных фирмах, на основании которых есть вопросы на экзамене: EHR Healthcare,  Helicopter Racing League,  Mountkirk games,  TerramEarth. Можно легко нагуглить разбор этих кейсов и попробовать создать инфраструктуру в GCP для лучшего понимания. Экзамен сдавал в ноябре 2020 года в экзаменационном центре.  Экзамен длился 2 часа,  экзамен благополучно сдал.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии0

Создание документов на диске Google на базе событий в CRM-системах: аmoCRM и Битрикс24

Время на прочтение5 мин
Количество просмотров4.5K

Появившиеся в 2006 году сервисы Google по работе с текстовыми документами (Google Docs) и таблицами (Google Sheets), дополненные 6 лет спустя возможностями работы с виртуальным диском (Google Drive), завоевали широкую любовь пользователей, лишив компанию Microsoft сложившейся десятилетиями монополии на работу с офисным программным обеспечением.

В связи с популярностью последних часто возникает задача сделать новый или обновить существующий Google-файл в привязке к событиям в CRM-системе.

Разберемся, какие шаги необходимо выполнить, чтобы создать собственный сценарий интеграции.

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии1

Обработка оценок за тесты в Google Forms

Время на прочтение3 мин
Количество просмотров9.6K

В условиях дистанционного обучения преподаватели столкнулись с проблемой дистанционного контроля обученности учащихся. "Дистант" закончился, но сделанные наработки продолжают приносить пользу и дальше.

Одним из простейших способов организовать тестирование через Интернет является использование сервиса Google Forms.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии2

Работа с dbt на базе Google BigQuery

Время на прочтение9 мин
Количество просмотров5.9K

На днях смотрел вебинар OWOX, где Андрей Осипов (веб-аналитик, автор блога web-analytics.me и лектор Школы веб-аналитики Андрея Осипова) рассказал о своем опыте использования dbt. Говорил о том, кому будет полезен инструмент и какие проблемы решает, а самое главное — как не свихнуться со сложной иерархией таблиц и быть уверенным, что все данные считаются корректно. Я решил расшифровать вебинар в статью, потому что так удобнее возвращаться к информации, а она тут, поверьте, того стоит.

Читать далее
Всего голосов 13: ↑13 и ↓0+13
Комментарии1

Как я получил несколько сертификатов по облачным технологиям за 9 месяцев

Время на прочтение5 мин
Количество просмотров12K

Айдар присоединился к EPAM Anywhere в качестве DevOps-инженера полтора года назад, и за это время прошел несколько программ сертификации, какое-то время был на бенче, сменил два проекта, а сейчас работает в двух проектных группах.

Айдар стремится стать экспертом по облачным технологиям, поэтому он посвящает много времени изучению сервисов AWS, Azure и GCP. Теперь Айдар уже является одним из самых сертифицированных профессионалов EPAM и делится своей историей.

Простая мотивирующая история с полезными ссылками.

Читать далее
Всего голосов 13: ↑8 и ↓5+3
Комментарии5

Calico Enterprise: обзор

Время на прочтение6 мин
Количество просмотров2.2K

Translation of this article written by John Armstrong on Jan 20, 2021

Вступая в новый год, самое время поразмышлять о достижениях компании Tigera и о том, насколько  Calico Enterprise изменилась за последний год и как она стала ведущим решением в сфере безопасности и мониторинга сетей и микросервисов Kubernetes. Опыт работы с пользователями корпоративного класса помог Tigera определить наиболее важные требования пользователей для успешного развертывания кластеров Kubernetes и успешного перехода от пилотных проектов к промышленным проектам. Эти знания помогли Tigera создать систему Calico Enterprise, архитектура которой и представлена ниже. Давайте рассмотрим этот многофункциональный слоёный пирог, снизу вверх.

Архитектура корпоративных решений Calico:

Читать далее
Всего голосов 11: ↑9 и ↓2+7
Комментарии1

Работа с Google BigQuery. Считаем деньги

Время на прочтение13 мин
Количество просмотров27K

В данной статье мы хотели бы рассказать о том, как мы в команде Wargaming Platform знакомились с BigQuery, о задаче, которую необходимо было решать, и проблемах, с которыми мы столкнулись. Кроме того, расскажем немного о ценообразовании и об инструментах, имеющихся в BigQuery, с которыми нам удалось поработать, а также предоставим наши рекомендации, как можно сэкономить бюджет во время работы с BigQuery.

Читать далее
Всего голосов 9: ↑9 и ↓0+9
Комментарии13

Ближайшие события

Выжать максимум: Cloud Composer как fully-managed решение для Airflow

Время на прочтение17 мин
Количество просмотров3.9K

Привет, Хабр! Меня зовут Сергей, я Lead Software Engineer/Stream Lead в ЕРАМ, сертифицированный Google Cloud инженер и архитектор. Уже более 10 лет занимаюсь коммерческой разработкой для различных всемирно известных компаний, в основном с фокусом на бэкенд. А еще я очень люблю делиться своими знаниями. Сегодня хочу рассказать про Apache Airflow, который, на мой взгляд, является хорошим инструментом для построения ваших пайплайнов. 

Начнем!
Всего голосов 10: ↑9 и ↓1+8
Комментарии2

Обучение на табличных данных. TABNet. Часть 2. Реализация

Время на прочтение16 мин
Количество просмотров3.4K

Продолжение перевода про архитектуру TABNet. Первая часть здесь

Мы предложили TabNet, новую архитектуру глубокого обучения для табличного обучения. TabNet использует механизм последовательного улучшения выбора подмножества семантически значимых функций для обработки на каждом этапе принятия решения. Выбор функций на основе экземпляров обеспечивает эффективное обучение, поскольку возможности модели полностью используются для наиболее важных (предсказательных) функций, а также дает возможность принимать более интерпретируемые решения с помощью визуализации масок выбора. Мы демонстрируем, что TabNet превосходит предыдущую работу с табличными наборами данных из разных доменов. Наконец, мы демонстрируем значительные преимущества предварительной тренировки без учителя для быстрой адаптации и повышения производительности.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии2

Обучение на табличных данных. TABNet. Часть 1

Время на прочтение18 мин
Количество просмотров7.2K

TabNet – новая высокопроизводительная каноническая архитектура глубокого обучения на основе табличных данных. TabNet использует последовательные оценки выбора функций, которые следует использовать на каждом этапе принятия решения. Это обеспечивает интерпретируемость и эффективность процесса обучения, поскольку способность к обучению определяется более релевантными функциями (наиболее адекватными, согласно рассматриваемым оценкам выбора решения). Показано, что TabNet превосходит другие варианты архитектуры нейронной сети и дерева решений по широкому диапазону табличных наборов скалярных данных при интерпретации атрибутов их влияния на производительность, что ведет к пониманию поведения общей модели.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии0

Как мы случайно сожгли $72 000 за два часа в Google Cloud Platform и чуть не обанкротились

Время на прочтение10 мин
Количество просмотров99K


История о том, как мы оказались на грани банкротства, не успев даже запустить первый продукт, как нам удалось выжить и какие уроки мы извлекли.

В марте 2020 года, когда COVID поразил весь мир, наш стартап Milkie Way тоже сильно пострадал и почти закрылся. Мы сожгли 72 000 долларов во время изучения и внутреннего тестирования Cloud Run с Firebase в течение нескольких часов.
Читать дальше →
Всего голосов 84: ↑76 и ↓8+68
Комментарии197

Обзор на курс специализации от Coursera — Cloud Architecture with Google Cloud

Время на прочтение4 мин
Количество просмотров4.6K

На днях завершил курс специализации на платформе онлайн образования Coursera. Всегда хотел пройти не просто курс, а именно специализацию. Специализация отличается от курса тем, что в специализацию входит набор тематических связанных курсов. В начале, было ожидание, что в специализации, курсы логически взаимосвязаны между собой. Но это не так. Что он из себя представляет, какие знания можно получить, опишу в данном обзоре.


В специализацию входят следующие курсы:


  • Google Cloud Platform Fundamentals: Core Infrastructure
  • Essential Google Cloud Infrastructure: Foundation
  • Essential Google Cloud Infrastructure: Core Services
  • Elastic Google Cloud Infrastructure: Scaling and Automation
  • Reliable Google Cloud Infrastructure: Design and Process
  • Architecting with Google Kubernetes Engine: Foundations
  • Preparing for the Google Cloud Professional Cloud Architect Exam

Да, последний курс посвящен к защите сертификации от Google. Сертификация стоит 200 долларов, больше информации можно найти здесь.


Читать дальше →
Рейтинг0
Комментарии2

Скорая Психологическая Помощь | Product Weekend

Время на прочтение4 мин
Количество просмотров2.3K

Здравствуй, Хабровчанин!
Эта публикация - продолжение статьи "Экстренная психологическая помощь | Prototyping Weekend". Статья повествует о создании прототипа Онлайн службы Скорой Психологической Помощи в рамках хакатона, который был организован пражским хакерспейсом Brmlab. Этот проект - мой первый опыт в качестве product owner и full stack developer.

Читать далее
Рейтинг0
Комментарии0

TensorFlow на Google Cloud. Масштабируемый рабочий процесс

Время на прочтение10 мин
Количество просмотров3.1K

Сфера Data Science настолько обширна и настолько быстро развивается, что изучить «вообще всё» в ней попросту невозможно. Но вас не должно это демотивировать, ведь выход один — развиваться и не дать себя захватить страху «как же мало я знаю».

Под катом проект, задействующий мощь современных облачных платформ машинного обучения в классической задаче распознания кошек и собак. Проект написан так, чтобы вы могли адаптировать его под свои задачи.
Приятного чтения!
Всего голосов 17: ↑17 и ↓0+17
Комментарии3