Обновить
13.23

Google Cloud Platform *

Облачная платформа от Google

Сначала показывать
Порог рейтинга
Уровень сложности

Обработка оценок за тесты в Google Forms

Время на прочтение3 мин
Охват и читатели11K

В условиях дистанционного обучения преподаватели столкнулись с проблемой дистанционного контроля обученности учащихся. "Дистант" закончился, но сделанные наработки продолжают приносить пользу и дальше.

Одним из простейших способов организовать тестирование через Интернет является использование сервиса Google Forms.

Читать далее

Работа с dbt на базе Google BigQuery

Время на прочтение9 мин
Охват и читатели7.4K

На днях смотрел вебинар OWOX, где Андрей Осипов (веб-аналитик, автор блога web-analytics.me и лектор Школы веб-аналитики Андрея Осипова) рассказал о своем опыте использования dbt. Говорил о том, кому будет полезен инструмент и какие проблемы решает, а самое главное — как не свихнуться со сложной иерархией таблиц и быть уверенным, что все данные считаются корректно. Я решил расшифровать вебинар в статью, потому что так удобнее возвращаться к информации, а она тут, поверьте, того стоит.

Читать далее

Как я получил несколько сертификатов по облачным технологиям за 9 месяцев

Время на прочтение5 мин
Охват и читатели12K

Айдар присоединился к EPAM Anywhere в качестве DevOps-инженера полтора года назад, и за это время прошел несколько программ сертификации, какое-то время был на бенче, сменил два проекта, а сейчас работает в двух проектных группах.

Айдар стремится стать экспертом по облачным технологиям, поэтому он посвящает много времени изучению сервисов AWS, Azure и GCP. Теперь Айдар уже является одним из самых сертифицированных профессионалов EPAM и делится своей историей.

Простая мотивирующая история с полезными ссылками.

Читать далее

Calico Enterprise: обзор

Время на прочтение6 мин
Охват и читатели2.5K

Translation of this article written by John Armstrong on Jan 20, 2021

Вступая в новый год, самое время поразмышлять о достижениях компании Tigera и о том, насколько  Calico Enterprise изменилась за последний год и как она стала ведущим решением в сфере безопасности и мониторинга сетей и микросервисов Kubernetes. Опыт работы с пользователями корпоративного класса помог Tigera определить наиболее важные требования пользователей для успешного развертывания кластеров Kubernetes и успешного перехода от пилотных проектов к промышленным проектам. Эти знания помогли Tigera создать систему Calico Enterprise, архитектура которой и представлена ниже. Давайте рассмотрим этот многофункциональный слоёный пирог, снизу вверх.

Архитектура корпоративных решений Calico:

Читать далее

Работа с Google BigQuery. Считаем деньги

Время на прочтение13 мин
Охват и читатели42K

В данной статье мы хотели бы рассказать о том, как мы в команде Wargaming Platform знакомились с BigQuery, о задаче, которую необходимо было решать, и проблемах, с которыми мы столкнулись. Кроме того, расскажем немного о ценообразовании и об инструментах, имеющихся в BigQuery, с которыми нам удалось поработать, а также предоставим наши рекомендации, как можно сэкономить бюджет во время работы с BigQuery.

Читать далее

Выжать максимум: Cloud Composer как fully-managed решение для Airflow

Время на прочтение17 мин
Охват и читатели4.7K

Привет, Хабр! Меня зовут Сергей, я Lead Software Engineer/Stream Lead в ЕРАМ, сертифицированный Google Cloud инженер и архитектор. Уже более 10 лет занимаюсь коммерческой разработкой для различных всемирно известных компаний, в основном с фокусом на бэкенд. А еще я очень люблю делиться своими знаниями. Сегодня хочу рассказать про Apache Airflow, который, на мой взгляд, является хорошим инструментом для построения ваших пайплайнов. 

Начнем!

Обучение на табличных данных. TABNet. Часть 2. Реализация

Время на прочтение16 мин
Охват и читатели4.7K

Продолжение перевода про архитектуру TABNet. Первая часть здесь

Мы предложили TabNet, новую архитектуру глубокого обучения для табличного обучения. TabNet использует механизм последовательного улучшения выбора подмножества семантически значимых функций для обработки на каждом этапе принятия решения. Выбор функций на основе экземпляров обеспечивает эффективное обучение, поскольку возможности модели полностью используются для наиболее важных (предсказательных) функций, а также дает возможность принимать более интерпретируемые решения с помощью визуализации масок выбора. Мы демонстрируем, что TabNet превосходит предыдущую работу с табличными наборами данных из разных доменов. Наконец, мы демонстрируем значительные преимущества предварительной тренировки без учителя для быстрой адаптации и повышения производительности.

Читать далее

Обучение на табличных данных. TABNet. Часть 1

Время на прочтение18 мин
Охват и читатели11K

TabNet – новая высокопроизводительная каноническая архитектура глубокого обучения на основе табличных данных. TabNet использует последовательные оценки выбора функций, которые следует использовать на каждом этапе принятия решения. Это обеспечивает интерпретируемость и эффективность процесса обучения, поскольку способность к обучению определяется более релевантными функциями (наиболее адекватными, согласно рассматриваемым оценкам выбора решения). Показано, что TabNet превосходит другие варианты архитектуры нейронной сети и дерева решений по широкому диапазону табличных наборов скалярных данных при интерпретации атрибутов их влияния на производительность, что ведет к пониманию поведения общей модели.

Читать далее

Как мы случайно сожгли $72 000 за два часа в Google Cloud Platform и чуть не обанкротились

Время на прочтение10 мин
Охват и читатели103K


История о том, как мы оказались на грани банкротства, не успев даже запустить первый продукт, как нам удалось выжить и какие уроки мы извлекли.

В марте 2020 года, когда COVID поразил весь мир, наш стартап Milkie Way тоже сильно пострадал и почти закрылся. Мы сожгли 72 000 долларов во время изучения и внутреннего тестирования Cloud Run с Firebase в течение нескольких часов.
Читать дальше →

Обзор на курс специализации от Coursera — Cloud Architecture with Google Cloud

Время на прочтение4 мин
Охват и читатели5.3K

На днях завершил курс специализации на платформе онлайн образования Coursera. Всегда хотел пройти не просто курс, а именно специализацию. Специализация отличается от курса тем, что в специализацию входит набор тематических связанных курсов. В начале, было ожидание, что в специализации, курсы логически взаимосвязаны между собой. Но это не так. Что он из себя представляет, какие знания можно получить, опишу в данном обзоре.


В специализацию входят следующие курсы:


  • Google Cloud Platform Fundamentals: Core Infrastructure
  • Essential Google Cloud Infrastructure: Foundation
  • Essential Google Cloud Infrastructure: Core Services
  • Elastic Google Cloud Infrastructure: Scaling and Automation
  • Reliable Google Cloud Infrastructure: Design and Process
  • Architecting with Google Kubernetes Engine: Foundations
  • Preparing for the Google Cloud Professional Cloud Architect Exam

Да, последний курс посвящен к защите сертификации от Google. Сертификация стоит 200 долларов, больше информации можно найти здесь.


Читать дальше →

Скорая Психологическая Помощь | Product Weekend

Время на прочтение4 мин
Охват и читатели2.5K

Здравствуй, Хабровчанин!
Эта публикация - продолжение статьи "Экстренная психологическая помощь | Prototyping Weekend". Статья повествует о создании прототипа Онлайн службы Скорой Психологической Помощи в рамках хакатона, который был организован пражским хакерспейсом Brmlab. Этот проект - мой первый опыт в качестве product owner и full stack developer.

Читать далее

TensorFlow на Google Cloud. Масштабируемый рабочий процесс

Время на прочтение10 мин
Охват и читатели3.4K

Сфера Data Science настолько обширна и настолько быстро развивается, что изучить «вообще всё» в ней попросту невозможно. Но вас не должно это демотивировать, ведь выход один — развиваться и не дать себя захватить страху «как же мало я знаю».

Под катом проект, задействующий мощь современных облачных платформ машинного обучения в классической задаче распознания кошек и собак. Проект написан так, чтобы вы могли адаптировать его под свои задачи.
Приятного чтения!

Ускоряем разработку для Cloud Run с помощью Cloud Code

Время на прочтение4 мин
Охват и читатели4.9K

При разработке сервисов для полностью управляемой контейнерной платформы Cloud Run, вы, скорее всего, быстро устанете постоянно переключаться между редактором кода, терминалом и Google Cloud Console. Мало того, вам ещё придется по много раз, при каждом развертывании, выполнять одни и те же команды. Cloud Code – это набор инструментов, включающий все необходимое для написания, отладки и развертывания облачных приложений. Он повышает эффективность разработки в Google Cloud за счет использования плагинов для популярных сред разработки, таких как VS Code и IntelliJ. С его помощью вы сможете легко заниматься разработкой в Cloud Run. Подробнее под катом.

Читать дальше →

Ближайшие события

Учимся обращаться к данным и запрашивать их при помощи Google BigQuery. С примерами на Python и R

Время на прочтение4 мин
Охват и читатели9.8K
Привет, Хабр!

Совсем недавно у нас вышла подробная книга о работе с хранилищем данных Google BigQuery. Сегодня мы решили вновь кратко затронуть эту тему и опубликовать небольшой кейс о выполнении запросов к данным BigQuery на Python и R.

Сообщите в комментариях, интересует ли публикация на тему машинного обучения с применением BigQuery


Читать дальше →

Анонсируем Google Cloud Next OnAir EMEA

Время на прочтение2 мин
Охват и читатели1.3K

Привет, Хабр!


На прошлой неделе завершилась наша онлайн конференция посвященная облачным решениям Google Cloud Next ‘20: OnAir. Несмотря на то, что на конференции было много интересного, а весь контент доступен онлайн, мы понимаем что одна глобальная конференция не может удовлетворить интересы всех разработчиков и компаний по всему миру. Именно поэтому, чтобы удовлетворить уникальные потребности пользователей Google Cloud в регионе EMEA, 29 сентября мы запускаем новое мероприятие Next OnAir специально подготовленное для региона EMEA.

Читать дальше →

Как загрузить данные в Google BigQuery

Время на прочтение5 мин
Охват и читатели14K
Перевод статьи подготовлен в преддверии старта курса «Нереляционные базы данных».




В этой статье мы рассмотрим варианты загрузки данных в облачное хранилище Google BigQuery. Сюда входят простые способы загрузки данных из CSV/JSON файлов и способы загрузки через API или расширение.

С помощью Google BigQuery (GBQ) можно собирать данные из разных источников и анализировать их с помощью SQL-запросов. Среди преимуществ GBQ — высокая скорость вычислений даже на больших объемах данных и низкая стоимость.

Зачем нужно загружать данные в единое хранилище? Если вы хотите использовать сквозную аналитику, генерировать отчеты из сырых данных и оценивать эффективность вашего маркетинга, то вам нужен Google BigQuery.
Читать дальше →

Дорогой Google Cloud, отказ от обратной совместимости тебя убивает

Время на прочтение20 мин
Охват и читатели19K
Чёрт возьми, Google, я не хотел снова писать в блог. У меня так много дел. Ведение блога требует времени, энергии и креатива, которые я мог бы использовать с пользой: мои книги, музыка, моя игра и так далее. Но ты меня достаточно разозлил, и придётся это написать.

Так что давай покончим с этим.

Начну с небольшой, но поучительной истории из тех времён, когда я только начал работать в Google. Знаю, что в последнее время я наговорил много плохого о Google, но меня расстраивает, когда родная компания регулярно принимает некомпетентные бизнес-решения. При этом нужно отдать должное: внутренняя инфраструктура Google действительно экстраординарная, можно смело утверждать, что сегодня нет ничего лучше. Основатели Google были гораздо лучшими инженерами, чем я когда-либо стану, и эта история только подтверждает данный факт.
Читать дальше →

Google представил Confidential VMs для Google Cloud Confidential Computing

Время на прочтение4 мин
Охват и читатели3.3K

Компания Google запустила виртуальные машины на серверных процессорах EPYC от компании AMD, позволяющие шифровать данные в процессе использования виртуальных машин, а не только в их остановленном состоянии и при их перемещении.

Читать далее

Экстренная психологическая помощь | Prototyping Weekend

Время на прочтение2 мин
Охват и читатели3.2K

#openDevelopment #codeSaveLives
Привет Хабр! Я завершил работу над прототипом платформы, которая объединяет психологов-добровольцев и людей, нуждающихся в экстренной помощи. Это инициатива в ответ на насилие, происходящее в настоящее время в Беларуси и Ливане:
https://brmlab.cz/project/belhack/start

Читать далее

Документирование архитектуры: введение

Время на прочтение4 мин
Охват и читатели14K

Привет, меня зовут Владимир Иванов, и я архитектор ПО в компании EPAM. В своей работе мне постоянно приходится документировать программные решения, которые предстоит создать. Я решил поделиться некоторыми аспектами этой деятельности с вами, ведь вам тоже это может пригодиться.


Как вы рисуете диаграммы для вашего ПО? На какие вопросы они должны ответить? Зачем рисовать что-либо вообще? Давайте разберёмся.


Читать дальше →