Как стать автором
Обновить
3.6

Google Cloud Platform *

Облачная платформа от Google

Сначала показывать
Порог рейтинга
Уровень сложности

Доклады про битву CI и CD, оркестрацию и секреты OpenStack

Время на прочтение3 мин
Количество просмотров7.7K

27 сентября мы провели второй митап «Орки тут» — про оркестрацию, автоматизацию и полевое применение CI/CD. В этом посте полные видео и таймкоды с важными местами из трех докладов.



Темы такие:


  • Environment as a Service — про эксплуатацию и секреты настройки OpenStack
  • Pod, Cloud and two Smoking Hubs — про масштабирование Selenium-фермы
  • CI vs CD: гонка вооружений — про то, как «воевали» CI и CD в Яндекс.Деньгах
Всего голосов 13: ↑12 и ↓1+11
Комментарии1

7 лучших практик по эксплуатации контейнеров по версии Google

Время на прочтение5 мин
Количество просмотров24K
Прим. перев.: Автор оригинальной статьи — Théo Chamley, архитектор облачных решений Google. В этой публикации для блога Google Cloud он представил краткую выжимку из более детального руководства его компании, названного «Best Practices for Operating Containers». В нём специалисты Google собрали лучшие практики по эксплуатации контейнеров в контексте использования Google Kubernetes Engine и не только, затронув широкий спектр тем: от безопасности до мониторинга и журналирования. Итак, какие практики в работе с контейнерами наиболее важны по мнению Google?

Читать дальше →
Всего голосов 34: ↑34 и ↓0+34
Комментарии9

Почему TPU так хорошо подходят для глубинного обучения?

Время на прочтение5 мин
Количество просмотров41K

Тензорный процессор третьего поколения

Тензорный процессор Google — интегральная схема специального назначения (ASIC), разработанная с нуля компанией Google для выполнения задач по машинному обучению. Он работает в нескольких основных продуктах Google, включая Translate, Photos, Search Assistant и Gmail. Облачный TPU обеспечивает преимущества, связанные с масштабируемостью и лёгкостью использования, всем разработчикам и специалистам по изучению данных, запускающим передовые модели машинного обучения в облаке Google. На конференции Google Next ‘18 мы объявили о том, что Cloud TPU v2 теперь доступен для всех пользователей, включая бесплатные пробные учётные записи, а Cloud TPU v3 доступен для альфа-тестирования.
Читать дальше →
Всего голосов 42: ↑40 и ↓2+38
Комментарии31

Новые Google Compute Engine образы VM для Deep Learning

Время на прочтение8 мин
Количество просмотров6.1K

Cоавтор статьи: Mike Cheng


Google Cloud Platform теперь в своем портфолио имеет образы виртуальных машин, разработанные специально для тех, кто занимается Deep Learning. Сегодня мы поговорим о том что эти образы из себя представляют, какие преимущества они дают разработчикам и исследователям, ну и само собой о том, как создать виртуальную машину на их базе.

Читать дальше →
Всего голосов 9: ↑9 и ↓0+9
Комментарии0

Истории

Кросс-облачное программирование с Go Cloud

Время на прочтение5 мин
Количество просмотров7.2K

Введение


Сегодня (прим. переводчика 24-07-2018), команда Go в Google выпустила новый Open Source проект Go Cloud, библиотека и инструменты для разработки в открытом облаке. Этим проектом, мы преследуем цель, чтобы разработчики выбирали язык Go для создания кросс-облачных приложений.

Этот пост обясняет почему мы начали этот проект, детали того как работает Go Cloud, и как вовлечься и начать использовать его.
Читать дальше →
Всего голосов 15: ↑12 и ↓3+9
Комментарии2

Google проложит частный кабель через Атлантику

Время на прочтение3 мин
Количество просмотров6.5K


Компания Google анонсировала проект нового подводного кабеля Dunant, названного в честь Анри Дюнана, инициатора создания международной гуманитарной организации Красный Крест, первого в истории лауреата Нобелевской премии мира.

Как медики Красного Креста помогают раненым на поле боя, так и кабель Dunant в каком-то роде призван помочь кластеру в Северной Виргинии (Northern Virginia Cloud Region), где сейчас Google строит два больших дата-центра. Эти дата-центры станут ключевым элементом инфраструктуры Google Cloud на Восточном побережье США. В свою очередь, Dunant свяжет этот кластер с Европой. Первый трафик пойдёт по кабелю в 2020 году.
Читать дальше →
Всего голосов 12: ↑11 и ↓1+10
Комментарии10

Почему не следует пользоваться Google Cloud

Время на прочтение3 мин
Количество просмотров93K
Дополнение (2 июля 2018 г): сотрудники поддержки Google Cloud Platform (GCP) заверили, что такое больше не повторится. Их слова: «Многие люди (в рамках GCP) заинтересованы в том, чтобы улучшить ситуацию не только для вас, но для всех клиентов».

Примечание: это пост не о качестве облачных сервисов Google. Они превосходны, наравне с AWS. Речь идёт о «резких движениях без предупреждения», когда они полностью отключают все ваши системы, если сотрудники (или машины) вдруг решили: что-то не так. C нами это случилось второй раз.

Предыстория


Наш проект в продакшне использует GCP для мониторинга сотен ветроэнергетических установок (ВЭУ) и десятков солнечных электростанций, разбросанных по восьми странам. У нас центры управления с экранами на всю стену: там приборные панели, набитые метриками, за которыми следят круглосуточно. Менеджеры объектов используют эту систему для контроля в реальном времени состояния отдельных ВЭУ и солнечных установок. Если требуется вмешательство, оно производится немедленно. Команды разработки и прогнозирования используют систему для отработки алгоритмов на данных в BigQuery. Все действия непосредственно транслируются в нашу прибыль. Мы имеем дело с ветровой/солнечной энергией — скоропортящимся товаром. Если мы генерируем излишек, то не можем сохранить его и продать позже. Если генерируем недостаточно, то платим штрафы. По этой причине объекты нужно отслеживать 24/7, чтобы не выходить за рамки потребностей энергосистемы и заключенных соглашений о покупке электроэнергии.
Читать дальше →
Всего голосов 171: ↑170 и ↓1+169
Комментарии166

Google Cloud Storage c PHP: сохранение файлов с публичным доступом

Время на прочтение7 мин
Количество просмотров12K
В связи с тем, что предыдущий сервис с помощью которого я хранил изображения накрылся медным тазом (скорее всего из-за того, что был не прибыльный), мне пришлось искать другие варианты хранения изображений. Сервера я использую бюджетные и не хотелось бы мне платить приличную цену за дополнительные 10 ГБ дисковой памяти. Изучая рынок я наткнулся на Google Cloud Storage (GCS) и решил, что данный продукт мне подойдет (ну как минимум можно протестировать). В рунете (да и не только в нем) мало уделяется внимания для настройки GCS с использованием PHP, поэтому я решил внести свою лепту в это направление.

В данной статье будет рассмотрено 2 варианта настройки GCS для загрузки файлов (в примере будет реализована загрузка изображения) с помощью php-клиента и с помощью существующего sdk (утилита gsutil) используя shell. Итак, поехали!
Читать дальше →
Всего голосов 14: ↑13 и ↓1+12
Комментарии5

Google Cloud: новая платформа и возможности машинного обучения

Время на прочтение7 мин
Количество просмотров7.8K
Здравствуйте, коллеги.

В последнее время мы вынашиваем планы издать книгу по обработке естественного языка. Одним из наиболее масштабных решений, которые определяют перспективы этой отрасли, несомненно, является платформа Google Cloud, как нельзя лучше адаптированная для машинного обучения. Просим высказываться о востребованности этой книги



и почитать под катом о небольшой библиотеке, предназначенной для обработки естественного языка на R.
Читать дальше →
Всего голосов 13: ↑13 и ↓0+13
Комментарии3

Сравнение Google TPUv2 и Nvidia V100 на ResNet-50

Время на прочтение7 мин
Количество просмотров16K


Недавно Google добавила к списку облачных услуг Tensor Processing Unit v2 (TPUv2) — процессор, специально разработанный для ускорения глубокого обучения. Это второе поколение первого в мире общедоступного ускорителя глубокого обучения, который претендует на альтернативу графическим процессорам Nvidia. Недавно мы рассказывали о первых впечатлениях. Многие просили провести более детальное сравнение с графическими процессорами Nvidia V100.

Объективно и осмысленно сравнить ускорители глубокого обучения — нетривиальная задача. Но из-за будущей важности этой категории продуктов и отсутствия подробных сравнений мы чувствовали необходимость провести самостоятельные тесты. Сюда входит и учёт мнений потенциально противоположных сторон. Вот почему мы связались с инженерами Google и Nvidia — и предложили им прокомментировать черновик этой статьи. Чтобы гарантировать отсутствие предвзятости, мы пригласили также независимых экспертов. Благодаря этому получилось, насколько нам известно, самое полное на сегодняшний день сравнение TPUv2 и V100.
Читать дальше →
Всего голосов 35: ↑33 и ↓2+31
Комментарии5

Пишем Telegram-бота на Go для поиска в Википедии

Время на прочтение18 мин
Количество просмотров87K
Содержание
  • Создаем бота
  • Пишем код
  • Разворачиваем бота
  • Заключение

Сейчас очень популярен телеграм и написание ботов для него стало неким hello world наших дней, ввиду чего при мысли о том что можно написать сейчас, многие сразу же думают о написании телеграм бота.


Будучи студентом, я как и все студенты очень часто посещаю википедию параллельно уделяя время и телеграмму. Было решено найти способ совместить нахождение в телеграмме и возможность найти нужный мне материал в википедии, собственно так и появился этот бот(на момент написания бота я даже не подозревал о том что есть бот для этой же цели от команды телеграма).

Читать дальше →
Всего голосов 13: ↑9 и ↓4+5
Комментарии23

Бенчмарк нового тензорного процессора Google для глубинного обучения

Время на прочтение5 мин
Количество просмотров17K

Каждое устройство Cloud TPU состоит из четырёх «чипов TPUv2». В чипе 16 ГБ памяти и два ядра, каждое ядро с двумя юнитами для умножения матриц. Вместе два ядра выдают 45 TFLOPS, в общей сложности 180 TFLOPS и 64 ГБ памяти на один TPU

Большинство из нас осуществляет глубинное обучение на Nvidia GPU. В настоящее время практически нет альтернатив. Тензорный процессор Google (Tensor Processing Unit, TPU) — специально разработанный чип для глубинного обучения, который должен изменить ситуацию.

Через девять месяцев после первоначального анонса две недели назад Google наконец-то выпустила TPUv2 и открыла доступ первым бета-тестерам на платформе Google Cloud. Мы в компании RiseML воспользовались возможностью и прогнали парочку быстрых бенчмарков. Хотим поделиться своим опытом и предварительными результатами.

Давно мы ждали появления конкуренция на рынке оборудования для глубинного обучения. Она должна разрушить монополию Nvidia и определить, как будет выглядеть будущая инфраструктура глубинного обучения.
Читать дальше →
Всего голосов 33: ↑32 и ↓1+31
Комментарии13

Интервью портала A Cloud Guru с Келси Хайтауэром: о DevOps, Kubernetes и serverless

Время на прочтение9 мин
Количество просмотров6.2K

image


Наверняка не все знают, что по нагрузке и числу пользователей iFunny является настоящим highload-сервисом. API обслуживает в пиках порядка 15000 запросов в секунду, система аналитики обрабатывает около 5 миллиардов событий в сутки, а для поддержки полного функционала работает до 400 инстансов EC2. Поэтому для приложения очень важно иметь сильную команду инженеров. Чтобы решать типичные проблемы высоконагруженных систем и улучшать свою работу каждый день, команда iFunny постоянно ищет новые инструменты и решения. И в этот раз невозможно было пройти мимо интервью одного из основных контрибьюторов мирового IT-сообщества — Келси Хайтауэра. Достойно перевода и вашего внимания.

Всего голосов 19: ↑18 и ↓1+17
Комментарии0

Ближайшие события

Заметки о развертывании Ruby on Rails Deployment в Google Cloud Kubernetes Engine

Время на прочтение19 мин
Количество просмотров5.6K


Я использую Google Cloud с Kubernetes Engine в течение 2 месяцев. На самом деле мне не понадобилось и месяца, чтобы уложить все в голове, но потребовалось еще столько же, чтобы разобраться с некоторыми неприятностями.


TL;DR: Google делает довольно хорошую работу, поэтому AWS не расслабляется. Если вы хорошо знаете AWS, я бы посоветовал протестировать Google Cloud. Возможно, из-за мышечной памяти мне было бы комфортнее с AWS, но я изучил Google Cloud и Kubernetes и уверен в них для большинства моих сценариев.


Я не эксперт, поэтому примите мои слова с долей скептицизма. Google Cloud и Kubernetes – одна из тех тем, о которых я очень хочу поговорить, но я не всегда могу подобрать правильные слова и надеюсь, что вы получите верное представление о предлагаемых решениях.


Цель статьи – сохранить некоторые фрагменты и мысли для дальнейшего использования. Поэтому имейте в виду, что это не пошаговое руководство. Сперва я намеревался написать руководство, но потом понял, что это почти как написать целую книгу, так что не в этот раз.

Читать дальше →
Всего голосов 17: ↑17 и ↓0+17
Комментарии1

Личный опыт работы с Firebase Cloud Firestore

Время на прочтение3 мин
Количество просмотров21K

Всем привет! В последнее время все чаще использую Firebase в своих проектах: очень удобно обходится без фактического написания серверной части. Хочу поделиться небольшим опытом работы на стороне фронтенда. В данном случае это Angular, поэтому используется официальная библиотека AngularFire. Наперед отмечу, что в Android лучше обстоят дела с библиотеками и реализацией возможностей Firebase, как мне показалось.

Читать дальше →
Всего голосов 15: ↑14 и ↓1+13
Комментарии11

Бесплатная GPU Tesla K80 для ваших экспериментов с нейросетями

Время на прочтение6 мин
Количество просмотров72K


Около месяца назад Google сервис Colaboratory, предоставляющий доступ к Jupyter ноутбукам, включил возможность бесплатно использовать GPU Tesla K80 с 13 Гб видеопамяти на борту. Если до сих пор единственным препятствием для погружения в мир нейросетей могло быть отсутствие доступа к GPU, теперь Вы можете смело сказать, “Держись Deep Learning, я иду!”.


Я попробовал использовать Colaboratory для работы над kaggle задачами. Мне больше всего не хватало возможности удобно сохранять натренированные tensorflow модели и использовать tensorboard. В данном посте, я хочу поделиться опытом и рассказать, как эти возможности добавить в colab. А напоследок покажу, как можно получить доступ к контейнеру по ssh и пользоваться привычными удобными инструментами bash, screen, rsync.

Читать дальше →
Всего голосов 44: ↑42 и ↓2+40
Комментарии29

Анализируй это. Mista.ru

Время на прочтение69 мин
Количество просмотров15K


What, How, Why


Форум Mista.ru — один из самых старых и активных форумов, посвященных 1С. Первое сообщение датировано 2000 годом и на текущий момент счетчик тем перевалил за 800000, а количество сообщений больше 16 000 000. Форум был настолько популярен, что его даже пытались "зеркалировать", так как содержал неплохую базу вопросов-ответов по 1С, из-за чего админы форума добавили "защиту от скачивания". В этой статье будет описано то, как можно скачать этот (а наверное и любой другой) форум в относительно короткие сроки при помощи Google Cloud Platform.

Читать дальше →
Всего голосов 38: ↑33 и ↓5+28
Комментарии40

Доступный ИИ для любой компании: Cloud AutoML

Время на прочтение4 мин
Количество просмотров17K

image

Привет, Хабр! Сегодня информацией делится Джиа Ли, глава департамента R&D, Cloud AI. Джиа с командой сделали ИИ легким в применении и доступным даже для неспециалистов. Надеемся, что теперь ИИ придет в каждый бизнес, как некогда пришел компьютер в каждый дом, и читаем, как выглядит и что умеет Cloud AutoML.

Всего голосов 32: ↑30 и ↓2+28
Комментарии5

Google, Softline, GDG и #tceh организуют второй «Google Cloud Developer Meetup»

Время на прочтение2 мин
Количество просмотров2.2K


Ссылка на регистрацию

А вот и долгожданный анонс второго митапа. Вы просили — мы сделали!

Вечер пятницы 8 декабря пройдет в отличной компании — не пропустите митап по Google Cloud для разработчиков, который пройдет в Москве. Мы с Google, GDG, #tceh и другими партнерами приготовили много интересного и не забыли про большой вместительный зал на 300 человек. За вход и спрос денег не берем. Но советуем регистрироваться заранее, потому что в прошлый раз все свободные места расхватали как горячие пирожки.

Читать дальше →
Всего голосов 5: ↑5 и ↓0+5
Комментарии5

Чат-бот понимающий человеческую речь на Dialogflow

Время на прочтение4 мин
Количество просмотров77K
Хочу поделится с вами своим опытом работы с сервисом Dialogflow и рассказать о некоторых не самых очевидных вещах.
image
Читать дальше →
Всего голосов 13: ↑11 и ↓2+9
Комментарии11