Рано или поздно почти любая компания сталкивается с проблемой развития веб-аналитики. Это не значит, что нужно только поставить код Google Analytics на сайт — нужно найти пользу в полученных данных. В этом посте я расскажу, как это сделать максимально эффективно, затратив незначительные (по меркам профильных сервисов) деньги.

В этой статье расскажу о том, как я свел статистику по всему контексту в одном месте с помощью BigQuery и Data Studio

У меня появилась необходимость визуализировать данные по всем источникам трафика.

Для данной задачи я использую Data Studio. Google Ads туда подтягивается прекраснейшим образом, а вот с Яндекс Директ все сложнее.

Я для себя выбрал полуручной способ сведения статистики: получение и отправка статистики со своего компьютера.

Я ежедневно получаю статитику в различных разрезах в DataFrame.



И это отлично потому, что в pandas есть библиотека pandas_gbq, которая умеет отправлять DataFrame в BigQuery.

Без рекомендуемого 3-х летнего практического опыта

В преддверии старта занятий по курсу «Data Engineer», хотим поделиться с Вами переводом одной очень интересной истории, которая наверняка будет полезна будущим дата инженерам. Поехали!


Худи от Google: надето. Серьезное рабочее выражение лица: присутствует. Фото из видео версии этой статьи на YouTube.

Примечание. Эта статья посвящена сертификационному экзамену Google Cloud Professional Data Engineer до 29 марта 2019 года. После этой даты произошли некоторые изменения. Я включил их в раздел «Дополнительно».

Итак, вы хотите получить новое худи, как у меня на обложке? Или вы задумали получить сертификат Google Cloud Professional Data Engineer и задаетесь вопросом, как это сделать.

Без рекомендуемого трехлетнего практического опыта

*Примечание: статья посвящена сертификационному экзамену Google Cloud Professional Data Engineer, который был актуален до 29 марта 2019 г. После этого произошли некоторые изменения — они описаны в разделе «Дополнительно»*


Толстовка Google: есть. Серьезное выражение лица: есть. Фото из видеоверсии этой статьи на Ютубе.

Хотите заполучить новенькую толстовку, как у меня на фото?

Или, может, вас интересует сертификат Google Cloud Professional Data Engineer и вы пытаетесь понять, как его получить?

За последние несколько месяцев я прошел несколько курсов и параллельно работал с Google Cloud — для подготовки к экзамену Professional Data Engineer. Затем я пошел на экзамен и сдал его. Через несколько недель прибыла толстовка — но сертификат пришел быстрее.

В этой статье будут приведены некоторые сведения, которые могут оказаться полезны, и шаги, которые я предпринял для получения сертификата Google Cloud Professional Data Engineer.

Переведено в Alconost

Если хотите знать, откуда дует ветер, отправляйтесь в самое сердце урагана.

Приблизительно такое ощущение сложилось от посещения конференции Google Cloud Next ’19, где три дня разработчики, продакт-менеджеры, специалисты по данным и другие светлые умы делились самыми горячими новостями в сфере разработки приложений и архитектуры, безопасности, управления расходами, анализа данных, гибридных облачных технологий, ML и АІ, внесерверной обработки данных и пр… 30 000 человек, потоки по индустриям и техническим направлениям, почти безостановочные лекции. Вот это ажиотаж!

Расскажу вам, какие важные новости о Google Cloud в 2019-2020 гг. и его 122 обновлениях нельзя упустить, на основе заметок Влада Флакса, CEO компании OWOX, который побывал на конференци.

Хотел бы рассказать про новый CLI tool который я написал для решения одной старой проблемы.

Проблема

Terraform уже давно стал стандартом в Devops/Cloud/IT сообществе. Вещь очень удобная и полезная чтоб заниматся infrastructure as code. Есть много прелестей в Terraform а так же много вилок, острых ножей и граблей.
С Terraform очень удобно делать новые вещи и потом ими управлять, менять или удалять. А что делать тем у кого есть огромная инфраструктура в облаке и не создано через Terraform? Переписывать и пересоздавать все облако как то дорого и небезопасно.
Я сталкивался с такой проблемой на 2 работах, самый простой пример когда хочешь что все было в гите виде терраформ файлов, а у тебя 250+ бакетов и писать их для терраформа руками как то много.
Есть issue еще с 2014 года в terrafom которую закрыли в 2016 с надеждой что будет import.

Вообщем все как на картинке только справа налево

Базы данных можно реализовать с помощью Excel, GSheet или при помощи больших ORM систем. В своей практике бизнес-аналитика я сталкивался с разными решениями. А поскольку в бизнес-анализ я пришёл из финансов и аудита, то каждый раз встречая новую систему задавался вопросами — чем все они отличаются друг от друга и какие задачи решают? Некоторые ответы нашёл. В этой статье будет рассмотрено два основных назначения баз данных:

1 — учёт операций,
2 — анализ данных

Типичное IoT-устройство

IoT — сегмент рынка крайне молодой, только пробующий делать первые серьезные шаги. Конечно, IP-камеры и прочие датчики существуют уже давно, но полноценно назвать их «умными» язык не поворачивается. При этом одной из проблем рынка является, как ни странно, цикл разработки, потому что он подразумевает не только создание физического девайса, но и написание ПО для него в условиях крайне ограниченных ресурсов. Это 20 лет назад несколько мегабайт памяти под приложение было нормой. Сейчас же, когда оптимизация потребления ресурсов пользователям (да и разработчикам) только снится, а для топовых продуктов нормальны утечки памяти или нереальная прожорливость (привет, Chrome), работа в условиях пары сотен килобайт флеш-памяти на энергоэффективном микроконтроллере кажется наказанием для тех девелоперов, кто плохо себя вел в прошлом году.

Но это не единственная проблема IoT. Не мне вам рассказывать, насколько беспомощными являются умные устройства в плане информационной безопасности. Истории о ботнетах из IP-камер, холодильников и прочих микроволновок периодически всплывают в медиа, начиная еще с 2015 года. Добавим в это «блюдо» еще и «соус» из всяких умных колонок и ассистентов типа Alexa или Алисы, и мы получим пугающую картину; со времен китайских ноунейм-камер, продукты от Amazon и Яндекса обзавелись еще и возможностью совершать онлайн-заказы по запросу владельца. Собственно, именно эти функции нового поколения IoT-устройств и заставили производителей ПО начать шевелиться, а именно — укреплять рубежи цифровой обороны наших говорящих ящиков и прочих датчиков.

В данный момент занимаюсь задачей стриминга (и преобразования) данных. В некоторых кругах
такой процесс известен как ETL, т.е. извлечение, преобразование и загрузка информации.

Весь процесс включает в себя участие следующих сервисов Google Cloud Platform:

• Pub/Sub — сервис для realtime стриминга данных
• Dataflow — сервис для преобразования данных (может
  работать как в realtime так и в batch режиме)
• BigQuery — сервис для хранения данных в виде таблиц
  (поддерживает SQL)

С начала 2000-х годов с завидной периодичностью появляются новости о внедрении в работу чат-ботов. В этой статье я расскажу с чего начать и приведу обзор существующих решений, а также поделюсь опытом создания бота для компании Selectel.

Сфера применения

Развитие бизнеса зачастую сопровождается не только масштабированием основной деятельности, но и отладкой поддерживающих процессов. Чат-боты — только часть деятельности бизнеса в рамках автоматизации рутины. Коммуникация и выполнение простых однотипных заданий лежат в основе работы чат-бота. С его помощью можно выполнять не только повторяющиеся задачи, но и такие, которые человек выполнить не в состоянии, например, мониторинг активности в социальных сетях.

В конце прошлого месяца в Праге прошла конференция Firebase Summit 2018, посвященная сервисам Firebase, многие из которых сейчас претендуют на звание стандарта в индустрии разработки мобильных приложений. Постараюсь хоть и с задержкой, но рассказать о том, что интересного удалось услышать и увидеть. В этой статье мы рассмотрим анонсы (перевод официального пресс-релиза) с моими правками и комментариями.

Всем привет. На одном из web-проектов мы используем Maps JavaScript API, но после изменения тарификации с 16 июля 2018 года кое-что пошло не так. Делимся опытом, чтобы этого не случилось у вас.

27 сентября мы провели второй митап «Орки тут» — про оркестрацию, автоматизацию и полевое применение CI/CD. В этом посте полные видео и таймкоды с важными местами из трех докладов.

Темы такие:

• Environment as a Service — про эксплуатацию и секреты настройки OpenStack
• Pod, Cloud and two Smoking Hubs — про масштабирование Selenium-фермы
• CI vs CD: гонка вооружений — про то, как «воевали» CI и CD в Яндекс.Деньгах

Прим. перев.: Автор оригинальной статьи — Théo Chamley, архитектор облачных решений Google. В этой публикации для блога Google Cloud он представил краткую выжимку из более детального руководства его компании, названного «Best Practices for Operating Containers». В нём специалисты Google собрали лучшие практики по эксплуатации контейнеров в контексте использования Google Kubernetes Engine и не только, затронув широкий спектр тем: от безопасности до мониторинга и журналирования. Итак, какие практики в работе с контейнерами наиболее важны по мнению Google?

Тензорный процессор третьего поколения

Тензорный процессор Google — интегральная схема специального назначения (ASIC), разработанная с нуля компанией Google для выполнения задач по машинному обучению. Он работает в нескольких основных продуктах Google, включая Translate, Photos, Search Assistant и Gmail. Облачный TPU обеспечивает преимущества, связанные с масштабируемостью и лёгкостью использования, всем разработчикам и специалистам по изучению данных, запускающим передовые модели машинного обучения в облаке Google. На конференции Google Next ‘18 мы объявили о том, что Cloud TPU v2 теперь доступен для всех пользователей, включая бесплатные пробные учётные записи, а Cloud TPU v3 доступен для альфа-тестирования.

Cоавтор статьи: Mike Cheng

Google Cloud Platform теперь в своем портфолио имеет образы виртуальных машин, разработанные специально для тех, кто занимается Deep Learning. Сегодня мы поговорим о том что эти образы из себя представляют, какие преимущества они дают разработчикам и исследователям, ну и само собой о том, как создать виртуальную машину на их базе.

Введение

Сегодня (прим. переводчика 24-07-2018), команда Go в Google выпустила новый Open Source проект Go Cloud, библиотека и инструменты для разработки в открытом облаке. Этим проектом, мы преследуем цель, чтобы разработчики выбирали язык Go для создания кросс-облачных приложений.

Этот пост обясняет почему мы начали этот проект, детали того как работает Go Cloud, и как вовлечься и начать использовать его.

Компания Google анонсировала проект нового подводного кабеля Dunant, названного в честь Анри Дюнана, инициатора создания международной гуманитарной организации Красный Крест, первого в истории лауреата Нобелевской премии мира.

Как медики Красного Креста помогают раненым на поле боя, так и кабель Dunant в каком-то роде призван помочь кластеру в Северной Виргинии (Northern Virginia Cloud Region), где сейчас Google строит два больших дата-центра. Эти дата-центры станут ключевым элементом инфраструктуры Google Cloud на Восточном побережье США. В свою очередь, Dunant свяжет этот кластер с Европой. Первый трафик пойдёт по кабелю в 2020 году.

Дополнение (2 июля 2018 г): сотрудники поддержки Google Cloud Platform (GCP) заверили, что такое больше не повторится. Их слова: «Многие люди (в рамках GCP) заинтересованы в том, чтобы улучшить ситуацию не только для вас, но для всех клиентов».

Примечание: это пост не о качестве облачных сервисов Google. Они превосходны, наравне с AWS. Речь идёт о «резких движениях без предупреждения», когда они полностью отключают все ваши системы, если сотрудники (или машины) вдруг решили: что-то не так. C нами это случилось второй раз.

Предыстория

Наш проект в продакшне использует GCP для мониторинга сотен ветроэнергетических установок (ВЭУ) и десятков солнечных электростанций, разбросанных по восьми странам. У нас центры управления с экранами на всю стену: там приборные панели, набитые метриками, за которыми следят круглосуточно. Менеджеры объектов используют эту систему для контроля в реальном времени состояния отдельных ВЭУ и солнечных установок. Если требуется вмешательство, оно производится немедленно. Команды разработки и прогнозирования используют систему для отработки алгоритмов на данных в BigQuery. Все действия непосредственно транслируются в нашу прибыль. Мы имеем дело с ветровой/солнечной энергией — скоропортящимся товаром. Если мы генерируем излишек, то не можем сохранить его и продать позже. Если генерируем недостаточно, то платим штрафы. По этой причине объекты нужно отслеживать 24/7, чтобы не выходить за рамки потребностей энергосистемы и заключенных соглашений о покупке электроэнергии.

В связи с тем, что предыдущий сервис с помощью которого я хранил изображения накрылся медным тазом (скорее всего из-за того, что был не прибыльный), мне пришлось искать другие варианты хранения изображений. Сервера я использую бюджетные и не хотелось бы мне платить приличную цену за дополнительные 10 ГБ дисковой памяти. Изучая рынок я наткнулся на Google Cloud Storage (GCS) и решил, что данный продукт мне подойдет (ну как минимум можно протестировать). В рунете (да и не только в нем) мало уделяется внимания для настройки GCS с использованием PHP, поэтому я решил внести свою лепту в это направление.

В данной статье будет рассмотрено 2 варианта настройки GCS для загрузки файлов (в примере будет реализована загрузка изображения) с помощью php-клиента и с помощью существующего sdk (утилита gsutil) используя shell. Итак, поехали!