Облачные сервисы *

Один из разделов большого курса про архитектуру ПО, который я веду, посвящен так называемой методологии 12 факторов. Она была придумана разработчиками американской компании Heroku и, если верить Википедии, впервые описана примерно в 2011 году. На Западе методология быстро завоевала поддержку ИТ-сообщества и стала отраслевым стандартом при разработке веб-приложений по модели SaaS (Software as a Service — программное обеспечение как услуга). В русскоязычной среде об этих фундаментальных принципах говорят редко, так что я решил исправить эту вселенскую несправедливость.

Привет, Хабр! Меня зовут Андрей Бирюков, я преподаватель-практик Учебного центра IBS и архитектор по разработке программного обеспечения. За 15 с лишним лет в ИТ я спроектировал и внедрил десятки инфраструктурных решений на базе ОС Linux, Windows, работал с системами виртуализации и контейнеризации, а также занимался комплексными проектами по защите корпоративных и промышленных сетей. В этой статье я расскажу о методологии, которая помогает разрабатывать более качественные, устойчивые и эффективные веб-приложения.

Сегодня вышел подробный отчёт о состоянии DevOps в России. В исследовании этого года приняло участие рекордное количество респондентов — больше 4100 линейных специалистов и руководителей. В статье мы расскажем, что узнали про инфраструктуру российских компаний: какие ОС чаще используют на серверах, где хранят логи, какие системы контроля версий предпочитают и как меняется картина от года к году.

BigQuery — мощный облачный сервис от Google для работы с большими объемами данных. Один из часто используемых случаев использования BigQuery — это интеграция с Google Analytics. Эта связка позволяет компаниям эффективно обрабатывать и анализировать огромные массивы данных о поведении пользователей на сайтах и в приложениях. Благодаря способности обрабатывать большие данные, масштабироваться, делать мгновенные запросы и интегрироваться с другими инструментам BigQuery стал стандартом де-факто для тех, кто хочет перейти от обычных отчетов основанных на табличных данных к гибкой и осмысленной аналитике.

Google решил прекратить работу BigQuery на территории РФ начиная с 9 сентября, и всвязи с этим, у многих пользователей возник вопрос относительно дальнейшего сохранения своих исторических данных и их миграции в другое место.

К счастью, существует достаточно понятный способ миграции данных из BigQuery в ClickHouse кластер, который может быть развернут как в Яндекс Облаке, так и в on-prem виде.

В данной статье мы рассмотрим миграцию данных Google Analytics из GCP BigQuery в Yandex Cloud ClickHouse, а также доступ к ним через DataLens, или же WebSQL.

Привет! На связи Cloud4Y. Некоторые из вас наверняка помнят наш прошлый пицца-квест (приглашение на игру, разбор загадок и награждение). Получилось весело, поэтому мы решили повторить его. Призы — те же, головоломки новые.

Привет, Хабр! Сегодня я, Евгений Мартынов, директор по информационным технологиям Рег.ру, расскажу, как мы выбирали ЦОД и открывали нашу новую локацию в технопарке «Жигулевская долина» в Самарской области. 

Мы с командой уже писали, что любые сегменты облака имеют свои ограничения по масштабированию. Количество используемых услуг облака росло, приток клиентов увеличивался. Поэтому мы заложили базовую стратегию постепенного расширения локаций облака. Текущие темпы развития требуют от нас запускать новый узел как минимум раз в год, а тенденция показывает, что и этот временной отрезок будет постепенно уменьшаться. К тому же развитие ассортимента площадок интересно нам и нашим клиентам и с продуктовой точки зрения, например, для решения задач геораспределенной отказоустойчивости, диверсификации рисков глобального масштаба и для различных задач, сопряженных с лучшей связностью в выбираемых регионах. Эта часть нашей стратегии развития облака в целом. Итак, обо всем по порядку.

Если многобукв - переходите к разделу TLDR ниже

Навеяно этой статьёй. У меня схожая ситуация, только меня не взламывали. Я просто в один момент полностью утратил возможность зайти в свою электронную почту. Надеюсь данная информация поможет кому-то избежать подобной участи.

Я пользуюсь GMail уже лет 20, с момента его появления, с тех пор как появились и предложили невиданный по тем временам гигабайт бесплатного места. А ещё отличный веб-клиент и антиспам. С тех данный продукт Корпорации если не Добра, то по крайней мере Нейтралитета стал №1 для меня и даже не мыслил о чём-либо другом. Нужно создать ящик под какую-то задачу? В первую очередь всегда шёл на Google Mail. Пока недавно Gmail не сказал мне "да не пошёл бы ты в известном направлении", после чего я впервые в жизни всерьёз задумался об альтернативах.

Дело вот в чём. Пару лет назад я создал аккаунт в одной видеоигре, к нему зарегистрировал ящик в Gmail, он использовался только для принятия писем с кодом при входе в игру, больше ни для чего. В эту игру я захожу раз в год, в ящик соответственно тоже, он для меня третьестепенной важности, поэтому мне даже в голову не приходило подключать какие-то дополнительные средства входа вроде 2FA или одноразовых ключей. Я бережно придерживаюсь сетевой гигиены, меня не взламывают и аккаунты не угоняют. И даже если это вдруг произойдёт - большой трагедией не станет, ну потрачу лишние 5 минут своего времени и воспользуюсь функцией восстановления доступа к аккаунту, ведь у мега-корпорации Google с более чем двадцатилетним опытом на рынке наверняка есть развитые средства восстановления доступа, не так ли?

В маркетинге и продажах крупных компаний есть несколько аналитических задач, которые требуют регулярной обработки сотен тысяч и миллионов записей из разных источников. Например, это прогнозирование продаж или планирование рекламных кампаний. Как правило, их решение не обходится без построения длинного пайплайна обработки данных. ML‑инженеру или аналитику данных нужен ансамбль из нескольких моделей и сервисов, чтобы собрать качественный датасет, провести эксперименты и выбрать наиболее подходящие алгоритмы.

Сбор, очистка и агрегация данных занимают большую часть времени и вычислительных ресурсов, а эти затраты хочется оптимизировать. В статье покажем, как мы ускорили построение пайплайнов обработки данных с помощью связки DataSphere Jobs и Apache Airflow™.

Команда Облака Рег.ру работает не покладая рук и не выключая компьютеров! 

Собрали дайджест: что мы сделали за август.

Добавили услугу Kubernetes в облаке (KaaS). 

Решение позволяет автоматически развертывать, масштабировать и обслуживать контейнерную инфраструктуру. KaaS помогает сократить этап развертывания до 5–10 минут и снизить количество рутинных процессов при обслуживании ИТ-инфраструктуры. В рамках услуги можно создать несколько кластеров и учесть различные конфигурации. Подробно о том, как мы запускали KaaS — в нашей статье. 

Добавили образ OpenVPN для OpenStack платформы серверов. Он нужен для безопасного доступа к корпоративной инфраструктуре и работы с чувствительными данным. Подключается в несколько шагов, которые мы описали в этом посте. 

Обновили образ BitrixVM до CentOS Stream 9. Теперь он работает на современной и надежной ОС семейства Linux с датой поддержки до 31 мая 2027 года, а веб-окружение по-прежнему оптимизировано для быстрой работы продуктов 1С-Битрикс. Заказать образ с BitrixVM можно на  нашем сайте. 

Сделали крутой кейс с компанией  Ctrl2GO — многопрофильным разработчиком систем прогнозной аналитики. Мы предоставили Ctrl2GO облачную инфраструктуру для размещения данных и работы с Big Data, а также запустили в частном облаке объектное хранилище S3. Экономия превысила треть от исходных затрат заказчика на ИТ-инфраструктуру. Писали об этом в новости.

Много чего исправили и доработали, например: усовершенствовали услуги KaaS и DBaaS, поработали над образами, улучшили UX/UI нашей платформы, — и это далеко не полный список. 

Облачные сервисы на сегодняшний день стали неотъемлемой частью ландшафта ИТ. Множество различных приложений размещается и успешно функционирует в облаках. У облачных решений есть целый ряд преимуществ, например, мы можем легко масштабировать решение в случае, если увеличилась нагрузка. Также можем выполнить поэтапное обновление компонентов приложения прозрачно для пользователей решения благодаря использованию нескольких экземпляров сервиса.

Но при проектировании систем, основанных на облачных сервисах, важно правильно выбрать архитектуру решения. Конечно, никто не мешает самостоятельно придумывать свою архитектуру, но, скорее всего, то, что вы «изобретете», уже кто-то придумал до вас. Так наиболее успешные реализации приложений получили распространение в качестве шаблонов проектирования.

Привет, Хабр! Меня зовут Андрей Бирюков, я эксперт в области информационной безопасности, эксперт Учебного центра IBS. В этой статье я расскажу о лучших шаблонах и паттернах для облачного проектирования, которые помогут вам создать масштабируемые и надежные приложения.

Выражу свое частное мнение по этому поводу. Я разработчик облачной CMS, и после "замедления YouTube", многие пользователи начали активно переходить на отечественные видеохостинги, и возникла необходимость интегрировать VK, RuTube, Ok.ru на нашу платформу. И казалось бы все должно быть максимально просто, но не тут то было...

Для многих сказанное ниже, может показаться невесомым аргументом, и я с ними отчасти соглашусь. Кто-то скажет, нельзя судить о таких сложных проектах по одному лишь кейсу с получением миниатюр к видео, но я убежден что практически всегда можно интерполировать что-то простое и понятное, на всю глубину проекта и сделать вывод (пусть и поверхностный) об уровне исполнения проекта, тем более у нас как у разработчиков есть с чем сравнивать.

9 сентября Notion ограничит доступ к приложению из России: они обязаны это сделать, чтобы соблюсти новые законы США. Я почитал документацию и ответы техподдержки пользователям — рассказываю, что понял.

Если верить Notion, пользователей банить не будут. Приложение не будет открываться из России, но вы восстановите доступ, как только окажетесь в другой стране. Это значит, что, скорее всего, Notion можно будет использовать из России через VPN.

Введение

Когда компании только начинают рассматривать возможность переноса своих рабочих нагрузок в облако, они часто представляют его как идеальное решение, которое поможет решить все проблемы с масштабируемостью, доступностью и сокращением расходов на IT. Однако, иногда на пути к своей цели организации принимают неверные решения.

Привет, Хабр! 

Сегодня расскажем, как мы совместно с DigiLabs разработали методику нагрузочного тестирования облачных провайдеров и провели его среди наиболее популярных российских компаний, которые предоставляют облачную платформу для 1C. 

Мы в mClouds постоянно тестируем различные утилиты и инструменты, которые помогают повысить безопасность наших систем. На днях разместили в тестовой среде комплексный honeypot Chameleon от qeeqbox и проверили несколько разных сервисов.

Благодаря honeypot мы определили географическое распределение атак и выяснили, какие логины и пароли злоумышленники использовали чаще всего. В статье делимся результатами тестирования и рассказываем, как защитились от брутфорса.

В этой небольшой статье расскажу, как мы организовали нашему клиенту закрытый контур в Yandex Cloud. Если конкретнее: покажу, как настроить StrongSwan site-to-site IKEv2 ipsec tunnel, а потом — инфраструктуру, состоящую в основном из кластера Kubernetes, GitLab, Vault и Keycloak. Приятного чтения!

Привет, Хабр! В июле мы отмечаем первую годовщину обновленной облачной платформы Рег.ру и хотим поделиться результатами года насыщенной работы: 

Облачные услуги мы запустили еще в далеком 2018 году, но технологический стек не давал нам расти и развиваться в полной мере, поэтому год назад мы приняли решение полностью перезапустить облако на базе OpenStack-KVM. Это сняло ограничения по развитию сетевых сервисов, запуску платформенных управляемых сервисов, повысило безопасность в облаке, а также упростило разработку,  тиражирование, масштабирование, эксплуатацию и поддержку облака.

Под катом — все, то произошло за этот год.

Я Руслан Никитенко, инженер отдела сервиса компании Тринити. Этот материал является продолжением обзорной статьи про установку сервиса Cloudlink на среду виртуализации zVirt у одного нашего крупного заказчика. Во второй части я хочу рассказать про инструментарий платформы, который мне показался наиболее интересным и полезным.