Pull to refresh

4-недельный курс Terraform База стартует через 7 дней

Reading time 2 min
Views 421
Southbridge corporate blog

Сегодня крупнейшие игроки российского облачного рынка (Yandex Cloud, VK Cloud) активно пилят свои собственные технологии и провайдеры для Terraform. Они понимают, что сейчас необходимо создать полноценную облачную инфраструктуру, способную конкурировать с компаниями, которые покинули российский рынок (Amazon Web Services, Google Cloud Platform и Microsoft Azure).

За неимением аналогов популярность Terraform и специалистов, работающих с этим инструментом, будет только расти, поэтому сейчас — самое время изучать Terraform, если вы этого еще не сделали. 

31 октября в Слёрм стартует курс Terraform База. На нём как раз будет возможность протестировать Yandex Cloud в связке с Terraform.

Читать далее
Total votes 11: ↑10 and ↓1 +9
Comments 0

Семинары Connect(«Russia») в Москве — для тех, кто хочет понять, что произошло за последние пару месяцев в экосистеме Microsoft

Reading time 2 min
Views 5.1K
Microsoft corporate blog Website development *.NET *Visual Studio *Microsoft Azure *
Как многие знают, за последнее время мы (Microsoft) провели несколько больших мероприятий, на которых было множество новостей, в том числе совершенно неожиданных. Это, конечно, отлично, но времени для того, чтобы посмотреть все интересующие доклады часто нет. Можно прочитать дайджесты, которые пишем как мы, так и люди в коммьюнити. Но это опять же может не дать полной картины того, что происходит. В общем, мы пришли к выводу, что надо провести небольшую серию мини-семинаров Connect(«Russia»). Подробности — под катом.



Или даже не того, что происходит, а того, что это значит для разработчиков и специалистов по инфраструктуре. Например, когда можно использовать Visual Studio 2013 Community Edition? Что стало с Visual Studio Express Edition? Когда можно делать N, а когда этого делать нельзя?
Читать дальше →
Total votes 24: ↑16 and ↓8 +8
Comments 7

CodingFuture + Puppet. Часть V: базы данных (cfdb)

Reading time 8 min
Views 5.9K
System administration *IT Infrastructure **nix *Database Administration *Puppet *

cfdb use cases


Вкратце:


  1. cfdb — модуль развёртывания и автонастройки узлов и кластеров баз данных и доступа к ним с высокой доступностью и защитой от сбоев.
  2. Как proof-of-concept поддерживаются MySQL и PostgreSQL на базе Percona Server/XtraDB Cluster и официальных сборок PostgreSQL+repmgr.
  3. Изоляция ресурсов на базе cgroups, интеграция с настройками сетевого фильтра через модуль cfnetwork и строгий контроль доступа средствами СУБД.
  4. Запись на один узел для минимизации конфликтов и распределение нагрузки для read-only доступа.
  5. Автоматическая проверка здоровья кластера и фактической осуществимости доступа.
  6. Ручное и автоматическое локальное резервное копирование, автоматизированное восстановление данных.
  7. Поддержка автоматической миграции уже существующих баз данных

Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Comments 6

Анализ хака Kubernetes — бэкдор через kubelet

Reading time 5 min
Views 5.5K
Southbridge corporate blog Information Security *System administration *DevOps *
Translation


Чтобы ничего не знать о Kubernetes, надо было последние три года прожить в пещере. В Handy инфраструктура разработки, CI/CD и продакшена построена на многокластерной экосистеме Kubernetes. Можно сказать, что мы в Handy фанаты Kubernetes, вот почему мы так удивились, когда личный кластер Kubernetes нашего коллеги в прошлые выходные взломали.


Удивились — и обрадовались, так как обнаружили в Kubernetes один малоизвестный глюк. В этой статье мы рассмотрим, как был взломан кластер коллеги и как мы подтвердили свои выводы, воссоздав эту атаку в собственном кластере. Атака была протестирована в Kubernetes 1.9, но может работать и на более старых кластерах.


ДИСКЛЕЙМЕР: эта статья о личном сервере нашего коллеги. Инфраструктура Handy Technologies не была скромпрометирована.

Читать дальше →
Total votes 14: ↑9 and ↓5 +4
Comments 0

Инфраструктура для микросервисов. K8s и все-все-все

Reading time 6 min
Views 21K
DevOps *

Как-то я уже писал тут о переезде из Азии в Европу, а теперь хочу написать, что я в этой Европе делаю. Есть такая профессия — DevOps, точнее нет, но так получилось, что это именно то чем я сейчас занимаюсь. Сейчас для оркестрации всего что бежит в докере мы используем rancher, о чем я тоже уже писал. Но вот случилось ужасное, вышел ранчер 2.0 который переехал на kubernetes (дальше просто k8s) и поскольку k8s сейчас действительно стандарт для управления кластером, возникло желание тоже построить всю инфраструктуру заново с блекджеком и библиотекаршами. Что еще добавляет пикантности это то что компания постоянно нанимает разных специалистов из разных стран и с разными традициями и кто-то и собой приносит puppet, кому-то милее ansible, а кто-то вообще считает что Makefile + bash — наше все. Поэтому однозначного мнения как все должно работать просто нет, а очень хочется.


Предварительно был собран такой зоопарк технологий и инструментов:


zoo

Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Comments 38

How to prevent targeted cyber attacks? 10 best network sandboxes

Reading time 10 min
Views 2.8K
ROI4CIO corporate blog Information Security *Antivirus protection *Virtualization *Cloud services *


Targeted attacks are the most dangerous among the multitude of modern cyber threats. They are also known as ATP (an abbreviation which stands for Advanced Persistent Threat). Those are not viruses that can accidentally get into the computer due to user's carelessness. Neither it is an attempt to replace the address of a popular site in order to cheat billing information from credulous users. Targeted cyber attacks are prepared and thought out carefully and pose a particular threat.
Read more →
Total votes 17: ↑17 and ↓0 +17
Comments 0

Второй митап по OpenStack в Mail.ru Group: 22 февраля

Reading time 2 min
Views 1.7K
VK corporate blog IT Infrastructure *Cloud computing *DevOps *Cloud services *


Привет, друзья. В эту пятницу мы собираем в Mail.ru наш второй @OpenStack Meetup, на котором:

  • Коллеги из Hystax на примере клиентского кейса покажут, какой нелёгкой бывает миграция виртуальных машин между облаками и гипервизорами;
  • Mail.Ru Cloud Solutions поделятся опытом работы с OpenStack и Linux Storage Stack: о чём часто забывают, планируя хранилище?
  • Canonical продолжат рассказывать про свой подход к моделированию инфраструктуры. В этот раз вы узнаете, каким образом MAAS и Juju позволяют в автоматизации упростить работу с серверами с большим количеством сетевых интерфейсов и L3-ориентированной сетевой топологией.

Встреча пройдёт 22 февраля (пятница) в 19:00 в московском офисе Mail.ru Group (Ленинградский проспект, д. 39, стр. 79).

Регистрация обязательна и закрывается 20 февраля в 23:59 (или раньше, если закончатся места).
Программа митапа
Total votes 31: ↑30 and ↓1 +29
Comments 0

Symfony CLI — новый инструмент для локальной разработки

Reading time 5 min
Views 13K
PHP *Symfony *
Tutorial

В декабре 2018-го, на конфиренции Lisbon SymfonyCon Фабиэн Потансье — создетель фреймворка Symfony представил некий symfony.phar — инструмент для быстрого создания Symfony-приложений на основе официальных шаблонов проекта: skeleton, website-skeleton или demo. Также он позволяет запускать локальный веб-сервер для разработки.


Затем инструмент был переписан на языке Golang, что позволило реализовать много дополнительных возможностей таких, как поддержка https протокола для локального веб-сервера, тесная интеграция с SymfonyCloud и прочее! Приглашаю тебя, уважаемый читатель, познакомиться с этим инструментом подробнее, поскольку он работает не только в контексте фреймворка Symfony.

Читать дальше →
Total votes 17: ↑16 and ↓1 +15
Comments 20

Автоматизация замены дисков с помощью Ansible

Reading time 14 min
Views 9K
Одноклассники corporate blog System administration *DevOps *


Всем привет. Я работаю ведущим системным администратором в ОК и отвечаю за стабильную работу портала. Хочу рассказать о том, как мы выстроили процесс автоматической замены дисков, а затем, как исключили из этого процесса администратора и заменили его ботом.

Эта статья является своего рода транслитерацией выступления на HighLoad+ 2018
Читать дальше →
Total votes 21: ↑20 and ↓1 +19
Comments 7

Язык программирования P4

Reading time 10 min
Views 15K
Фактор груп corporate blog Open source *Programming *Network technologies *FPGA *

P4 — это язык программирования, предназначенный для программирования правил маршрутизации пакетов. В отличие от языка общего назначения, такого как C или Python, P4 — это предметно-ориентированный язык с рядом конструкций, оптимизированных для сетевой маршрутизации.

P4 — это язык с открытым исходным кодом, лицензируемый и поддерживаемый некоммерческой организацией, которая называется P4 Language Consortium. Он также поддерживается Open Networking Foundation (ONF) и Linux Foundation (LF) — двумя крупнейшими зонтичными организациями в проектах с открытым исходным кодом в области сетевых технологий.
Читать дальше →
Total votes 14: ↑14 and ↓0 +14
Comments 8

Перешел с Terraform на CloudFormation — и пожалел

Reading time 9 min
Views 8K
Southbridge corporate blog System administration *Server Administration *DevOps *
Translation

Представлять инфраструктуру в виде кода в повторяемом текстовом формате — простая лучшая практика для систем, с которой не нужно мышевозить. За этой практикой закрепилось название — Infrastructure as Code, и пока что для ее осуществления, особенно в AWS, есть два популярных инструмента: Terraform и CloudFormation.



Сравниваю опыт работы с Terraform и CloudFormation


До прихода в Twitch (он же Amazon Jr.) я трудился в одном стартапе и года три использовал Terraform. На новом месте я тоже вовсю использовал Terraform, а потом компания продавила переход на все а-ля Amazon, включая CloudFormation. Я усердно разрабатывал лучшие практики и для того, и для другого, и оба инструмента использовал в очень сложных рабочих процессах в масштабах организации. Позднее, вдумчиво взвесив последствия перехода с Terraform на CloudFormation, я убедился, что Terraform, наверное, — лучший выбор для организации.

Читать дальше →
Total votes 29: ↑27 and ↓2 +25
Comments 2

Why Enterprise Chat Apps isn’t built on Server-side Database like Hangouts, Slack, & Hip chat?

Reading time 3 min
Views 2.6K
IT Infrastructure *Server optimization *Data storage *Data storages *
Sandbox
One of the most significant tools for any organization to smoothen their collaborative world is only through a real-time chat application whether the conversation takes place on mobile or desktop. Hangouts, Slack and Hipchat have been in action for businesses to establish a decent conversation between their internal employees and clients right from small-scale to enterprises.

Those big players come into play where there requires team collaboration. The big players are built on a server-side database where the messages shared from one device to another is stored in their server database. Ultimately, this results in storing a huge amount of data within the server-side database (Cloud-database).

The consumption of cloud storage will be pretty high. The client-side database is more efficient where the messages relayed is stored in the client device. The messages will be queued to minimize the consumption of data in the server.
image
Read more →
Total votes 3: ↑3 and ↓0 +3
Comments 0

Эксплуатация большой распределённой системы: чему я научился

Reading time 16 min
Views 9.3K
Юла corporate blog System administration *Server Administration *
Translation


Читая различные каналы и рассылки, я часто встречаю статьи о конкретных «болях» и проблемах, возникающих при росте компании, когда надежность и масштабируемость выходят на первый план. Эта статья — иная. Здесь нет подробного разбора конкретных архитектурных решений или пошагового руководства по изменению инженерной культуры. Скорее, это взгляд сверху на те вызовы, которые возникают при эксплуатации распределенных систем, и отправная точка, которая поможет сориентироваться в потоке терминов, аббревиатур и технологий.

Предлагаю вашему вниманию перевод статьи, написанной инженером из Uber.

* * *

В последние несколько лет я создавал и обслуживал большую распределённую систему платежей в Uber. За это время я многое узнал о концепциях распределённых архитектур и на своём опыте выяснил, насколько трудно создавать и обслуживать высоконагруженные системы с высокой доступностью. Построение такой системы — работа интересная. Мне нравится планировать, как система будет обрабатывать рост трафика в 10-100 раз, обеспечивать надёжность данных вне зависимости от аппаратных сбоев. Однако эксплуатация большой распределённой системы дала мне неожиданный опыт.
Читать дальше →
Total votes 41: ↑41 and ↓0 +41
Comments 0

DevOps инструменты не только для DevOps. Процесс построения инфраструктуры автоматизации тестирования с нуля

Reading time 28 min
Views 20K
IT systems testing *Web services testing *Mobile applications testing *DevOps *
Sandbox

Часть 1: Web / Android


Примечание: данная статья является переводом на русский язык оригинальной статьи «DevOps tools are not only for DevOps. Building test automation infrastructure from scratch». Однако все иллюстрации, ссылки, цитаты и термины сохранены на языке оригинала, чтобы избежать искажения смысла при переводе на русский язык. Желаю вам приятного изучения!


Читать дальше →
Total votes 22: ↑21 and ↓1 +20
Comments 3

Avokado Project

Reading time 3 min
Views 6.6K
«Лаборатория Касперского» corporate blog AvitoTech corporate blog Development of mobile applications *Development for Android *Mobile applications testing *
Всем привет!

Мы анонсируем старт сотрудничества в формате open-source между «Авито» и «Лабораторией Касперского» — Avokado. Главная цель этого проекта — разработать инструменты, которые упростят жизнь мобильных разработчиков.

Мы искренне верим в синергию, и что 1+1 может давать в сумме больше двух. Верим, что группа людей с общей целью может достигнуть большего, чем одиночки. Что стоит делиться опытом, знаниями и инструментами, ведь в ответ ты получаешь больше, чем отдаешь. Именно в этом суть open-source.


Total votes 24: ↑20 and ↓4 +16
Comments 1

Современная инфраструктура: проблемы и перспективы

Reading time 9 min
Views 5K
High performance *Programming *DevOps *Kubernetes *


В конце мая мы провели онлайн-митап на тему «Современная инфраструктура и контейнеры: проблемы и перспективы». Поговорили о контейнерах, Kubernetes и оркестрации в принципе, о критериях выбора инфраструктуры и многом другом. Участники поделились кейсами из собственной практики.

Участники:

  • Евгений Потапов, CEO «ITSumma». Больше половины его клиентов либо уже переходят, либо хотят перейти на Kubernetes.
  • Дмитрий Столяров, CTO «Флант». Обладает 10+ годами опыта работы с контейнерными системами.
  • Денис Ремчуков (aka Eric Oldmann), COO argotech.io, ex-РАО ЕЭС. Пообещал рассказать о кейсах в «кровавом» энтерпрайзе.
  • Андрей Федоровский, CTO «News360.com»После покупки компании другим игроком отвечает за ряд ML и AI проектов и за инфраструктуру.
  • Иван Круглов, системный инженер, ex–Booking.com.Тот самый человек, который своими руками сделал с Kubernetes очень многое.

Темы:

  • Инсайты участников про контейнеры и оркестрацию (Docker, Kubernetes и прочее); что пробовали на практике или анализировали.
  • Кейс: В компании строят план развития инфраструктуры на годы. Как принимается решение, строить (или переводить текущую) инфраструктуру на контейнерах и Кубер или нет?
  • Проблемы в мире cloud-native, чего не хватает, давайте пофантазируем, что будет завтра.

Завязалась интересная дискуссия, мнения участников оказались настолько разными и вызвали столько комментариев, что хочется поделиться ими с вами. Есть видео на три часа, а ниже – выжимка из дискуссии.
Читать дальше →
Total votes 28: ↑26 and ↓2 +24
Comments 10

Создание масштабируемого API на спотовых инстансах AWS

Reading time 16 min
Views 6.3K
Adapty corporate blog System Analysis and Design *IT Infrastructure *Amazon Web Services *Cloud services *
Tutorial

Всем привет! Меня зовут Кирилл, я CTO Adapty Большая часть нашей архитектуры находится на AWS, и сегодня я расскажу о том, как мы сократили расходы на сервера в 3 раза за счёт использования спотовых инстансов на продакшн окружении, а также о том, как настроить их автомасштабирование. Сначала будет обзор того, как это работает, а потом подробная инструкция для запуска.


Что такое спотовые инстансы?


Спотовые инстансы — это сервера других пользователей AWS, которые в данный момент простаивают, и они продают их с большой скидкой (Amazon пишет до 90%, по нашему опыту ~3x, варьируется в зависимости от региона, AZ и типа инстанса). Основное их отличие от обычных в том, что они могут выключиться в любой момент. Поэтому мы долгое время считали, что их нормально использовать для дев окружений, либо для задач по расчёту чего-то, с сохранением промежуточных результатов на S3 или в базу, но не для прода. Существуют сторонние решения, которые позволяют использовать споты на проде, но там для нашего кейса много костылей, поэтому мы не внедряли их. Подход, описанный в статье, работает полностью в рамках стандартного функционала AWS, без дополнительных скриптов, кронов и тд.

Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Comments 22

Автотесты на Android. Картина целиком

Reading time 7 min
Views 13K
«Лаборатория Касперского» corporate blog AvitoTech corporate blog Development of mobile applications *Development for Android *Mobile applications testing *

Всем привет!


Автотесты под Android — это непросто. Чтобы выстроить процесс автотестирования, надо запланировать и решить множество задач. Но самая большая беда заключается в том, что нигде нет полного описания, что вообще включает в себя автотестирование под Android, каковы его основные стадии. Отсутствует цельная картина. Этой статьей мы хотим восполнить пробел.


Она также выступит в роли схематичной дорожной карты работы Avokado Project. Мы верим в то, что в скором времени разворачивание автотестирования будет занимать куда меньше времени, чем сейчас. И активно работаем в этом направлении.


Читать дальше →
Total votes 15: ↑15 and ↓0 +15
Comments 6

С чего начать DevOps?

Reading time 12 min
Views 20K
Nixys corporate blog System administration *IT Infrastructure *Server Administration *DevOps *


Понятие DevOps знакомо многим, но в своей практике я часто наблюдаю такую ситуацию, когда соискатель на должность DevOps-инженера в нашу компанию не может ответить на вопрос “А что же такое DevOps?”. В данной статье я хочу упорядочить и структурировать знания и основные понятия DevOps. Ещё раз обозначить какие процессы там существуют, для чего они и с чего начать внедрение DevOps у себя в проекте.

Читать дальше →
Total votes 18: ↑16 and ↓2 +14
Comments 6

DataHub: универсальный инструмент поиска и обнаружения метаданных

Reading time 14 min
Views 4.7K
IT Infrastructure *Big Data *DevOps *
Translation

DataHub: универсальный инструмент поиска и обнаружения метаданных.


Как оператор крупнейшей в мире профессиональной сети и экономического графика, отдел данных LinkedIn постоянно работает над масштабированием своей инфраструктуры в соответствии с требованиями нашей постоянно растущей экосистемы больших данных. По мере роста объема и разнообразия данных специалистам по данным и инженерам становится все сложнее обнаруживать доступные активы данных, понимать их происхождение и предпринимать соответствующие действия на основе полученных данных. Чтобы помочь нам продолжить масштабировать производительность и вносить инновации в базу данных, мы создали универсальный инструмент поиска и обнаружения метаданных, DataHub.

Читать дальше →
Total votes 11: ↑10 and ↓1 +9
Comments 5
1