Как стать автором
Обновить
4
Карма
0
Рейтинг
Losted @Losted

Solutions Architect

Автоскейлинг приложений Kubernetes при помощи Prometheus и KEDA

Время прочтения 9 мин
Просмотры 5.8K
Блог компании VK DevOps *Kubernetes *
Перевод
Balloon Man by Cimuanos

Масштабируемость — ключевое требование для облачных приложений. С Kubernetes масштабировать приложение так же просто, как и увеличить количество реплик для соответствующего развертывания или ReplicaSet — но это ручной процесс. Команда Kubernetes aaS от Mail.ru реализовала в своем сервисе автоматическое машстабирование на уровне кластеров. Ну а если вы хотите оптимизироваться на уровне подов — то следуйте рекомендациям этого перевода.

Kubernetes позволяет автоматически масштабировать приложения (то есть Pod в развертывании или ReplicaSet) декларативным образом с использованием спецификации Horizontal Pod Autoscaler. По умолчанию критерий для автоматического масштабирования — метрики использования CPU (метрики ресурсов), но можно интегрировать пользовательские метрики и метрики, предоставляемые извне.

Это статья о том, как использовать внешние метрики для автоматического масштабирования приложения Kubernetes. Чтобы показать, как все работает, автор использует метрики запросов HTTP-доступа, они собираются с помощью Prometheus.

Вместо горизонтального автомасштабирования подов, применяется Kubernetes Event Driven Autoscaling (KEDA) — оператор Kubernetes с открытым исходным кодом. Он изначально интегрируется с Horizontal Pod Autoscaler, чтобы обеспечить плавное автомасштабирование (в том числе до/от нуля) для управляемых событиями рабочих нагрузок. Код доступен на GitHub.
Читать дальше →
Всего голосов 27: ↑27 и ↓0 +27
Комментарии 0

Враг не пройдёт, или как помочь командам соблюдать стандарты разработки

Время прочтения 14 мин
Просмотры 8.8K
Блог компании Конференции Олега Бунина (Онтико) Программирование *Тестирование веб-сервисов *
Подход governance as a code обеспечивает контроль соблюдения архитектурных принципов как в части конфигураций инфраструктуры, так и в части программного кода. Правила проверки каждого артефакта, будь то конфигурация k8s, список библиотек или даже описание сценария CI/CD, описаны специальным кодом проверки правил, имеют свой жизненный цикл, могут тестироваться и ничем не отличаются от обычного программного продукта.

Александр Токарев (Сбербанк) расскажет, как и что можно проверять в процессе разработки программного обеспечения, чтобы разрабатывать более безопасные и качественные приложения, и почему Сбербанк решил не использовать такие очевидные решения как SonarQube, а разработать собственное решение на базе Open Policy Agent без дополнительных пакетов над ним. Также Александр покажет, когда выбирать admission controller, когда использовать «чистый» Open Policy Agent, а когда можно обойтись без какого-либо контроля.

Александр поговорит о том, нужны ли стандарты, что такое язык Rego и что за крутой продукт Open Policy Agent, а также рассмотрит нетиповые кейсы его применения, как с ним работать, и как его использовать для контроля. Email Александра.


Читать дальше →
Всего голосов 22: ↑21 и ↓1 +20
Комментарии 3

Как вписать «свободную» PostgreSQL в суровое enterprise окружение

Время прочтения 7 мин
Просмотры 6.9K
Блог компании Инфосистемы Джет PostgreSQL *Резервное копирование *
Многие знакомы с СУБД PostgreSQL, и она отлично зарекомендовала себя на небольших инсталляциях. Однако тенденция к переходу на Open Source стала все более явной, даже когда речь идет о крупных компаниях и enterprise требованиях. В этой статье мы расскажем, как встроить PostgresSQL в корпоративную среду, и поделимся опытом создания системы резервного копирования (СРК) для этой базы данных на примере системы резервного копирования Commvault.


PostgreSQL уже доказала свою состоятельность — СУБД прекрасно работает, ее используют модные цифровые бизнесы типа Alibaba и TripAdvisor, а отсутствие лицензионных платежей делает ее соблазнительной альтернативой таких монстров, как MS SQL или Oracle DB. Но как только мы начинаем размышлять о PostgreSQL в ландшафте Enterprise, сразу упираемся в жесткие требования: «А как же отказоустойчивость конфигурации? катастрофоустойчивость? где всесторонний мониторинг? а автоматизированное резервное копирование? а использование ленточных библиотек как напрямую, так и вторичного хранилища?»
Читать дальше →
Всего голосов 23: ↑18 и ↓5 +13
Комментарии 0

Подробный разбор стоимости жизни в Кремниевой Долине

Время прочтения 10 мин
Просмотры 33K
IT-эмиграция

Самое дорогое место в США


В прошлой статье мы подробно разобрали структуру средних зарплат программистов в Кремниевой Долине, а теперь было бы неплохо понять, сколько придётся потратить на оплату счетов, и сколько же денег останется в итоге, ведь область залива Сан-Франциско традиционно считается самым дорогим местом в США, уступая по стоимости жизни разве что центру Манхеттена (а по некоторым данным уже давно обогнала Нью-Йорк).

image

Если Вам проще воспринимать информацию на слух или в режиме видео-ролика, то специально для Вас готово 18-минутное видео с тайм-кодами в комментариях.
Читать дальше →
Всего голосов 56: ↑54 и ↓2 +52
Комментарии 101

Как я получил работу с зарплатой 300 000 долларов в Кремниевой долине

Время прочтения 17 мин
Просмотры 61K
Блог компании Productivity Inside Карьера в IT-индустрии
Перевод
В конце января мы публиковали перевод на тему «Как я успешно прошел шесть собеседований в Кремниевой долине». Пришло время поделиться продолжением, где речь пойдет о более животрепещущей теме — о деньгах и о том, как получить больше.

«В течение недели мне предложили должность инженера-программиста в Google, Facebook, Amazon, Apple, LinkedIn и Yelp. Вот как я проходил у них собеседование.


Что если я скажу вам… что собеседования не так страшны, как кажется?
Читать дальше →
Всего голосов 67: ↑51 и ↓16 +35
Комментарии 93

Как устроиться в LinkedIn, Facebook, Google в Кремниевой Долине

Время прочтения 8 мин
Просмотры 25K
IT-эмиграция Карьера в IT-индустрии

Зачем это читать?


В предыдущей статье я рассказал про реальные доходы и расходы, на которые может рассчитывать инженер, работающий в одной из Big Tech компаний. Если вдруг это вас заинтересовало, здесь будут подробности про то, как туда устроиться.


Я работаю в LinkedIn, который был приобретен Microsoft в 2016 году. У меня были предложения от Facebook, Bayer и разных стартапов, плюс множество собеседований с другими компаниями в Долине, включая Google и Tesla.


В LinkedIn часть моих обязанностей (как и многих других сотрудников) — проводить интервью с кандидатами. Я знаю, как происходит процесс, и я покажу письма реальных рекрутеров.

Читать дальше →
Всего голосов 31: ↑30 и ↓1 +29
Комментарии 36

Удобные архитектурные паттерны

Время прочтения 12 мин
Просмотры 16K
Блог компании Технологический Центр Дойче Банка Высокая производительность *Анализ и проектирование систем *Облачные сервисы *Инженерные системы *
🔥 Технотекст 2020

Привет, Хабр!


В свете текущих событий из-за коронавируса ряд интернет-сервисов стал получать увеличенную нагрузку. Например, одна из торговых сетей в Великобритании просто остановила сайт с онлайн-заказами, так как не хватило мощностей. И далеко не всегда можно ускорить сервер, просто добавив более мощное оборудование, однако запросы клиентов обрабатывать надо (или они уйдут к конкурентам).


В этой статье я кратко расскажу о популярных практиках, которые позволят сделать быстрый и отказоустойчивый сервис. Однако из возможных схем разработки я отобрал только те, которыми сейчас легко воспользоваться. Для каждого пункта у вас или есть уже готовые библиотеки, или есть возможность решить задачу с помощью облачной платформы.

Читать дальше →
Всего голосов 28: ↑26 и ↓2 +24
Комментарии 2

Кластер Elasticsearch на 200 ТБ+

Время прочтения 14 мин
Просмотры 20K
Блог компании Одноклассники Высокая производительность *Поисковые технологии *Системное администрирование *DevOps *


С Elasticsearch сталкиваются многие. Но что происходит, когда хочешь с его помощью хранить логи «в особо крупном объёме»? Да ещё и безболезненно переживать отказ любого из нескольких дата-центров? Какой стоит делать архитектуру, и на какие подводные камни наткнёшься?


Мы в Одноклассниках решили при помощи elasticsearch решить вопрос лог-менеджмента, а теперь делимся с Хабром опытом: и про архитектуру, и про подводные камни.

Читать дальше →
Всего голосов 45: ↑43 и ↓2 +41
Комментарии 20

Где порешать реальные задачи для кандидатов в Яндекc: тренировка на Codeforces и разбор

Время прочтения 43 мин
Просмотры 66K
Блог компании Яндекс Занимательные задачки Алгоритмы *Математика *
Хабр, это снова я, Алексей Рак (фото не мое). В прошлом году, помимо основной работы, мне довелось стать одним из авторов задач для кандидатов в Яндекс. Сегодня наша команда впервые за долгое время публикует на Хабре реальные задачи для разработчиков, которые устраиваются в компанию. Эти задачи использовались до февраля 2020 года при отборе на стажировку для бэкендеров. Решения проверял компьютер. Сейчас кандидатам достаются похожие задания.

Разборы и код сознательно спрятаны в спойлеры. Если вы готовитесь к собеседованиям в большие IT-компании, попробуйте решить одну или несколько задач, прежде чем смотреть разбор. Отправить решение для проверки можно на Codeforces — ответ придёт сразу же (ссылка на Codeforces и примечание). Код представлен на Python, C++ и Java. Важно: авторский «олимпиадный» код не предназначен для продакшена, он написан исходя из того, что система будет проверять его автоматически.
Читать дальше →
Всего голосов 54: ↑40 и ↓14 +26
Комментарии 34

С чего начинается Elasticsearch

Время прочтения 14 мин
Просмотры 130K
Поисковые технологии *IT-инфраструктура *Распределённые системы *
Из песочницы
🔥 Технотекст 2020

Elasticsearch, вероятно, самая популярная поисковая система на данный момент с развитым сообществом, поддержкой и горой информации в сети. Однако эта информация поступает непоследовательно и дробно.


Самое первое и главное заблуждение — "нужен поиск, так бери эластик!". Но в действительности, если вам нужен шустрый поиск для небольшого или даже вполне себе крупного проекта, вам стоит разобраться в теме поподробней и вы откажетесь от использования именно этой системы.

Читать дальше →
Всего голосов 51: ↑50 и ↓1 +49
Комментарии 44

Семь архетипов превращения по принципам DevOps

Время прочтения 17 мин
Просмотры 10K
Блог компании JUG Ru Group DevOps *
Вопрос «как внедрить у себя девопс» стоит не первый год, но хороших материалов не так много. Иногда вы становитесь жертвой рекламы не особо умных консультантов, которым нужно продать свое время, неважно как. Иногда это мутные, крайне общие слова о том, как корабли мегакорпораций бороздят просторы вселенной. Возникает вопрос: а нам-то с этого что? Уважаемый автор, можете внятно списочком сформулировать свои идеи?

Все это происходит от того, что реальной практики и понимания исхода трансформаций культуры компании накопилось не так много. Изменения в культуре — это долгоиграющие штуки, результаты которых проявятся не через неделю и не через месяц. Нам нужен кто-то достаточно древний, повидавший, как создавались и рушились компании на протяжении многих лет.



Джон Уиллис — один из отцов DevOps. За плечами у Джона — десятки лет работы с огромным количеством компаний. В последнее время Джон стал для себя замечать специфические паттерны, которые имеют место быть в работе с каждой из них. Используя эти архетипы, Джон наставляет компании на истинный путь DevOps-трансформации. Подробнее об этих архетипах — в переводе его доклада с конференции DevOops 2018.
Всего голосов 27: ↑27 и ↓0 +27
Комментарии 1

Массовая оптимизация запросов PostgreSQL. Кирилл Боровиков (Тензор)

Время прочтения 16 мин
Просмотры 16K
Блог компании Тензор Высокая производительность *PostgreSQL *Node.JS *Администрирование баз данных *
В докладе представлены некоторые подходы, которые позволяют следить за производительностью SQL-запросов, когда их миллионы в сутки, а контролируемых серверов PostgreSQL — сотни.

Какие технические решения позволяют нам эффективно обрабатывать такой объем информации, и как это облегчает жизнь обычного разработчика.


Кому интересен разбор конкретных проблем и разные техники оптимизаций SQL-запросов и решения типовых DBA-задач в PostgreSQL — можно также ознакомиться с серией статей на эту тему.
Всего голосов 30: ↑29 и ↓1 +28
Комментарии 15

Как масштабироваться с 1 до 100 000 пользователей

Время прочтения 7 мин
Просмотры 19K
Блог компании Дата-центр «Миран» Хостинг Разработка веб-сайтов *Серверное администрирование *Облачные сервисы *
Туториал
Перевод
Через такое прошли многие стартапы: каждый день регистрируются толпы новых пользователей, а команда разработчиков изо всех сил пытается поддержать работу сервиса.

Это приятная проблема, но в Сети мало чёткой информации, как аккуратно масштабировать веб-приложение с нуля до сотен тысяч пользователей. Обычно встречаются или пожарные решения, или устранение узких мест (а часто и то, и другое). Поэтому люди используют довольно шаблонные приёмы по масштабированию своего любительского проекта в нечто действительно серьёзное.

Попытаемся отфильтровать информацию и записать основную формулу. Мы собираемся пошагово масштабировать наш новый сайт для обмена фотографиями Graminsta с 1 до 100 000 пользователей.

Запишем, какие конкретные действия необходимо сделать при увеличении аудитории до 10, 100, 1000, 10 000 и 100 000 человек.
Читать дальше →
Всего голосов 27: ↑27 и ↓0 +27
Комментарии 25

Как Kafka стала былью

Время прочтения 5 мин
Просмотры 25K
Блог компании TINKOFF Java *Распределённые системы *


Привет, Хабр!


Я работаю в команде Tinkoff, которая занимается разработкой собственного центра нотификаций. По большей части я разрабатываю на Java с использованием Spring boot и решаю разные технические проблемы, возникающие в проекте.


Большинство наших микросервисов асинхронно взаимодействуют друг с другом через брокер сообщений. Ранее в качестве брокера мы использовали IBM MQ, который перестал справляться с нагрузкой, но при этом обладал высокими гарантиями доставки.


В качестве замены нам предложили Apache Kafka, которая обладает высоким потенциалом масштабирования, но, к сожалению, требует практически индивидуального подхода к конфигурированию для разных сценариев. Кроме того, механизм at least once delivery, работающий в Kafka по умолчанию, не позволял поддерживать необходимый уровень консистентности из коробки. Далее я поделюсь нашим опытом конфигурации Kafka, в частности расскажу, как настроить и жить с exactly once delivery.

Читать дальше →
Всего голосов 44: ↑42 и ↓2 +40
Комментарии 14

Интересное использование Adblock Plus

Время прочтения 4 мин
Просмотры 62K
Браузеры
Из песочницы
Уже много лет использую Adblock plus, настраиваю фильтры под свои хотелки. Ценю простоту, скорость, лаконичность как в конце 90-х. Хотя некоторые и тогда умудрялись сделать жуткий вэб сайт с нагромождением JavaScript или DHTML.

И вот сегодня в полуночных бдениях вспомнил взаимоотношения Роскомнадзора и Pornhub'a. Решил ознакомиться с вторым по списку, интересно стало, что же это там такого на химичили. А там теперь предлагают проверку возраста через социальную сеть «Вконтакте». Впал я в тоску, так как не использую социальные сети, а ради изучения анатомических подробностей влезать в такую кабалу — не желаю. На VPN сейчас денег жалко. Но на моё счастье проснулся спортивный интерес.
Читать дальше →
Всего голосов 44: ↑26 и ↓18 +8
Комментарии 42

Сайзинг Elasticsearch

Время прочтения 6 мин
Просмотры 23K
Блог компании Gals Software IT-инфраструктура *NoSQL *Big Data *Софт


— How big a cluster do I need?
— Well, it depends… (злобное хихиканье)

Elasticsearch — сердце Elastic Stack, в котором происходит вся магия с документами: выдача, приём, обработка и хранение. От правильного количества нод и архитектуры решения зависит его производительность. И цена, кстати, тоже, если ваша подписка Gold или Platinum.

Основные характеристики аппаратного обеспечения — это диск (storage), память (memory), процессоры (compute) и сеть (network). Каждый из этих компонентов в ответе за действие, которое Elasticsearch выполняет над документами, это, соответственно, хранение, чтение, вычисления и приём/передача. Поговорим об общих принципах сайзинга и раскроем то самое «it depends». А в конце статьи ссылки на вебинары и статьи по теме. Поехали!
Читать дальше →
Всего голосов 21: ↑18 и ↓3 +15
Комментарии 16

Не New Relic’ом одним: взгляд на Datadog и Atatus

Время прочтения 9 мин
Просмотры 17K
Блог компании Флант Разработка веб-сайтов *Системное администрирование *Отладка *DevOps *


В среде SRE-/DevOps-инженеров никого не удивишь, что однажды появляется клиент (или система мониторинга) и сообщает, что «всё пропало»: сайт не работает, оплаты не проходят, жизнь — тлен… Как бы ни хотелось помочь в такой ситуации, сделать это без простого и понятного инструмента бывает очень сложно. Зачастую проблема скрыта в коде самого приложения — нужно лишь локализовать её.

И в горе, и в радости…


Так сложилось, что мы уже весьма давно и сильно полюбили New Relic. Он был и остаётся отличным средством для мониторинга производительности приложения, а также позволяет инструментировать микросервисную архитектуру (с помощью своего агента) и многое-многое другое. И всё могло быть замечательно, если бы не изменения в ценовой политике сервиса: его стоимость с 2013 года выросла в 3+ раза. Вдобавок, с прошлого года для получения trial-аккаунта требуется общение с персональным менеджером, что затрудняет презентацию продукта потенциальному заказчику.
Читать дальше →
Всего голосов 38: ↑37 и ↓1 +36
Комментарии 10

Continuous Monitoring – автоматизация проверок качества ПО в CI/CD Pipeline

Время прочтения 13 мин
Просмотры 14K
Блог компании ГК ЛАНИТ Высокая производительность *Системное администрирование *DevOps *
Сейчас на хайпе тема DevOps. Конвейер непрерывной интеграции и доставки CI/CD внедряют все, кому не лень. Но большинство не всегда уделяют должное внимание обеспечению надежности работы информационных систем на различных этапах CI/CD Pipeline. В данной статье я хотел бы поговорить о своем опыте автоматизации проверок качества ПО и реализации возможных сценариев по его «самовосстановлению».

Источник
Читать дальше →
Всего голосов 55: ↑55 и ↓0 +55
Комментарии 0

Вы не Google

Время прочтения 7 мин
Просмотры 50K
Анализ и проектирование систем *Развитие стартапа Управление продуктом *IT-компании
Перевод


Разработчики сходят с ума от самых странных вещей. Мы все предпочитаем считать себя супер-рациональными существами, но когда дело доходит до выбора той или иной технологии, мы впадаем в некое подобие безумия, перескакивая от комментария на HackerNews к посту в каком-нибудь блоге, и вот уже будто в забытье, мы беспомощно плывем по направлению к самому яркому источнику света и покорно преклоняемся перед ним, абсолютно позабыв о том, что именно мы изначально искали.

Читать дальше →
Всего голосов 123: ↑109 и ↓14 +95
Комментарии 56

Выбор школы при переезде в США

Время прочтения 5 мин
Просмотры 34K
Образование за рубежом IT-эмиграция
Из песочницы
Многие люди с детьми, планирующие переезд в США, слышали о необходимости тщательно выбирать район проживания. Особенно важно понять, какие школы относятся к выбранному адресу.

После переезда голова обычно идет кругом и нет времени разобраться в тонкостях. Важно понимать и помнить следующее: сайты агентств недвижимости и агрегаторы типа Zillow, не дают актуальной и корректной информации о принадлежности конкретного адреса к конкретной школе!

Ниже предлагается пошаговая инструкция по определению школ, привязанных к конкретному адресу и анализу этих школ.

image
Читать дальше →
Всего голосов 71: ↑62 и ↓9 +53
Комментарии 131

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность