Мониторинг — это главное, что есть у админа. Админы нужны для мониторинга, а мониторинг нужен для админов.

За последние несколько лет поменялась сама парадигма мониторинга. Новая эра уже наступила, и если сейчас вы мониторите инфраструктуру как набор серверов — вы не мониторите почти ничего. Потому что теперь "инфраструктура" — это многоуровневая архитектура, и для мониторинга каждого уровня есть свои инструменты.

Кроме проблем типа "упал сервер", "надо заменить винт в рейде", теперь надо понимать проблемы уровня приложения и уровня бизнеса: "взаимодействие с микросервисом таким-то замедлилось", "в очереди слишком мало сообщений для текущего времени", "время выполнения запросов к бд в приложении растет, запросы — такие-то".

У нас на поддержке около пяти тысяч серверов, в самых разных конфигурациях: от систем из трех серверов с кастомными докеровскими сетками, до больших проектов с сотнями серверов в Kubernetes. И за всем этим надо как-то следить, вовремя понимать, что что-то сломалось и быстро чинить. Для этого надо понять что такое мониторинг, как он строится в современных реалиях, как его проектировать и что он должен делать. Об этом и хотелось бы рассказать.

Disclaimer: Эта статья основана в том числе на личном мнении Амирама Шачара (Amiram Shachar, CEO of Spotinst). Компания автора предлагает конкурирующий продукт под названием Spotinst Functions.

Перевод выполнен облачным провайдером Cloud4Y. Мы предлагаем программно-конфигурируемые дата-центры (vDC) на базе кластерных решений VMware vSphere с управлением посредством портала самообслуживания VMware vCloud Director.

По мнению многих специалистов, бессерверные вычисления являются следующим шагом в эволюции архитектуры вычислительных систем. Причины для совершения этого «прыжка» ясны:

• Вы экономите время: больше не нужно планировать и думать о том, как объём ресурсов для работы приложения будет расти или уменьшаться. Вам не только не придётся заниматься внедрением после развертывания, но также вы сможете потратить больше времени на дальнейшие инновации, экономя его на работе с инфраструктурой.
• Вы можете сэкономить деньги: в serverless-мире, где вы платите за триггер, вам не нужно писать on/off-скрипты, планировать резервирование или прогнозировать всплески. Вы просто платите за то, что используете.

Serverless — следующий шаг

Как переход от on-premises к облаку, переход к serverless в некоторой мере неизбежен. Однако, сделав этот ход, вы можете неожиданно получить счёт на большую, чем ожидаете сумму.

Затраты на бессерверные вычисления больше, чем pay-per-trigger

Каким образом можно от третьего лица определить, работают ли мои сайты и сервера? Есть ли вероятность ошибки? Кто и когда должен узнать о проблеме, чтобы вовремя принять меры? На все эти вопросы я постараюсь ответить, подробно рассмотрев функцию мгновенных оповещений о падениях сервиса мониторинга сайтов ХостТрекер, а также возможные сценарии эскалации оповещений и распределения ролей.

Глава 1. Введение

Цель этой книги – предоставить руководство по развитию на пути становления настоящим инженером надёжных баз данных (database reliability engineer, DBRE). В названии книги мы специально использовали слово инженер, а не администратор.

Бен Трейнор (инженер Google) охаракеризовал эту деятельность так:

В основном, это работа, которая исторически выполнялась отделом эксплуатации (operations team), но с привлечением инженеров с их опытом в проектировании программного обеспечения, а также желанием и умением автоматизировать человеческий труд.

Здравствуйте, коллеги!

У нас только что пришла из типографии долгожданная фундаментальная работа Мартина Клеппмана, именуемая в оригинале "Designing Data-Intensive Applications" (анонсировали ее мы еще в сентябре 2016 года). Книга доступна для заказа на сайте (не благодарите, мы сами ликуем)



А в конце ноября прошлого года в издательстве «O'Reilly» вышла долгожданная книга «Database Reliability Engineering», которая, на наш взгляд, отлично дополнила бы работу Клеппмана. Кстати, пока на Amazon — только восторженные отзывы



Под катом мы предлагаем вам не только оптимистичный обзор книги с лошадкой, но и реалистичный комментарий к этому обзору, который, надеемся, также вас заинтересует

Никак, но можно сделать логотип узнаваемым.

Узнаваемость зависит не только от логотипа

Многие предприниматели заказывают логотип, чтобы поставить его в угол сайта. На этом работа над узнаваемостью заканчивается. Ведь логотип уже есть и можно двигаться дальше.

На самом деле, в этом случае, в бизнесе ничего не изменилось — просто в углу сайта появилась новая картинка. Узнаваемость зависит не от логотипа, а от того, что делает компания, чтобы клиент запомнил логотип.

В последней статье я уже упоминал о существовании альтернативных способов вычисления логических функций. В этой статье начну знакомить с вычислением логических функций непосредственно по событийному описанию (например STG). Тут не надо путать событийные описания с описаниями через состояния (пример — диаграмма изменений). Сам метод родился для синтеза асинхронных схем, но при желании его можно использовать и при синтезе синхронных схем. Отличительными чертами метода являются: 1) полный отказ от использования такого понятия как состояние (при объяснении я конечно буду ссылаться на это понятие); 2) существенное сокращение вычислений за счет использования информации о соседних состояниях. При машинных вычислениях это позволяет существенно сократить время вычислений и радикально решить проблему нехватки памяти при взрыве состояний. При ручных вычислениях метод позволяет при достаточной сноровке оперировать поведениями с сотнями сигналов. Речь конечно же идет о вычислении минимальных функций.

Введение

В этой статье я поделюсь с вами нашим опытом решения интересной аналитической задачи с помощью нестандартных визуальных инструментов. Статья будет интересна людям, занимающимся анализом данных, а также банковским менеджерам, которые специализируются на мониторинге и анализе кредитного портфеля банка.

Приложение, про которое, собственно, буду писать ниже, выполнено на базе платформы iDVP (Interactive Data Visualization Platform).

Часть 1. Введение, стили
Часть 2. Строки, разметка
Часть 3. Редактирование через PL/SQL

Доброго дня. Третья часть разговора про формат XLSX подоспела. Я не случайно начал со внутреннего устройства файла. Не понимая где что находится и как выглядит, сложно понять, для чего я сделал то-то и то-то. К тому же, теперь я могу сделать несколько замечаний:

Первое. Если я не упомянул какой-то элемент, который нужен именно вам, — создайте пустой файл XLSX, сделайте нужный элемент и сохраните. Теперь вы знаете, где искать код, определяющий этот элемент.

Второе. OpenXML допускает наличие в разметке произвольного текста, если он не нарушает структуру тегов (этим мы будем очень активно пользоваться). Сейчас проиллюстрирую. Вот так делать можно:

В Первой части мы подготовили нашу страницу.

После прочтения комментариев хочется сделать небольшое отступление: я не говорю что этот подход идеальный, или всем надо следовать и теперь писать только так. Я знаю о наличии программ для этого. Но суть статьи была поделиться мыслями как это можно сделать самому, и заодно разобраться в разных технологиях. Всегда интересно искать новые пути, пусть они и неверные, или слишком длинные, но они учат нас чему-то новому, пусть даже мы их прошли с ошибками.

Имитация базы, как мне уже писали в комментариях, это json файлы с содержанием нужного текста. Вопрос: "Зачем тут Vue? Если это можно написать и на скриптах?". Если честно — для красоты html верстки. Ну и изучения новых технологий.

Передо мной встала задача по обновлению текущего сайта одной компании, и в соответствии тренду выбор пал на landing page с поддержкой мультиязычности.

Посмотрев на реализации представленные в интернете я ужаснулась. В теле страницы куча текста! С такой разметкой же невозможно работать. А если надо поменять информацию? Это надо лезть в html, искать нужное, и менять в нескольких местах. Короче ужас! И я подумала что хорошо бы использовать базу данных, но это же обычная страница, и разворачивать ради нее целый сервер? и базу? как то перебор! Работая с Angular2 я подумала что было бы классно с его помощью создать страницу, но он очень тяжелый, и не подходит… И тут я вспомнила о его аналоге Vue.js. Легкая библиотека, для создания приложений. Я подумала: "А почему бы не создать сайт с помощью vue и добавить имитацию базы?".

Обдумав все за и против, посмотрев на другие подходы, мне захотелось внести немного "красоты" в html верстку.

Для объяснения подхода я решила сделать небольшую страничку, потому что выкладывание полного кода существующей страницы считаю слишком "тяжелым".

Но пришлось все равно разбивать статью на 2ве части, тут описывается только подготовка небольшой страницы и добавление меню для смены языка.

Во второй части нашего пособия для новичков в Git мы рассказываем об управлении ветками, особенностях их слияния, а также о принципах работы указателей. Первую статью вы можете прочитать по ссылке.

Большие данные перестали быть просто модным словом и теперь применяются в сферах от IT до ритейла. Самое время начать разбираться в моделях анализа данных, погрузиться в массивы информации и получить опыт в интересном направлении — Data Scientist. Держите курсы, в которых изучите теорию и наберетесь практики. Профи не станете, но первый шаг сделаете.

Как мы определяем глубину — расстояние от нашего местоположения до другого объекта? Для этого существует несколько способов, и один из самых распространённых и простых для понимания включает в себя такое геометрическое явление, как параллакс. Этот чрезвычайно простой принцип используется нашими глазами и мозгом для формирования нашего трёхмерного изображения мира, а астрономы столетиями используют его для определения расстояний (или относительных расстояний) от Земли до астрономических объектов.

Ещё один распространённый способ определять расстояния включает в себя отправку волны (звука, света, чего-то ещё), распространяющейся с известной скоростью, которая отражается от объекта и возвращается к нам; время, затраченное на возврат волны — эхо — сообщает нам расстояние до объекта. По этому принципу летучие мыши определяют расстояние до пищи и препятствий, а также работает радар.


Рис. 1

Который год посреди пустыни Мохаве собираются тысячи людей со всего мира. Одни приезжают посмотреть, другие приезжают показать самые передовые (или не очень) гаджеты. Мы тоже отправили свою делегацию на CES 2018, Международную выставку потребительской электроники. Вот что наши «разведчики» обнаружили интересного на стендах, посвященных умному дому.

Необходимость регулярного снятия показаний приборов учета и передачи полученных данных поставщику ресурсов является неотъемлемой частью жизни современного человека.

Хотя операция снятия показаний не является очень обременительной, но она сопровождается «человеческим фактором»: про нее можно забыть, совершить ошибки при снятии или отправке данных, могут быть ошибки и с другой стороны. Кроме того увеличение стоимости ресурсов повышает ответственность сторон и приводит к росту недоверия между ними, попыткам хищения с одной стороны, появлению армии контроллеров с другой стороны, а это приводит к дальнейшему росту стоимости ресурсов.

Тема криптовалют и – шире – блокчейна весь прошлый год была сверхпопулярной. В результате многие гуманитарии (и мои студенты не исключение) набрали себе курсовых, дипломов и диссертаций по тематике. Но проблема в том, что серьезных вещей по теме написано с гулькин нос, причем даже в высокорейтинговых журналах часто встречается откровенная ерунда.

Я набросал небольшой список «серьёзной» литературы по блокчейну и криптовалютам для юристов, экономистов и прочих гуманитариев на русском языке – минимум, чтобы выстроить рамки понимания проблематики. Всего литературы по теме, разумеется, намного больше, так что если знаете что-то дельное, что я мог пропустить – присылайте в личку, список дополняемый. Давайте начнём с работ на русском.

Приветствую, уважаемое сообщество!

Сегодня ровно год, как я написал первый пост на Хабре. Второй и до этого момента крайний пост, я написал примерно через неделю и…

Этот год я активно занимался освоению новой профессии — Трабл-Шутер. Тех, кто не знает такой специальности (но хотел бы узнать), милости прошу в мой профиль. Если кратко, то Трабл-Шутер — это человек решающий чужие бизнес-проблемы, не традиционными способами.

Так вот, в честь юбилея моего присутствия на Хабре, я решил написать серию статей, в которой расскажу о некоторых проектах и разработках, сделанных в ходе работы над этими проектами. Конечно, я буду рассказывать только о разработках, которые по тем или иным причинам не принял заказчик (соответственно все права на интеллектуальную собственность принадлежат мне) или которые я делал вне проектов, для себя. И естественно, все проекты будут технической направленности, это около 40% всех проектов (остальные относятся к области маркетинга, HR, экономики).

Долго думать с какого проекта начать, не пришлось, логично начать с самого первого проекта. Тем более решение, которое я опишу, получилось действительно эффективное и простое (у Трабл-шутеров часто решения на столько простые, что заказчик хватается за голову: «Как же я сам не догадался?»). В теме поста нет никакого обмана, действительно разработанное оборудование получилось минимум в 20 раз дешевле аналогов (для некоторых брендов конкурентов, этот показатель достигает и 40х), в 2,5 раза точнее и значительно удобнее.

И так, как вы уже поняли разрабатывали мы в этом проекте не ПО, не процессы, а оборудование (железку). Под катом вы узнаете все подробности о проекте.

В 2016-м Amazon тестировал «магазин без касс и очередей» на своих сотрудниках. А теперь такой супермаркет впервые открылся для публики. Он оснащен камерами и датчиками, которые смотрят, что берет покупатель, а при выходе из магазина деньги автоматически списываются с карты. Открытие ожидалось в начале 2017-го, но технологию пришлось оттачивать лишний год. Ей сложно было отличать много покупателей сходной комплекции, а когда в тестовый период люди приходили с детьми, те вызывали хаос, неправильно складывая товары. Но теперь, после пяти лет работы, Amazon говорит, что технология готова, и «станет новым достижением в компьютерном зрении и машинном обучении».

До этого похожие проекты уже были – например, Moby Mart, который в 2017-м тестировали в Китае, и «кафе без персонала» от Alibaba. Но у Amazon система работает в совершенно других масштабах, радует (довольно многочисленных) покупателей, обещает приносить прибыль, и уже готова к расширению. А мы смотрим, как всё это работает, и почему на эту технологию в США ополчились миллионы людей.

Разработка астероидов может казаться вам темой из научной фантастики, но над воплощением её в жизнь уже работает несколько компаний и правительств. И это неудивительно — по сравнению с удивительными мостами, которые строят инженеры на Земле, добыча ископаемых из астероидов кажется простой и небольшой операцией, не требующей передовых технологий. Если чего и не хватает, так это воображения, способного подсказать, насколько эта деятельность стала возможной. Боюсь лишь, что она не начнётся достаточно быстро для того, чтобы помочь миру справиться с уже существующими трудностями, связанными с ресурсами.

Я, как научный исследователь, работаю с несколькими компаниями по разработке астероидов, подчиняясь срочности этой задачи. Я завишу от их финансирования, поэтому у меня есть производственные секреты, которыми я не смогу поделиться. Однако я могу раскрыть основные причины моего оптимизма касательно разработки астероидов как бизнеса, и рассказать о том, что он будет означать для нас в будущем.