Как стать автором
Обновить
5
Карма
0
Рейтинг
Дмитрий Меликов @tal10n

Пользователь

Как мы эвакуировали дежурную смену Яндекса

Это лампа так загородила) бесила, мы ее демонтировали.

Как мы эвакуировали дежурную смену Яндекса

Спасибо за ссылку!

Как мы эвакуировали дежурную смену Яндекса

Попробую расписать. Мы стараемся разделять алерты и панели на критические, диагностические, информационные.
Критические — говорят команд о том что пользователи прямо сейчас испытывают проблемы и стоит начинать выполнять регламентные действия по спасению(нет не дебаг, дебаг уже поздно, крутим ручки, включаем резервные мощности, отрабатываем заранее подготовленные факапные сценарии)
Диагностические — панель которая повторяет архитектуру сервиса и на которой видны основные места, обычно сверху по стеку:
— балансеры, коннекты, коды ошибок,
— показывающие слои, скорость отрисовки, ошибки верстки,
— арргегирующие или промежуточные слои, обход источников, неответившие источники, критически важные источники, доля неответов, персентили времен по аггрегации,
— базовые слои, базы данных, долгие запросы, количество запросов, емкость системы,
Информационные — запланированные работы или релизы.

Соответственно имея перед глазами пользовательские метрики и архитектуру сервиса с узким местом можно с большой точностью направить починку по правильному пути.

Как мы эвакуировали дежурную смену Яндекса

Я бы с удовольствием сходил-посмотрел для обмена опытом.

Как мы эвакуировали дежурную смену Яндекса

Нет, оказалось удачно подобрали, все оказалось удобно. Кроме выявленных в первый день с питанием и охлаждением. Из изменений только допиливаем инструмент автоматического разворачивания и конфигурирования панелей.

Как мы эвакуировали дежурную смену Яндекса

На Картах можно оптимизировать маршрут, если выбрать несколько адресов. Если не путаю, это часть Яндекс.Маршрутизации. yandex.ru/routing. Можно поиграть с маршрутом в yandex.ru/maps если выбрать несколько(больше 3) адресов будет доступна кнопка оптимизировать.

Как мы эвакуировали дежурную смену Яндекса

Выше в комментариях уже писал ответ на это. Мы не занимаемся пиксельхантингом и пользуемся панелью для диагностики в ситуации когда нам надо оперативно узнать состояние куска сервиса или инфраструктуры. Триггеры на метрики есть и успешно работают.

Как мы эвакуировали дежурную смену Яндекса

Модем включается руками, интернет пропадает не так часто. По ИБП, электричество еще не подводило. Про другие проблемы при работе у нас резервирование идет графиком, большую часть времени на «дежурстве» 2 человека, из расчета один координирует текущие работы/процессы/релизы а 2й спокойно пишет код. Если случилось страшное и пропало питание или интернет кричим коллеге в онлайн конференции что есть проблемы, передаем роль дежурного и спокойно чиним.

Как мы эвакуировали дежурную смену Яндекса

Дома у каждого бойца есть запасной модем с симкой, как у тебя)

Как мы эвакуировали дежурную смену Яндекса

Есть линк в офисную сеть и отдельная оптика через другой канал, никак не связанная с офисной. Свисток тоже) его только тестировали ниразу в бою не пригодился.

Как мы эвакуировали дежурную смену Яндекса

Все алерты которые у нас есть они дублируются и приходят всем заинтересованным. Про то как у нас устроена система нотификаций можно написать отдельную статью. Приведу пример, при потере датацента пострадает огромное количество сервисов и нотификации будут мало бесполезны. На одних алерта далеко не уехать нужно еще видеть запас по сервисам и тренды)

Как мы эвакуировали дежурную смену Яндекса

Отличный вопрос. Помимо Алисы есть еще большое количество сервисов и эти сервисы могут влиять друг на друга. Есть еще инфраструктура, сети и внешние пользователи. Эти панели нужны не для того чтобы понять, что есть проблема у одного сервиса, а для того чтобы понимать, что происходит со всеми сервисами одновременно и иметь возможность скоординировать работу в случае глобальной проблемы. Имея такой прибор опытный специалист может оперативно перенаправить фокус команд или пользовательский трафик.

Как мы эвакуировали дежурную смену Яндекса

Верно. И ноутбуки с мониторами на складе найти проще, они стандартные. Карточки с боксами надо заказывать и ждать неизвестно сколько. После изоляции эти карточки с боксами будут бесполезны, а докстанции и мониторы можно будет переиспользовать в обычной жизни.

Как мы эвакуировали дежурную смену Яндекса

Мы взяли старую фотку, вместо того чтобы гонять людей в офис за свежей.

Как мы эвакуировали дежурную смену Яндекса

У меня в соседней комнате компьютер жены работает именно так(включается с тыла кнопкой на блоке питания, а на морде все кнопки отключены). Но тут есть нюанс, кнопки монитора не отключить) Ребенок обязательно все поднажимает.

Как мы эвакуировали дежурную смену Яндекса

схема выглядит как, мак а к нему:
— 3 монитора чез Type C
— док станция черезз Type C
** дисплей порт через докстанцию(hdmi пробовали тоже но картинка была хуже)
** езернет через докстанцию
** мышки клавиатуры через докстанцию
** накопители(диски флешки) через докстанцию

Можно использовать и переходник от мака и подключить монитор через передничек и hdmi но тогда не остается удобных свободных портов для другой перефирии. Часть парней у меня использует такой способ подключения.

Как мы эвакуировали дежурную смену Яндекса

Тысячи сценариев, игру можно запустить в любой виртуалке или вайне — это подойдет для соло. Игра по сети стабильно и хорошо работает в паралелс.

Как мы эвакуировали дежурную смену Яндекса

Моему ребенку 3 года, основная проблема это желание ребенка: — «поработать как папа». Приходится блокировать ноутбук или давать ребенку запасной. К мелочам вида дать поиграть с ручкой/телефоном/мышкой давно привык.

Как мы эвакуировали дежурную смену Яндекса

В изоляции важно следить за моральным настроем в команде, в пятницу вечером мой домашний пункт управления яндексом выглядел вот так)

Как мы эвакуировали дежурную смену Яндекса

Это как со стаканом которой на половину полон. Из плюсов можно не тратить время на поход за едой)

Информация

В рейтинге
Не участвует
Откуда
Россия
Работает в
Зарегистрирован
Активность