Сборная солянка из существующих best practices по работе с Grafana и немного с Prometheus, проверенных мной лично. Можно просто положить в закладки — когда-нибудь да пригодится.
User
Использование Istio для управления трафиком и мониторинга в микросервисах
7 min
Review
Привет, уважаемые читатели Хабра!
Когда у нас есть десятки, сотни или даже тысячи микросервисов, становится важным уметь управлять трафиком между ними. Это может включать в себя маршрутизацию запросов, балансировку нагрузки, версионирование сервисов и даже внедрение A/B-тестирования. Контроль над трафиком необходим для обеспечения стабильности и производительности системы.
Мониторинг микросервисов и всей инфраструктуры позволяет выявлять и решать проблемы быстро. Это включает в себя сбор метрик, анализ логов и трассировку запросов. В мире микросервисов даже мелкие изменения могут иметь большое воздействие на производительность, и мониторинг помогает быстро реагировать на такие изменения.
И вот здесь на помощь приходит Istio, предоставляя мощные инструменты для управления трафиком и мониторинга в микросервисной архитектуре.
Яндекс.Еда, утечки и правосудие. Предварительные итоги
Medium
7 min
Analytics
У нас было 20 нотариальных доверенностей (как требует ст. 244.20 ГПК РФ для групповых исков), 1008 подписанных заявлений о присоединении к иску, а также 1 компьютерно‑техническое исследование, 3 адвоката, 2 юриста и пинта чистого дофамина. Не то чтобы это был необходимый запас для суда, но раз уж начал готовить первый групповой иск по утечкам к гиганту, то сложно остановиться...
За полтора года нашей совместной (РКС + Сетевые свободы) работы по делу самой массовой утечки в российской кибер истории, мы прошли долгий путь от несостоявшегося коллективного иска к Яндекс.Еде до получения отказа силовиков признавать утекшие данные сведениями о частной жизни при принятии решения о возбуждении уголовного дела по ст.137 УК РФ (нарушение неприкосновенности частной жизни).
Сервис есть – владельца нет: как справиться с сервисами-сиротами в микросервисной архитектуре
7 min
Привет! Меня зовут Андрей, я head of platform в финансовом маркетплейсе Банки.ру.
Для создания своих продуктов мы применяем микросервисный подход. Он помогает нам ускорить разработку и делает ее гибкой и управляемой. Но как в любом подходе, у него есть темная сторона, проявление которой может создать кучу неприятностей и осложнить работу над проектом. Сегодня хочу поговорить об одном из таких аспектов — о сервисах-«сиротах» (так мы их ласково называем в Банки.ру, поэтому дальше кавычки ставить не буду).
Эта статья – оптимистичное и структурированное продолжение моего доклада на ту же тему, с которым я выступал в 2018 году. Текстовая версия есть на Хабре.
Годы взаимодействия с разномастными сиротами помогли их классифицировать, поэтому захотелось уделить больше внимания тому, какие сироты бывают, чем они опасны или хороши (такое тоже случается), каких нужно возвращать в семью, а от каких отказываться. Чтобы было зрелищнее и веселее, использовал образы и иллюстрации из мира «Гарри Поттера» в целом и «Фантастических тварей» в частности, прошу понять и простить. Права на изображения незыблемо принадлежат братьям Уорнер – и всё такое.
Мониторинг FastAPI-приложения с помощью Grafana и Prometheus — пошаговое руководство
Easy
12 min
Translation
Мониторинг играет решающую роль в обеспечении производительности, доступности и стабильности FastAPI-приложений. Отслеживание ключевых показателей и выявление потенциальных проблем поможет разработчикам вовремя принимать решения и улучшить его работу. В этом гайде мы рассмотрим, как настроить мониторинг FastAPI-приложения с помощью двух мощных инструментов: Grafana и Prometheus.
Propan — Python фреймворк для написания микросервисов с использованием брокеров сообщений
Easy
4 min
Так исторически сложилось, что последние 5 лет своей продуктовой разработки я работаю с микросервисами вокруг брокеров сообщений (преимущественно RabbitMQ и Kafka).
И все это время меня не покидало чувство некой неудовлетворенности и неполноценности инструментария, который был мне доступен.
Приходя из мира HTTP фреймворков ты чувствуешь себя как будто на костылях - ни тебе hotreload'а, который есть практически в любом wsgi-asgi сервере, хочешь тестировать - поднимай контейнеры окружения или мокай зависимости (особенно удобно в CI, ага), не забудь о реконнектах, логировании, трассировке и тд и тп.
И вот, таская от сервиса к сервису ворох всех этих проблем (и код который эти проблемы решает), до меня дошла гениальная идея: оформить весь однотипный код, общий для всех сервисов в единый пакет!
Так появился на свет фреймворк Propan.
Как смотрели нюдсы на древних компьютерах?
7 min
Translation
Формат JPEG представили в 1993 году, а GIF — в 1987-м. Но тогда непонятно, как смотрели фотографии девушек на этой прекрасной машине образца 1983 года?
Такой вопрос пришёл мне от читателя обзора портативного компьютера Compaq Portable. Ответ оказался сложнее, чем мы думали. Давайте разберёмся.
Как вернуть деньги за высокотехнологичный товар, наказав производителя за брак и наплевательское отношение
11 min
Была тут одна замечательная история – пермский юрист Василий Черепанов отсудил у представительства Lenovo десятикратную стоимость за бракованный ноутбук.
С одной стороны, дело попахивает потребительским экстремизмом. С другой, человек год просидел без оплаченной покупки, изрядно побегал по всевозможным инстанциям, ну и вовсю ощутил на себе «заботу» производителя о потребителях. Те, кому «посчастливилось» столкнуться с подобной «заботой», наверняка уже воскликнули, мол, молодец парень, отомстил за всех.
Далее – интервью с Василием Черепановым с подробностями его «ноутбучной» истории и всевозможными юридическими моментами и судебными и досудебными тонкостями. Некий ликбез по «Закону о защите прав потребителей». Если вы с ним не особо знакомы, то будет интересно.
Эффективные встречи
3 min
Слышала от многих разработчиков, что они не любят рабочие встречи. Говорят: "Пустая трата времени", "Митинги бесполезны", "А работать то когда?". Так вот, если у вас такие встречи, то вы явно что-то делаете не так.
Что читать DevOps-инженеру: 7 полезных книг
4 min
DevOps-инженеры знают, как сложно найти действительно познавательную литературу. В этой профессии очень важны постоянное самосовершенствование и изучение новых технологий. Книги помогают систематизировать знания и могут подсказать приемы, которые сделают работу эффективнее. В новой подборке от экспертов МойОфис мы советуем семь стоящих изданий. Подробности — под катом.
3D. Как сделать мимика и не умереть?
16 min
В прошлых выпусках мы немного поведали вам о том, что такое 3D, каким оно бывает и где применяется. А также чуть-чуть отошли от вопросов чисто тридешных и затронули тему создания куклы своей мечты с помощью 3D-технологий. Кстати, некоторый прогресс по куклам вы сможете найти в конце поста.
3D. Как осуществить мечту
16 min
Мы уже рассказали, что такое 3D и с чем его едят. Как оно делается — рассказали. Где применяется — рассказали. Даже немножко поведали о том, как делать с его помощью мультики, и немного затронули стилизацию. Теперь можно перейти к чему-то более материальному. Так сказать, к воплощению чувственных идей. Помните в детстве это чувство, когда вы очень хотели какую-нибудь вещь, но не могли её получить (в силу определённых причин)? Потом ещё давали себе обещание вырасти и купить всё, что когда-то мечтали. А потом вдруг работа, налоги, квитанции, еда, оказывается, не сама в холодильник прыгает. А потом хоба — и того, что ты уже можешь себе позволить, давно нет и не только в продаже, ведь заводы, производившие это, давно разобраны на металлолом, а фирма расформирована и поглощена каким-нибудь концерном.
Ковид-пандемия: взгляд ковидоскептика
62 min
Recovery Mode
Роман Левентов leventov
Довожу до вашего сведения, что я отправил ссылку на ваш пост в интернет-приемную sledcom.ru. За распространение фейков сейчас есть административная и уголовная ответственность: www.garant.ru/news/1362894. Можете считать это чем угодно, заговором, цензурой, и т. д. но надеюсь что у вас сработает инстинкт самосохранения.
Port5 Роман всё правильно сделал, респект ему.
When they say «trust the science», they really mean «don't ask questions».
Пытаясь спорить в комментариях с горячими сторонниками ковидных ограничений, я понял, что я не могу в отдельных комментариях объяснить всего. Мне хотелось бы показать людям, откуда берётся ковидоскептицизм, но в рамках описания отдельных элементов это невозможно.
Любые проблемы всегда выдаются за «отдельные недостатки», за «случайные инциденты». И отдельные факты действительно могут казаться такими, если не представлены в комплексе. Только общий взгляд на последовательность событий помогает выявить закономерность.
Я понял, что должен написать большую сводную статью, представляющую взгляд ковидоскептика, в которой я перечислю хотя бы основные сомнения и подозрения, которые возникали на протяжении этих полутора лет.
Статья представлена в условно хронологическом порядке. Это означает, что я буду перечислять события примерно так, как они происходили в течение этого года, но в рамках разговоров об этих события я стану ссылаться на более новые данные, используя эффект «послезнания». Это позволит мне одновременно придерживаться какой-то единой нити повествования, и при этом давать ссылки на данные, которые появлялись в совершенно разное время, некоторые раньше, а некоторые позже.
В самом начале событий мы не имели практически никакой информации и оперировали в основном догадками, но ближе к настоящему моменту ситуация прояснялась — хотя нельзя сказать, что она стала менее подозрительной, скорее даже более. Впрочем, вы сами это увидите.
Автоматизация машинного обучения
8 min
Datascience – это не только fit-predict
Представим, что вы начали работать в компании, которая производит однообразные операции с бесконечными таблицами. Например, в крупном ретейлере или у ведущего оператора связи. Ежедневно перед вами ставят задачу выяснить, останется ли клиент с вами или хватит ли товара на полках до конца недели. Алгоритм выглядит просто. Вы берете выборку, изучаете бесконечные ряды признаков, удаляете мусор, генерируете новые признаки, собираете сводную таблицу. Подаете готовые данные в модель, настраиваете параметры и с нетерпением ждете заветных цифр итоговой метрики. Это повторяется день за днем. Затрачивая каждый день всего 60 минут на генерацию фич или подбор параметров, за месяц вы израсходуете минимум 20 часов. Это, без малого, целые сутки, за которые можно выполнить новую задачу, обучить нейросеть или прочесть несколько статей на arxiv’e.
Удобно, когда структура данных не меняется. Стабильный набор лейблов и признаков каждый день. Вы понимаете алгоритм обработки и выстраиваете пайплайн. Однообразные таблички со знакомыми признаками начинают обрабатываться без вашего участия. Сложности начинаются в момент, когда признаки в данных становятся разными от задачи к задаче. Или, что еще страшнее, фич становится мало и модель начинает выдавать низкие метрики. Надо снова тратить время на предобработку. Рутина поглощает, блеск в глазах пропадает, продуктивность падает. Вы не первый, кто сталкивался с такими проблемами. Разработчики выкладывают в открытый доступ библиотеки, которые помогают автоматизировать однообразные операции.
Ptpython: улучшенный REPL для Python
4 min
Translation
Возникало ли у вас когда-нибудь желание быстро испытать какую-нибудь свежую идею, прибегнув к интерфейсу командной строки Python, к REPL? Вероятно, если речь идёт об эксперименте буквально с несколькими строками кода, вам просто не захочется создавать для этого новый «блокнот» Jupyter.
Но в подобной ситуации, возможно, вас не особенно порадует и перспектива использования классической консоли Python, так как она, в отличие от Jupyter Notebook, не поддерживает автодополнение ввода и не умеет работать с документационными строками. В REPL, кроме того, нельзя, после нажатия на
Что если можно было бы превратить довольно-таки скучную командную строку Python в многофункциональный инструмент, вроде того, запись работы с которым показана ниже?
Продвинутая командная строка Python
Собственно, именно на тех, у кого возникает подобное желание, и ориентирован проект ptpython.
Но в подобной ситуации, возможно, вас не особенно порадует и перспектива использования классической консоли Python, так как она, в отличие от Jupyter Notebook, не поддерживает автодополнение ввода и не умеет работать с документационными строками. В REPL, кроме того, нельзя, после нажатия на
Enter, исправлять ошибки в коде.Что если можно было бы превратить довольно-таки скучную командную строку Python в многофункциональный инструмент, вроде того, запись работы с которым показана ниже?
Продвинутая командная строка Python
Собственно, именно на тех, у кого возникает подобное желание, и ориентирован проект ptpython.
«A/B-тест» в инженерно-геологических изысканиях на языке Python
7 min
При выполнении инженерно-геологических изысканий может возникнуть задача, связанная с сопоставлением данных полевых и лабораторных исследований на одних и тех же грунтах, с целью подтверждения корректной транспортировки проб от объекта изысканий до лаборатории (образцы не были деформированы и/или разрушены в ходе перевозки).
При данной постановке задачи можно применить методику A/B-тестирования.
Топ 6 библиотек Python для визуализации: какую и когда лучше использовать?
13 min
Translation
Если вы только собираетесь начать работу с визуализацией в Python, количество библиотек и решений вас определенно поразит:
- Matplotlib
- Seaborn
- Plotly
- Bokeh
- Altair
- Folium
Но какую из этих библиотек лучше выбрать для визуализации DataFrame? Некоторые библиотеки имеют больше преимуществ для использования в некоторых конкретных случаях. В этой статье приведены плюсы и минусы каждой из них. Прочитав эту статью, вы будете разбираться в функционале каждой библиотеки и будете способны подбирать для ваших потребностей оптимальную.
Тетрис, который максимально бесит
2 min
Сможет ли коллективный интеллект Хабра побить мировой рекорд?
Тетрис. Ну, казалось бы, что можно тут сделать нового? Был уже и трёхмерный тетрис, и четырёхмерный тетрис.
Сделали тетрис, который каждый раз подсовывает тебе самую ненужную фигуру. Сначала прикольно, а потом бесит. БЕСИТ!!!
Осторожно, этот тетрис вызывает негативные чувства и может испортить вам день. А может, натолкнет на философские размышления, что такое удача в жизни и стоит ли ее ждать или надо постоянно бороться.
Уже второй день я думаю, насколько такая простая механика заставила перепрошить привычные ментальные стратегии в игре и в более широком контексте принятия решений. Раньше, можно было «отложить» ситуацию на потом, когда выпадет более благоприятная фигура, а тут ты понимаешь, что за кулисами есть «некто», кто никогда не допустит, чтобы благоприятная фигура появилась. Единственный способ хоть как-то приуспеть — делать вилки, чтобы успех не мог не произойти.
В этом тетрисе даже нет «гравитации», то есть нет давления времени, но это вам мало поможет.
Алгоритм генерации ненависти простой:
Тетрис. Ну, казалось бы, что можно тут сделать нового? Был уже и трёхмерный тетрис, и четырёхмерный тетрис.
Сделали тетрис, который каждый раз подсовывает тебе самую ненужную фигуру. Сначала прикольно, а потом бесит. БЕСИТ!!!
Осторожно, этот тетрис вызывает негативные чувства и может испортить вам день. А может, натолкнет на философские размышления, что такое удача в жизни и стоит ли ее ждать или надо постоянно бороться.
Уже второй день я думаю, насколько такая простая механика заставила перепрошить привычные ментальные стратегии в игре и в более широком контексте принятия решений. Раньше, можно было «отложить» ситуацию на потом, когда выпадет более благоприятная фигура, а тут ты понимаешь, что за кулисами есть «некто», кто никогда не допустит, чтобы благоприятная фигура появилась. Единственный способ хоть как-то приуспеть — делать вилки, чтобы успех не мог не произойти.
В этом тетрисе даже нет «гравитации», то есть нет давления времени, но это вам мало поможет.
Алгоритм генерации ненависти простой:
«Проверьте все возможные местоположения всех возможных фигур, для каждой фигуры посмотрите лучший сценарий, из этих лучших сценариев выберите худший и сгенерируйте эту фигуру.»
Собеседование наоборот: вопросы соискателя к компании
6 min
Всем привет! Хочу очередной раз поднять тему про найм. Только я собираюсь поговорить об этом с точки зрения кандидата, а не работодателя. Ведь собеседование, вопреки многим стереотипам, процесс двусторонний — вопросы может задавать не только интервьюер, но и сам соискатель. За прошлый год я провёл порядочное количество собеседований, и абсолютное большинство кандидатов огорчило меня отсутствием вопросов о компании, всего 5 человек стали меня расспрашивать о работе.
Я же считаю, что вопросы на собеседовании должен задавать и сам кандидат, ведь ему предстоит там работать. Из стандартного описания вакансии невозможно понять, что творится в компании, да и на собеседовании принято всё немного приукрашивать. Я думаю, что соискатель должен максимально использовать собеседование для того, чтобы выяснить реальное положение дел в компании. Мало кому захочется попасть в некомфортные условия или в убыточную компанию без перспектив. Если интересно, как во время собеседования получить реальное представление о компании, то добро пожаловать под кат. Я дам список вопросов, которые обычно не ждут интервьюеры, возможно кому-то они помогут принять правильное решение при поиске работы.
Я же считаю, что вопросы на собеседовании должен задавать и сам кандидат, ведь ему предстоит там работать. Из стандартного описания вакансии невозможно понять, что творится в компании, да и на собеседовании принято всё немного приукрашивать. Я думаю, что соискатель должен максимально использовать собеседование для того, чтобы выяснить реальное положение дел в компании. Мало кому захочется попасть в некомфортные условия или в убыточную компанию без перспектив. Если интересно, как во время собеседования получить реальное представление о компании, то добро пожаловать под кат. Я дам список вопросов, которые обычно не ждут интервьюеры, возможно кому-то они помогут принять правильное решение при поиске работы.
PyTest для машинного обучения — простой учебник на основе примеров
8 min
Tutorial
Translation
В этой статье много замечательных моментов, которые показывают, почему тестирование улучшает доставку, производительность и долгосрочную прибыльность любого программного продукта или услуги для бизнеса всех видов и отраслей промышленности. Специально к старту нового потока нашего курса по ML и его расширенной версии Machine Learning и Deep Learning мы покажем, как с помощью PyTest создать эффективные тестовые функции для простого модуля машинного обучения.