Администрирование

Привет, Хабр! Меня зовут Роман Ананьев из команды DBA в Авито. В этой статье я расскажу о поиске альтернативы для многошардовых инсталляций MongoDB. Основная цель исследования — найти базу данных с поддержкой автошардирования, которая упростит эксплуатацию и лучше утилизирует ресурсы.

Когда проект вырастает из уютных нескольких шардов MongoDB и превращается в огромную систему на сотни узлов, стандартные подходы к масштабированию начинают пожирать железо и время инженеров. Здесь продуктовый инженер упирается в ресурсы, и у него начинается головная боль, как перелить данные из одних шардов в другие.

Это текст не про то, что MongoDB плохая, она — прекрасный стандарт рынка, в топ-5 движков БД. Я расскажу про то, что происходит, когда у стандартной технологии заканчивается запас прочности на нужном масштабе, и про то, как мы в Авито перебрали множество NoSQL и NewSQL кандидатов, чтобы найти одного подходящего.

В статье я разберу результаты технического исследования, проведённого командой DBA. Мы сравнили производительность, утилизацию ресурсов и архитектурные грабли Cassandra 5, FoundationDB и других БД. Также объясню, почему погоня за низкой latency в случае с FDB обернулась трёхкратным перерасходом дискового пространства.

Переход крупных корпоративных систем на отечественные СУБД остается одной из наиболее актуальных задач последних лет. Однако основная сложность подобных проектов заключается не столько в переносе данных, сколько в сохранении работоспособности существующих приложений, написанных под Microsoft SQL Server и Oracle Database.

Именно поэтому развитие Digital Q.DataBase сосредоточено сразу на нескольких направлениях: расширении совместимости с зарубежными СУБД, автоматизации миграции и создании инструментов, позволяющих минимизировать объем ручной доработки приложений.

Версия 18.2 стала одним из наиболее масштабных обновлений платформы. В релиз вошли изменения архитектуры продукта, значительное развитие совместимости с Microsoft SQL Server и Oracle Database, новые возможности мастера миграции, первая версия службы построения отчётов, совместимой с SQL Server Reporting Services, а также десятки других улучшений.

Подробнее об изменениях - в этой статье.

Привет, Хабр! Когда я был мелкий и трава зеленее, провайдеры всегда выдавали не белый, а «серый» адрес. Да, он менялся при каждом подключении, но всегда можно было открыть порт и поиграть с корешами в ту же CS 1.6 или Minecraft. Время прошло, и сейчас чтобы получить белый IP, нужно пройти три круга ада. И то не факт, что дадут. Или: «Купите наш тариф за миллион денег, тогда дадим».

Предыстория: от идеи к прототипу

Всё началось с того, что мы с коллегами по работе решили собраться и поиграть в CS 1.6. Желающих много, а вот чтобы все были в одном месте — уже не получается. И тогда меня посетила мысль: а что если сделать приложение, чтобы, потягивая пивко, можно было открыть игровой сервер для друзей? А не качать какие‑то Hamachi, ngrok и прочее, а потом ещё 15 минут настраивать порты, пока пиво остывает.

Весь мир с упорством достойным лучшего применения пытается использовать большие языковые модели, они же искусственный интеллект, в разных сферах деятельности человека. Не везде получается хорошо, но где-то отлично - например генерация кода на различных языках программирования. Злые люди поговаривают что ИИ скоро заменит программистов, но мы то тут на Хабре знаем правду.

Преамбула

У меня есть друг который работает сетевым администратором. Когда заходит разговор о том что ИИ заменит всех айтишников, он улыбается и говорит что это не про его профессию. Он говорит что ИИ плохо выполняет задачи с которыми он работает - многое надо делать руками в прямом смысле слова. У меня появилась идея проверить универсального ИИ агента - сможет ли он справиться с типовыми задачами сетевого администратора. Генерировать конфиги сетевого оборудования по промту или диагностировать проблему по логам эти задачи не выглядят как вызов для ИИ. Я выбрал задачу которая на мой взгляд более сложная - сбросить пароль на маршрутизаторе. Тут и подключение по COM-порту, работа с ROMMON и специфические тайминги. Да и ранее я не встречал решений которые автоматизируют этот процесс. 

Если вы последние пару лет следили за развитием сетевой подсистемы Kubernetes, то наверняка заметили, что вокруг Gateway API сложился странный консенсус: «все согласны, что это будущее, но почти никто толком не понимает, какую именно реализацию брать и зачем уходить от привычного Ingress». В этой статье я попробую рассказать про ключевые отличия Gateway API от Ingress (на примере самого популярного — NGINX Ingress Controller), сравнить между собой основные реализации Gateway API и поговорить о нюансах кастомизации, интеграции и производительности.

Привет, Хабр! Мы протестировали zVirt 5.0 с функциональностью, которой нет в ванильном oVirt. Главное, что нужно знать: в 5.0 на каждом узле меняется гипервизорная операционная система, фактически выполняется переустановка хостов и системы управления. В статье подробно разберу, почему переход на новую версию – это не рядовое обновление пакетов, а отдельный проект со своими особенностями и подводными камнями.

Привет, Хабр! Я Артем, групп-лид в Т-Банке. Я пришел в Т почти пять лет назад и с тех пор так или иначе всегда работал в домене «Кэшбэки» — одной из важных фич нашей экосистемы. А сегодня руковожу тремя стримами: кэшбэк-платформой, обработкой чеков для начисления кэшбэка и платформой доступности бонусных спецпредложений клиентам.

Моя статья — пятая в проекте «20 в 20» к 20-летию Т-Банка, в котором мы рассказываем об ИТ-хабах в разных городах и о людях в них. Сегодня — о минском ИТ-хабе, которому в этом году уже пять лет!

Начав в инфраструктурной команде, я прошел путь через роль SRE-лида на 20 команд, перешел в тимлидство команды разработки и дошел до руководителя нескольких команд. С каждым шагом менялся характер задач: от настройки конкретных сервисов — к выстраиванию процессов, от процессов — к работе с людьми, от работы с людьми — к работе с бизнес-результатом. 

В статье делюсь тем, как менялся мой взгляд на вопрос обеспечения надежности, с чем столкнулся, чему научился и что общего между работой инженера и менеджера.

В блоге Beeline Cloud мы любим рассказывать о необычных DIY-проектах вроде кастомной «беззеркалки», которую могут собрать все желающие, или домашней селфхостинг-лаборатории в стиле скандинавской мифологии. Сегодня речь пойдет о миниатюрном веб-хостинге, в том числе серверах размером со спичечную головку.

Привет! На связи Антон Дятлов, инженер по защите информации в Selectel. В инфраструктуре из 1000 серверов и 100 администраторов счет активным SSH-ключам может идти на тысячи. По умолчанию они не имеют срока действия, поэтому со временем накапливаются и устаревают.

Исследования показывают, что в крупных компаниях до 90% ключей не используются и не администрируются, а часть оставшихся предоставляет доступ на уровне root. Отсутствие централизованного управления усугубляет проблему: при увольнении сотрудника его доступы могут забыть удалить, сохранив за ним возможность подключаться к системам.

В итоге администраторы оказываются перед трудоемкой задачей контроля и актуализации авторизационных данных.

Мы небольшая компания с распределенной сетью торговых точек. На каждой точке обычно есть одна касса и один ПК. Где‑то стоит MikroTik, но на большинстве точек используется мобильная SIM‑карта в роутере или USB‑модем.

Главная проблема такого подхода, на мой взгляд, в том, что для сложных задач приходится писать слишком много кода на BAT, PowerShell или Python. Хотелось добавить IaC‑подход, и первым кандидатом стал Ansible.

Привет, Хабр! Меня зовут Светлана Каткова, я старший разработчик ПО для коммутатора KORNFELD в YADRO. Знакома ли вам ситуация: L2-связность работает, L3-маршруты есть, но большие файлы не копируются, VPN-туннель «рвет» соединение, а базы данных падают при попытке репликации? Диагностика показывает, что мелкие пакеты проходят идеально, а крупные — исчезают бесследно. С высокой вероятностью проблема упирается в Maximum Transmission Unit (MTU).

Тема MTU кажется простой только на первый взгляд. На практике мы сталкиваемся с разницей между L2 и L3 MTU, Jumbo Frames, настройкой Link Aggregation Group (LAG) и «сюрпризами» вендорских ОС при обновлении. Одна из ключевых проблем — непонимание, как из значения mtu получается реальный Ethernet-кадр, который уходит в кабель.

В этой статье рассмотрим правила настройки на примере Kornfeld OS, так как система аналогична многим вендорам.

Всем привет! Меня зовут Александр Конин, я продакт-менеджер «Аврора Центр». Наша платформа управляет устройствами на Авроре, Android и российских дистрибутивах Linux. Недавно вышло обновление 5.6, в котором мы активно развивали режим киоска. Для устройств на ОС Аврора его впервые можно настроить централизованно, прямо из консоли «Аврора Центр». Администратор сам выбирает, какие приложения остаются доступны сотруднику, а всё остальное на устройстве будет недоступно. На Android мы это умели и раньше, в 5.6 были добавлены новые сценарии моно-киоска.

ОС Аврора с самого начала разрабатывалась под задачи больших корпораций и госсектора, а не для обычных пользователей. Но платформа росла, множилось количество внедрений и устройство обрастало возможностями: появилась поддержка кроссплатформенной разработки на Flutter и Kotlin Multiplatform, ширилась экосистема приложений и появился RuStore. Смартфон на Авроре стал таким же универсальным, как любой другой. А бизнесу в ряде сценариев нужно обратное: чтобы устройство выполняло только одну задачу, оставляло доступными сотруднику только рабочие приложения и самостоятельно запускало их при старте работы. И если раньше на устройстве с Авророй список доступных приложений можно было ограничить только вручную, то теперь это возможно и централизованно, через «Аврора Центр» в релизе 5.6.

Отдельный класс устройств

Устройства под одну рабочую задачу давно используются в российском бизнесе: сканеры и терминалы на складах, телефоны у курьеров, планшеты у выездных сотрудников и в отделениях банков. Такой класс устройств привычен для крупного бизнеса, и требование к нему одно: смартфон или планшет должен выполнять только заданную роль, не отвлекать сотрудников на «сторонние возможности» и не разряжать из-за них батарею, необходимую для прямых обязанностей.

Продолжаю серию подборок. До этого рассказывал про инструменты для первого виртуального сервера и 10 онлайн-сервисов для сетевиков. А сегодня собрал утилиты, которые помогут найти, куда делось место, протестировать скорость диска и отследить, что именно его грузит. Интересно? Заходите под кат. 

Выгрузил железо из 1С, рядом положил список из ITAM — цифры разные. Полдня искал, кто накосячил, и не нашёл: косячить некому. 1С и ITAM и не должны сходиться — они про разное. Одна считает деньги, другая — что реально стоит и работает. Рассказываю, как перестал сверять их руками и развёл раз и навсегда.

Современный пользователь всё чаще сидит внутри интерфейса чат-бота. ИИ сам анализирует тонны информации, посещая сайты по нужной теме, выжимает из них самую суть и выдает емкий ответ. Удобно? Да! Полезно для владельцев сайтов? Спорно..

Блокировать ИИ ботов или, наоборот, разрешать вход и получать с этого трафик и выгоду?

Делюсь своим исследованием и полученным опытом, надеюсь материал будет кому-то полезным и Вы примените этот опыт на своих ресурсах.

CI/CD — процесс непрерывной интеграции и доставки кода — стало стандартом для большинства команд. Автоматический запуск тестов при каждом коммите, автоматическая сборка, автодеплой на стейдж или прод — без этого трудно представить современную разработку.

GitFlic имеет встроенный инструмент CI/CD, который не требует установки сторонних решений вроде Jenkins. Достаточно добавить в репозиторий файл конфигурации, настроить агента — и конвейер заработает сам.

В этой статье разберем, как устроен GitFlic CI/CD, из каких концепций он состоит и как написать первый рабочий конвейер с нуля.

Представьте: ночью у клиента случается критический сбой сервера. Инженер уже занимается инцидентом, но клиент об этом не знает. Он видит только молчание системы и пустой экран портала. Через час начинаются тревожные звонки, еще через час - письма руководству. К утру проблема решена, но доверие к сервисному партнёру уже под вопросом. Это не история про плохих инженеров. Это история про «чёрный ящик»: пока всё работает, поддержка почти незаметна. Но если процессы непрозрачны, даже качественная работа может выглядеть как провал.

Привет! Я Наташа Сляднева, руководитель центра экспертизы по комплексному сервису К2Тех. На нашем примере покажу, как сделать сопровождение прозрачным: от двухуровневого управления и работы с обратной связью до портала, Telegram-ботов и Problem Management. Статья будет полезна тем, кто отвечает за сервис, поддержку и клиентский опыт и хочет повысить прозрачность и доверие.

У кого дома стоит старый, но ещё вполне живой ПК, тот последний год точно провёл на нервах. Windows 10 с поддержки сняли, обновления безопасности для нее выпускать перестали, а возможностей для обновления не дали. Windows 11 старый компьютер не проходит по требованиям, а купить новый сейчас – тот еще квест, учитывая, сколько стоит оперативная память. И вот, когда деваться уже было некуда, Microsoft возьми да и подкинь таким людям ещё год форы.

Ошибки в работе компонент DNS могут приводить к инцидентам: нагрузка за секунды возрастает на порядки, а с учётом политики обработки ошибок timeout и retry на клиентах — быстро приобретает лавинообразный характер. Такое случалось в истории эксплуатации нашего внутреннего рекурсивного контура DNS. Отказы в обслуживании создавались небольшим числом внешних запросов, которые обрабатывались параллельно с внутренними. Но в результате их расследования нам удалось преодолеть фундаментальные ограничения функционирования DNS‑сервисов.

Меня зовут Олег Горохов, в Yandex Infrastructure я работаю в команде управления трафиком. В этой статье поделюсь, как мы оптимизировали процессы обработки в задаче классификации и изоляции DNS‑запросов — и в итоге исключили влияние внешних запросов на внутренние благодаря перераспределению ресурсов. 2 мкс — ровно столько сейчас требуется выбранному методу для ответа на запросы в прод‑контуре. Это на три порядка быстрее, если сравнивать с традиционными ответами обычных DNS‑серверов.

Привет, Хабр! На связи Дмитрий, инженер по инфраструктурным решениям в компании РЕД СОФТ. Сегодня будем расширять парольные политики в РЕД АДМ — минимум теории, больше практики. Покажу, как подготовить инфраструктуру, создать и применить расширенную политику, а также расскажу, какие нюансы стоит учитывать при работе со схемой. Даже самый требовательный офицер безопасности будет вами гордиться.