Как стать автором
Обновить

Технотекст

Как организовать мониторинг актуальности Helm-релизов в кластерах Kubernetes

Время на прочтение5 мин
Количество просмотров4.5K

Чем больше чартов в кластере Kubernetes, тем тяжелее проверить актуальность их релизов. Поэтому важно настроить мониторинг состояния чартов, чтобы своевременно планировать и выполнять новые обновления.

О том, как мы мониторим актуальные Helm-релизы и какие инструменты для этого используем, рассказывает Александр, ведущий системный администратор в Selectel. Подробнее — под катом.

Дисклеймер. В статье сконцентрировались на нашем опыте мониторинга Helm-релизов. Начиная с поиска утилиты для проверки актуальных версий и заканчивая визуализацией данных. Надеемся, этот материал поможет вам выстроить надежную и эффективную систему мониторинга Helm-релизов.
Читать дальше →

Книги по SQL: что почитать новичкам и специалистам

Время на прочтение5 мин
Количество просмотров84K

SQL — декларативный язык программирования, который используют для описания, изменения и извлечения информации в реляционных базах данных. Язык структурированных запросов популярен у программистов, разработчиков и администраторов баз данных. В этом обзоре собрали 6 книг, которые помогут на старте изучения SQL и при углублении в тему.

Читали ли вы какие-нибудь из них? Или, может, вы можете дополнить этот список? Делитесь в комментариях!
Читать дальше →

Можно ли сейчас продолжать развивать IT-инфраструктуру? Что изменилось после февраля 2022 года

Время на прочтение9 мин
Количество просмотров15K

Короткий ответ: можно и нужно. Нужно для людей, которые продолжают пользоваться мобильными сервисами, доставкой еды и кидать заказы в корзины маркетплейсов. Эти бизнесы работают и растут, а значит, с поддержкой и развитием IT-инфраструктуры мы справляемся. Но это потребовало быстрых адаптаций.

Меня зовут Кирилл Малеванов, я технический директор Selectel. В начале 2022 года мы также столкнулись с необходимостью принимать быстрые эффективные решения. Как продолжать строительство нового дата-центра, закупать оборудование и не лишать клиентов технологических новинок? В статье расскажу, как теперь выглядит работа провайдеров IT-инфраструктуры.
Читать дальше →

Что такое Data diode и зачем он нужен?

Время на прочтение8 мин
Количество просмотров8.5K

Представьте, что у вас есть две сети, которые необходимо защитить от несанкционированного доступа, DDoS-атак и утечек информации, но в то же время нужно передавать данные между ними. Здесь и приходит на помощь Data diode.

Data diode (диод данных), или однонаправленный шлюз, — это устройство, которое передает поток данных только в одном направлении. Отправить информацию обратно невозможно на физическом уровне.

Под катом рассказываем о том, как он устроен и в чем преимущества решения относительно других технологий защиты информации.
Читать дальше →

Год ожиданий — и мы получили Python 3.12. Изменения, новшества и дополнения

Время на прочтение4 мин
Количество просмотров62K
image

Новую версию Python многие разработчики ожидали с нетерпением. Кто-то и не ждал, поскольку вполне достаточно было возможностей прежней версии. Но Python 3.12 таки выпустили, сейчас стало известно, что эту ветку будут поддерживать полтора года, а потом для нее станут формировать исправления для устранения уязвимостей — в течение еще трех с половиной лет.

Кроме того, запущен процесс альфа-тестирования Python 3.13, где заявлен режим сборки CPython без глобальной блокировки интерпретатора (GIL, Global Interpreter Lock). Тестировать ветку будут в течение семи месяцев, исправляя ошибки и добавляя новые возможности. Затем еще три месяца — тестирование бета-версий и еще через два месяца появится пред-финальная версия. Но будет потом, а сейчас поговорим о том, что уже есть в руках — о Python 3.12.
Читать дальше →

Мониторинг на Python: как сохранить метрики в мультипроцессном режиме

Время на прочтение8 мин
Количество просмотров8.3K

Привет, Хабр! Меня зовут Никита, я backend-разработчик команды клиентских сервисов. В Selectel мы строим и поддерживаем IT-инфраструктуру для компаний, которые развивают свои цифровые продукты. В нашем департаменте около 20 приложений, большая часть из которых работает на Flask и Gunicorn. Чтобы отслеживать их производительность, мы мониторим параметры системы с помощью Prometheus.

С развитием бизнеса нагрузка на приложения возрастает, один из способов масштабировать его под большее количество запросов — запустить Gunicorn-сервер с несколькими worker-процессами в мультипроцессном режиме. Однако при таком подходе клиент Prometheus не выводит нужные нам метрики CPU и RAM. В статье расскажу, как мы решили эту проблему, сохранив метрики и организовав мониторинг в мультипроцессном режиме.
Читать дальше →

Как создавать аттестованные системы — на примере инфраструктуры Selectel

Время на прочтение8 мин
Количество просмотров2.3K

Ежегодно российские компании создают десятки тысяч информационных систем на базе инфраструктуры провайдеров. Облачные технологии активно развиваются в разных отраслях. В том числе, их используют для обработки персональных данных и других задач, подпадающих под требования ФСТЭК и международных стандартов вроде PCI DSS.

Меня зовут Андрей Давид, я руководитель отдела продуктов информационной безопасности в Selectel. В этой статье расскажу, как создавать аттестованные системы на нашей инфраструктуре и что нужно учитывать. Подробности под катом.
Читать дальше →

Как мы не выбрали Airbyte, или почему собирать данные лучше по старинке

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров6K

Привет, Хабр! Меня зовут Илья, я работаю инженером данных в компании Selectel. В отделе BI мы собираем информацию из внутренних и внешних источников и предоставляем аналитикам.

У нас достаточно большой набор внешних ресурсов, данные из которых нужно собирать и обрабатывать. Среди них — различные SMM-площадки вроде VK и Telegram, платформы лидогенерации, инструменты таргетированной рассылки писем, системы автоматизации и многое-многое другое.

Так как компания развивается, мы спрогнозировали, что число источников тоже будет только расти. И назрела мысль, что нам нужно подобрать специализированное ПО, которое будет отвечать за доставку данных из внешних ресурсов в DWH. Время прошло, идея воплощена: мы используем Airflow и самописные коннекторы на Python. Но могло сложиться все иначе — и мы бы использовали Airbyte, если бы не одно но…
Читать дальше →

Python в Excel, базы данных без SQL и трудности в аналитике

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров13K

Привет, Хабр! Сегодня — международный день доступа к информации, поэтому делюсь с вами интересными материалами по ML, AI и дата-аналитике. В новом выпуске вас ждут новинки от Nvidia для LLM, три пути развития аналитического стека, инструменты для анализа данных и другое. Еще больше полезных текстов по DataOps и MLOps — в Telegram-сообществе «MLечный путь».
Читать дальше →

Как я рефакторила Ansible-плейбуки с помощью нейросети. Плюсы и минусы ChatGPT

Уровень сложностиСредний
Время на прочтение14 мин
Количество просмотров8.9K

Работать с большим Ansible-плейбуком не всегда удобно — в нем трудно читать и переписывать код. В этой статье я поделюсь опытом: расскажу, как «распилила» плейбук на 1000 строк с помощью ChatGPT и как нейросеть справилась с этой задачей. Статья будет полезна для всех, кто пишет конфигурации для серверов. Подробности — под катом.
Читать дальше →

ML в животноводстве. Как ГК «Русагро» училось считать поголовье свиней

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров3.7K

Привет, Хабр! В сентябре мы провели конференцию «Инфраструктура для ML и AI, виды дрифтов ML-моделей, Computer Vision в животноводстве». Обсудили, как разные компании используют машинное обучение в работе, поговорили о трендах и инструментах построения production ML-систем в бизнесе. На митапе было четыре интересных доклада, и мы решили поделиться ими.

В этой публикации расскажем про опыт «Русагро Тех» — как они разрабатывают проекты по видеоаналитике в животноводстве для агрохолдинга ГК «Русагро. Кейсом поделился Павел Ширяев — руководитель группы компьютерного зрения «Русагро Тех».
Позже опубликуем остальные доклады про ML.
Читать дальше →

Безопасность и конфиденциальность: особенности защиты данных в сетях 6G

Время на прочтение10 мин
Количество просмотров3.2K

Сеть 6G появится примерно в 2030 году. Она расширит возможности интернета и мобильной связи, а также будет доступна там, где предыдущие поколения не могли развиваться. Ее основой станут несколько потенциальных и существующих технологий: постквантовая криптография, искусственный интеллект, машинное обучение, расширенные периферийные вычисления, молекулярная и терагерцовая связь, связь в видимом свете и технологии распределенного реестра, такие как блокчейн.

Вместе с тем, 6G наверняка потребует пересмотра подходов к обеспечению безопасности и конфиденциальности. Новые методы аутентификации, шифрования, контроля доступа, связи и обнаружения вредоносной активности должны удовлетворять более высоким требованиям будущих сетей.
Читать дальше →

Figma закрыла Dev Mode: пути обхода и их краткий обзор

Время на прочтение5 мин
Количество просмотров47K

В июне 2023 года Figma выпустила масштабное обновление: появился режим разработки Dev Mode. Эта функция обеспечивает плавный переход от дизайна к разработке. Такое новшество сразу же пришлось по душе многим. Однако совсем недавно пропала возможность пользоваться режимом бесплатно. Как быть и какие есть альтернативы — рассказываем под катом!
Читать дальше →

Как решать конфликты с уважением к себе и оппонентам? Гайд по ненасильственному общению

Время на прочтение6 мин
Количество просмотров25K

Хотелось бы, чтобы в рабочей коммуникации все понимали друг друга с полуслова, не совершали ошибок и дарили окружающим исключительно положительные эмоции — но это что-то на сказочном. Какими бы классными ни были ваши корпоративные отношения, конфликты и сбои в диалоге будут случаться. О том, как общаться и вести себя в непростых ситуациях, рассказываем под катом.
Читать дальше →

«Хватит программировать в YAML и JSON!»: неочевидные проблемы шаблонизирования

Время на прочтение10 мин
Количество просмотров16K

Часто в IT-компаниях разработчики используют шаблонизаторы в YAML, JSON и Terraform, управляя параметрами конфигураций, ACL-списками и другими сущностями. Но у такого подхода много подводных камней: шаблоны не всегда корректно отрабатывают и превращают код в спагетти. Особенно если приспичило добавить десятки вложенных условий.

В этой статье рассказываем, откуда соблазн «программировать» в YAML и JSON и почему этого лучше не делать. А еще делимся полезными инструментами, которые помогут избавиться от зловредной привычки. Подробности под катом!
Читать дальше →

В поисках самой мощной видеокарты! Тестируем А100 и А6000 Ada на большой языковой модели

Время на прочтение11 мин
Количество просмотров8K

Большие языковые модели (LLM) произвели настоящую революцию в мире ML. Все больше компаний стремятся так или иначе извлечь из них пользу. Например, в Selectel мы оцениваем рациональность развертывания частной LLM для помощи сотрудникам техподдержки в поиске ответов на вопросы клиентов. Эту задачу мы решили совместить с тестом нового железа — видеокарты Ada с 48 ГБ RAM. В соперники ей выбрали А100 на 40 ГБ.

Сразу оговоримся, что нормально обучить LLM на одной GPU практически невозможно, но в качестве теста производительности такая задача вполне подходит. Под катом рассказываем, как мы проводили тест-драйв двух GPU и к каким выводам пришли.
Читать дальше →

Изучаем сетевой стек докера в rootless mode

Уровень сложностиСредний
Время на прочтение16 мин
Количество просмотров8.7K


Недавно я столкнулся с докером в rootless mode и по привычке решил посмотреть на его сетевые интерфейсы на хосте. К своему удивлению я их не увидел, поэтому начал разбираться, как же в нем организовано сетевое взаимодействие. Результатами анализа я и поделюсь в этой статье.

Читать дальше →

AmneziaVPN: раз, два, три — и готово

Время на прочтение8 мин
Количество просмотров138K

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И (ИЛИ) РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ «РОСКОМСВОБОДА» ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА «РОСКОМСВОБОДА». 18+

Рассказываем о том, как и развивается self-hosted сервис для развёртывания собственной VPN. 

Amnezia VPN — простое и бесплатное приложение для запуска self-hosted VPN (для самостоятельного развертывания VPN-сервера) с высокими требованиями к приватности. Это приложение разработано на основе открытого исходного кода (не только клиентской, но и серверной части). По словам разработчиков, их решение позволяет получать доступ к заблокированному контенту, не раскрывая конфиденциальность даже провайдерам VPS (виртуального сервера) — благодаря отсутствию логирования и сбора различных метрик. Последний пункт зашифрован и в названии: AmneziaVPN — это сервис, который ничего «не помнит» о пользователях. Таким образом, продукт решает две задачи: помогает получить доступ к заблокированным ресурсам и при этом максимально сохраняет приватность пользователей.

Инструмент не является VPN-сервисом, подчёркивают создатели проекта. Работает он следующим образом: необходимо указать IP-адрес, логин и пароль виртуального сервера, и программа автоматически всё настроит для подключения через VPN.

«Вы не подключаетесь к нашим серверам и не платите нам ничего. Для подключения используете свой или приобретаете любой [сервер] VPS у любого провайдера. Приложение также бесплатное. Вы полностью контролируете свои данные. Приложение не собирает и не передаёт никакой статистики, логов и другой информации о пользователях и их данных», — поясняется на главной странице проекта.

Читать далее

Как мы оцифровали футбольные матчи с помощью CV

Время на прочтение11 мин
Количество просмотров11K

Привет! Меня зовут Владимир Цуканов, я СТО спортивного направления в Яндекс Плюсе. Мы занимаемся съёмкой, обработкой и стримингом спортивных событий. В этом посте я расскажу о работе с технической съёмкой и анализом футбольных матчей.

Расскажу о том, как и на что снимать футбол, если вы хотите его проанализировать, какие есть сложности в плане распознавания толпы бегающих спортсменов, как отреагирует машинное зрение, если за мяч начнётся нешуточная борьба, чем вся эта затея полезна для тренеров и экспертов и многое, многое другое.

Читать далее

NAC под санкциями – чем заменить  Cisco ISE?

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров15K

Команда К2Тех занимается внедрением NAC-решений 17 лет, и имеет, как нам казалось, большой опыт в этом вопросе. Но даже с нашим опытом 2022-й год стал неожиданностью. Оказалось, что необходимо срочно и в неоптимальных условиях проводить импортозамещение NAC для десятков крупных компаний, которые на нас полагались.

Опыт незабываемый и очень ценный. Поэтому решили выпустить несколько статей про текущую ситуацию на рынке решений Network Access Control и как мы искали альтернативный NAC для клиентов — достойную замену ушедшим аналогам. Под катом расскажем как проводили испытания альтернатив, какие шишки набили и почему рекомендуем некоторые решения нашим заказчикам. Они не идеальные, но свои задачи выполняют.

Читать далее