Pull to refresh
65
0
Николай Богданов @n_bogdanov

DevOps-инженер

Send message

Тестируем Pixtral12B и LLaMA 3.2 11B на народных Tesla P100 и P40

Level of difficultyMedium
Reading time17 min
Views2.7K

Привет Хабр! С вами снова ServerFlow, и мы начинаем наш новый цикл статей о проектах связанных с GPU. В начале цикла мы хотим заняться непривычной для нас темой — нейросетями, а именно большими языковыми моделями LLM. В сентябре‑октябре, судя по новостям вышел особенно богатый урожай мультимодальных нейросетей в открытом доступе, в этом посте будем смотреть на Pixtral 12B и LLaMA 32 11B, а запускать их будем на двух народных и легко доступных на БУ‑рынке карточках для работы с нейросетями — Nvidia Tesla P100 и P40.

Читать далее
Total votes 11: ↑11 and ↓0+15
Comments17

Чиним замедление YouTube на уровне роутера

Level of difficultyMedium
Reading time6 min
Views646K

Всех категорический приветствую. Буквально первого августа, прямо в ночь, стал у меня жутко лагать YouTube. Естественно, мне это сильно не понравилось. Ну, что же, давайте разбираться, почему и как это исправить в условиях моей личной сети.

Что случилось?

Хорошо описано произошедшее здесь, на Хабре. Если совсем кратко, своими словами - во время установки SSL соединения в открытом виде домен передается к которому мы подключаемся(так называемое SNI). И если это googlevideo.com то начинают твориться "интересные вещи". Можно проверить это локально коммандами из статьи.

$ curl https://speedtest.selectel.ru/100MB -o/dev/null

Читать далее
Total votes 360: ↑357 and ↓3+412
Comments1054

Talos Linux & VirtualBox: готовим свой Kubernetes

Reading time15 min
Views9.2K

Есть множество путей развернуть свой Kubernetes. Все они разные, выбор зависит от вашего бюджета, от того, какие задачи вы планируете решать, для каких нагрузок и что в конечном итоге вы планируете получить. В этой статье мы быстро пройдёмся по различным способам инсталляции, а затем попробуем развернуть свой K8s кластер на виртуальных машинах, воспользовавшись гипервизором второго типа (VirtualBox). Но это будет не условная Ubuntu, на которую мы будем ставить необходимые компоненты, а целая операционная система, разработанная специально для Kubernetes — Talos Linux!

Читать далее
Total votes 18: ↑18 and ↓0+22
Comments10

Windows 11 24H2 IoT Enterprise LTSC – что за зверь, и чем он хорош?

Level of difficultyEasy
Reading time4 min
Views72K

Месяц назад я писал статью об издании Enterprise G, созданную Microsoft для китайского правительства, в котором много лишнего отключено. Статья вызвала большой интерес, много кому нужна ОС с максимальным функционалом — при вашем желании его использовать, но с возможностью отключить всё (или почти всё) ненужное. У версии Enterprise G основной недостаток в том, что политика продукта, прописанная в цифровой лицензии, запрещает установку любых языковых пакетов, отличных от китайского и английского. То бишь, русского интерфейса легким путем не достичь. Возникает вопрос выбора другого издания.

Сразу на ум приходит версия Enterprise LTSC, как полнофункциональная с длительным циклом обслуживания и поддержки, благо для Windows 11 24H2 она утекла еще в апреле. Но, оказывается, есть и более достойный выбор, о котором мы сейчас с вами и поговорим. Речь идёт об издании IoT Enterprise LTSC. Что это такое? Чем оно лучше, чем Enterprise LTSC? А чем хуже? Как её русифицировать и как активировать? Об это сегодняшний разговор.

Чем же так отличается IoT Enterprise LTSC?
Total votes 51: ↑50 and ↓1+58
Comments143

Разбор ноутбука с фейковой памятью из тех, что заполонили Ozon и Wildberries

Reading time7 min
Views106K

Ozon и Wildberries завалены дешевыми китайскими ноутбуками «коленочной» сборки с ценниками 17–25 тыс. руб. и оперативной памятью 24 или 32 ГБ. Интересно то, что процессоры Intel Celeron N5095 и Celeron J4125, которые лежат в их основе, официально поддерживают лишь 16 и 8 ГБ соответственно.

Но тут есть любопытный момент — существуют примеры, когда эти процессоры работают с большим объемом ОЗУ, чем официально заявлено. Это может случиться по многим причинам, начиная с того, что процессоры могут являться отбраковкой каких‑то старших моделей, поддерживающих большие объемы памяти, и заканчивая обычным маркетингом, когда Intel на словах занижает характеристики, чтобы задекларировать большее число различий между линейками процессоров.

Как бы там ни было, к безымянным китайцам только один вопрос — это фейк или нет?

Читать далее
Total votes 157: ↑153 and ↓4+189
Comments324

Автореконнекты к RabbitMQ в Go

Reading time9 min
Views14K

Брокер сообщений RabbitMQ уже давно активно используется в микросервисах. Он используется, когда требуется асинхронная обработка сообщений от клиентов или при аналогичном межсервисном взаимодействии.

Практически нет языка, под который не была бы сделана соответствующая клиентская библиотека. Для Go такой библиотекой является github.com/streadway/amqp (далее по тексту библиотека amqp). Она имеет широкий функционал, можно подключаться к RabbitMQ, создавать каналы, настраивать очереди и exchange. Не хватает только самой малости – реконектов. А именно автоматических реконнектов при потери связи.

Поиск в Google показывает, что есть много различных решений. На проекте, где я работаю, мы создали ещё парочку. Но не найденные в сети, не уже созданные не устраивали по ряду причин:

Читать далее
Total votes 14: ↑11 and ↓3+11
Comments6

api2app — быстрое создание графического интерфейса для API

Level of difficultyEasy
Reading time3 min
Views19K

Хочу рассказать о своём небольшом проекте с открытым исходным кодом, который создал для своих нужд. Возможно, кому-то он тоже будет полезен или найдутся люди, желающие помочь в его развитии.

При помощи api2app можно быстро создать графический интерфейс для API. Его можно использовать для тестирования или демонстрации работы вашего API. Созданным приложением можно поделиться со всеми желающими или использовать по приватной ссылке.

Читать далее
Total votes 53: ↑53 and ↓0+53
Comments24

Как мошенники научились подтверждать личность в банке. Всё оказалось проще…

Reading time6 min
Views160K

Наступил 2024 год. Год технологий и новых мошеннических схем!

25 января

Все началось в четверг, когда мне не удалось войти в личный кабинет Тинькофф Банка. Заподозрив неладное, я тут же обратился в службу поддержки. Сотрудник проверил информацию и сообщил, что возникла проблема с мобильным приложением. Затем пообещал, что со мной свяжутся на следующий день. Однако звонка так и не поступило. На тот момент я редко пользовался услугами банка, поэтому благополучно забыл об инциденте.

Читать далее
Total votes 255: ↑248 and ↓7+297
Comments788

Как раз вовремя. Обзор точки доступа Wi-Fi 7 — Zyxel WBE660S

Level of difficultyEasy
Reading time9 min
Views6.2K

image


Есть технические средства, опередившие своё время. Есть те, которые появились с некоторым опозданием, таких большинство. И есть предметы и устройства, которые появились как раз вовремя. Об одном таком и пойдет речь в нашем обзоре.


Итак, наш герой на сегодня — Zyxel WBE660S 3-диапазонная точка доступа Wi-Fi 7.

Читать дальше →
Total votes 4: ↑3 and ↓1+3
Comments11

Дата-центр в Нью-Йорке: как мы случайно начали предоставлять серверы и решения, как в NL и расти в США

Reading time27 min
Views3.1K
Долгое время нашей основной локацией оставались Нидерланды, где мы обеспечивали максимальную гибкость, а последний переезд в Maincubes, позволил не только успешно расти за счёт крутого уровня сервиса и многообразия опций к виртуальным и выделенным серверам, но и задуматься о реализации подобного проекта в США, где с 2013 года не было такого уровня гибкости. Несколько лет я просил нашего бизнес-партнера и друга, Мурата Байхана, построить подобный нидерландскому проект в США, где он и мы могли бы разворачивать инфраструктуры для клиентов без ограничений, так как я уже привык к тому, что Мурат предоставляет ЦОД, сеть и стойки, а мы делаем всё остальное. Но у него увы просто не доходили руки… В 2022 пришло осознание того, что время пришло, особенно, когда ресурсы в Нидерландах стали стремительно дорожать, но как осуществить такой «переход» — я не совсем понимал. Мурат по-прежнему был не готов распылять усилия на два континента, а я был занят тем, что жил и продолжал активно путешествовать, о чём я рассказывал в своей «исповеди», где поделился секретами о том, как путешествовать и работать.

Вот и тогда, в начале июня 2022-го, я знал лишь то, что чётких планов нет, скорее всего нужно лететь в США и что-то строить, причем поспешно, так как 18-го августа 2022 мы должны были принять участие в уникальной экспедиции в удалённую часть Кораллового моря и Большого Барьерного рифа в Австралии, которая, говоря наперёд, прошла потрясающе:


И 27 часов проведенных под водой в течении 6 дней, а также 18 000 км, которые мы объехали «вокруг» Австралии в течении 6 недель, позволили собрать уникальные материалы для одного из наших некоммерческих проектов, который будет анонсирован в следующем году.
Читать дальше →
Total votes 17: ↑12 and ↓5+11
Comments0

Как разбить видеокарту и поделиться с коллегами? Динамический шеринг GPU в Kubernetes с помощью MIG, MPS и TimeSlicing

Level of difficultyHard
Reading time31 min
Views4.7K

Привет, Хабр! С вами снова Антон, все еще DevOps-инженер в отделе Data- и ML-продуктов Selectel, который все еще исследует тему шеринга GPU. В предыдущей статье я рассказал, как можно использовать шеринг видеокарт в Kubernetes.

В комментариях была затронута тема динамического переконфигурирования MIG. Вопрос: можно ли настраивать деление GPU при активной нагрузке? Я погрузился подробнее в этот вопрос и нашел несколько способов, как это сделать. Интересно? Тогда добро пожаловать под кат!
Читать дальше →
Total votes 39: ↑39 and ↓0+39
Comments8

Проводим GPON от МГТС в свой сервер на Linux + своя мини-атс на asterisk

Level of difficultyMedium
Reading time11 min
Views21K

На Хабре и на профильных форумах (типа 4pda) уже достаточно статей на тему того, как отказаться от GPON-роутера от МГТС и вывести интернет напрямую в свой роутер.
Большинство статей описывают опыт подключения к роутерам Mikrotik, прошивок SFP-GPON терминалов, странных хаков по выдёргиванию настроек и прочего. Мне же это всё не подошло и я пошёл иным путём. Требования я составил следующие:

Читать далее
Total votes 21: ↑21 and ↓0+21
Comments27

Restic: эффективное резервное копирование из Stdin

Reading time5 min
Views7.4K

Про restic я уже рассказывал в статье Бэкап-хранилище для тысяч виртуальных машин свободными инструментами, с тех пор он остаётся моим любимым инструментом для бэкапа.

Сегодня я опишу вам готовый рецепт того как настроить эффективное бэкапирование чего угодно прямо из stdin, с дедупликацией и автоматической очисткой репозитория от старых копий.

Несмотря на то, что restic отлично подходит для сохранения целых каталогов с данными в этой статье мне хотелось бы сделать упор на сохранении резервных копий на лету прямо из Stdin.

Как правило это бывает актуально для сохранения бэкапов виртуальных машин, баз данных и других, представленных одним большим файлом, данных, которые можно последовательно вычитывать и сразу отправлять в систему бэкапирования.

Читать далее
Total votes 10: ↑10 and ↓0+10
Comments3

Точечная маршрутизация по доменам на роутере с OpenWrt

Level of difficultyMedium
Reading time13 min
Views128K

Статья о том, как настроить точечный обход блокировок по нужным доменам на роутере с OpenWrt. На мой взгляд, это самый удобный способ, который можно реализовать сейчас.

Я предоставляю уже готовый конфиг с самыми востребованными доменами, который можно дополнять.

Настроить роутер можно с помощью скрипта. Если вдруг не заведётся сразу, то другим скриптом можно найти, что не работает. Настройка с помощью Ansible никуда не делась, только модифицировалась и стала лучше.

Помимо инструкций по настройке туннелей Wireguard и OpenVPN, написал инструкцию по использованию технологий, которые помогут в обходе блокировок по протоколу: Shadowsocks, VLESS и прочими.

Читать далее
Total votes 27: ↑27 and ↓0+27
Comments28

Собственная копия YouTube

Level of difficultyMedium
Reading time7 min
Views44K


Мы уже обсуждали, как удобнее всего скачивать видео с YouTube для дальнейшего просмотра и хранения. Но если коллекция файлов становится слишком большой, то нужно их как-то организовать: по темам или тегам, по каналам, категориям, чтобы быстро найти нужный видеоролик. И желательно настроить сервер так, чтобы раздавать это видео по локальной сети или через интернет.

В итоге получается, что мы делаем нечто вроде маленькой копии YouTube, только на своём сервере. В определённом смысле это архивная копия на случай удаления видеоконтента из-за цензуры YouTube. Или на случай, если серверы YouTube станут недоступны с территории РФ из-за какого-то «технического сбоя».
Читать дальше →
Total votes 79: ↑78 and ↓1+102
Comments74

Prometheus Alert Hints

Level of difficultyHard
Reading time17 min
Views17K

Привет! Меня зовут Александр Голиков, я работаю в компании Bercut. Наша компания разрабатывает и развивает IT-решения для операторов цифровых услуг и мобильных сервисов. Коротко говоря, мы помогаем цифровизации бизнеса. В компании я занимаюсь виртуализацией, СХД, мониторингом, разработкой и интеграцией продуктов Bercut c операционными системами. Для агрегации данных и анализа мы используем Prometheus.

В этой статье рассмотрю одну из конфигураций Prometheus в отказоустойчивом режиме, познакомлю вас с Karma alert dashboard и продемонстрирую написание алертов. Напишу несколько простых включений Go Template и рассмотрю ситуацию, где такие включения противопоказаны. Продемонстрирую, как на основе меток можно сделать исключения из общих правил и обучу Prometheus самостоятельно чинить поломки.

Погнали!
Total votes 21: ↑21 and ↓0+21
Comments14

Управление инфраструктурой с помощью terragrunt (terraform) и gitlab ci

Level of difficultyMedium
Reading time6 min
Views14K

В этом посте:


  • Использование terraform модулей
  • Организуем структуру каталогов с terraform модулями для terragrunt согласно вашей инфраструктуре
  • Создание/Обновление/Удаление инфраструктуры одной terragrunt командой
  • Настройка в gitlab ci для запуска и сохранения terraform lock и state в gitlab
  • Бекап terraform state из gitlab
Читать дальше →
Total votes 12: ↑12 and ↓0+12
Comments4

Серверы Dell и Supermicro: авторизация через LDAP

Level of difficultyEasy
Reading time5 min
Views1.7K

Мы уже рассказывали о нашем опыте интеграции FreeIPA с Active Directory в нескольких прошлых статьях (здесь и здесь), а теперь настало время авторизации IPMI-серверов.

LDAP стал стандартом де-факто для служб аутентификации и авторизации. Популярные решения на базе LDAP, такие как FreeIPA, обеспечивают централизованное управление учетными записями и доступом. Это позволяет разработчикам программного обеспечения легко интегрировать аутентификацию через LDAP в свои приложения с помощью готовых клиентских библиотек...

Читать далее
Total votes 3: ↑3 and ↓0+3
Comments0

Настраиваем управление секретами с Yandex Lockbox, AWS Secret Manager, Vault Secrets и shell-operator

Level of difficultyMedium
Reading time9 min
Views5.8K

Работая с секретами, хочется получить две возможности: просто и централизованно управлять секретами в кластере и в то же время вынести их за пределы кластера в целях безопасности. В этой статье мы подробно рассмотрим работу External Secrets Operator в связке с Yandex Lockbox, AWS Secrets Manager, Vault by HashiCorp, а также наше собственное решение на базе Open Source-утилиты от «Фланта» shell-operator.

Читать далее
Total votes 40: ↑40 and ↓0+40
Comments8

Производительность софт nvme рейдов на основе mdadm, LVM, ZFS и LVM+vdo

Level of difficultyMedium
Reading time15 min
Views6.6K

Тестирование программных рейдов с NVMe U.2 дисками для выбора основы блокового хранилища для виртуализации.

Читать далее
Total votes 10: ↑9 and ↓1+10
Comments20

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity