Мы с вами подобрались к заключительной части статьи-инструкции об организации распределённого инференса и шардирования LLM в домашних условиях. Осталось совсем чуть-чуть — в финальной главе разберёмся, как развернуть Open WebUI через Helm и связать его с нашим Ray-кластером. Это даст возможность настроить авторизацию и удобный интерфейс для взаимодействия с нашей моделью.
В конце статьи попросим домашнюю LLM подвести итоги всей проделанной работы, а также поговорим о планах по развитию проекта.
Продолжаем пошагово разбираться с ответом на вопрос о том, как эффективно работать с передовыми LLM, используя доступное оборудование и распределённые вычисления.
В первой части статьи мы подготовили всё необходимое для развёртывания распределённого инференса с Ray Serve и vLLM. Сегодня этим и займёмся. Мы напишем скрипт vLLM, используем Ray Serve, чтобы предоставить внешний HTTP API, а также настроим KubeRay Cluster и развернём в нём Gemma 3.
Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Поскольку DevOps и инфраструктурой я увлекаюсь уже несколько лет, у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею.
Эта статья в трёх частях — результат моего опыта в решении этой задачи. Внутри вас ждёт пошаговое руководство по реализации бюджетного распределённого инференса с использованием Ray Serve, vLLM, Kubernetes, Proxmox и других технологий. В первой части мы разберём настройку GPU и его проброс в Proxmox, развернём Kubernetes-кластер, установим GPU Operator и KubeRay Operator.
Привет! Меня зовут Артем Полуян, я руковожу направлением в департаменте аналитики МКБ (Московского кредитного банка) и курирую системных аналитиков на проектах. Когда-то я сам проходил онбординг, потом стал наставником по необходимости, потом вошел во вкус, а теперь отвечаю за процессы адаптации новых ребят.
За это время я увидел немало примеров удачного (и не очень) онбординга, так что сегодня расскажу, как сделать его эффективным и не превратить свою жизнь в ад.
Привет! Меня зовут Даниил Сальников, я руковожу направлением ЦК ПВСК департамента аналитики в Московском кредитном банке. Может звучать сложно, если короче — занимаюсь подбором, улучшением процессов анализа, слежу за карьерным путем аналитиков и многим другим.
Как вы уже поняли из названия статьи, мы обсудим, как люди разных поколений взаимодействуют друг с другом, и как сделать так, чтобы это взаимодействие приносило пользу в работе и профессиональном развитии.
И обсуждать все это мы будем в рамках теории поколений, которую в свое время придумали Нил Хоув и Уильям Штраус, два американских исследователя. Эта теория поможет понять, как нормально работать, когда у вас в департаменте (или команде) коллеги разных поколений, что мотивирует одних и других, почему они по-разному смотрят на одни и те же вещи и из-за чего один и тот же рабочий инструмент может вызывать у них очень разные эмоции.
Думаю, это может пригодиться не только руководителям, но и вообще лидам и наставникам, которые работают с людьми разных возрастов.
Привет Хабр! Меня зовут Белков Евгений, я руководитель направления разработки Siebel CRM в Московском кредитном банке.
В последнее время стал все больше разрабатывать дашборды на Fine Bi и все больше неординарных требований к визуализации вынуждают танцевать с бубном. Сегодня я хочу поделиться опытом работы с Динамической фильтрацией данных на апплете в зависимости от выбранных значений фильтра.
Привет, Хабр! Я Таня Гладких — разработчик в команде корпоративного мессенджера Rocket.Chat в МКБ (Московском кредитном банке).
А теперь представьте SuperApp — единое мобильное приложение, через которое можно зайти в корпоративный мессенджер, новости компании, сервисы ИТ-поддержки и десятки других инструментов. Авторизуетесь всего один раз — и весь корпоративный мир у вас под рукой. Звучит отлично, правда?
В 2022 году у нас зародилась идея создания такого приложения, заходите почитать, что из этого вышло.
Всем привет! Меня зовут Даша Мельникова, я ведущий релиз-менеджер в МКБ. В рамках этой статьи буду говорить об инцидентах, которые переходят на третью линию (на команду разработки).
А еще о такой сущности, как инцидент ЗНО. Это сервисный запрос, обращение пользователя, в рамках которого мы лишь консультируем человека, а не правим код, то есть просто даем советы. Но если в рамках консультации возникает необходимость что-то доработать, то это выливается в создание новой фичи.
Митап МКБ уже состоялся, и это было мощно! Эксперты из банка и ведущих IT-компаний обсудили актуальные тренды в DevOps, инфраструктуре, тестировании и аналитике. Участники не только прокачали свои знания, но и обменялись опытом, узнали о лучших практиках в сфере технологий и, конечно же, получили эксклюзивный мерч.
В этой статье вы можете пересмотреть самые яркие моменты — ловите видеозаписи всех выступлений.
Привет! Меня зовут Олег Иванов, я руководитель мобильной разработки в Московском кредитном банке. Сегодня поговорим о Server Driven UI вот по такому плану:
• что это вообще за технология
• из чего она состоит
• рассмотрим наши подходы к ее реализации
Начнем с терминологии:
SDUI (Server Driven UI) — это пользовательский интерфейс, управляемый сервером.
Что такое пользовательский интерфейс? Среда, с помощью которой пользователь взаимодействует с программным обеспечением через приложения. Обычно он состоит из множества экранных форм, которые и ведут пользователя по флоу до какого-то определенного результата.
Я знаю, как декодировать UTF-8 с помощью битовой математики и таблиц поиска (см. https://github.com/skeeto/branchless-utf8), но если я хочу преобразовать кодовую точку UTF-8, то можно ли сделать это без ветвлений?
Для начала, можно ли как-то написать эту функцию на C, которая возвращает количество байтов, необходимых для хранения байтов UTF-8 кодовой точки, без использования ветвления? Или для этого потребуется огромная таблица поиска?
Краткая справка: Ключ-Астром – система мониторинга класса АРМ (application performance monitoring). Штука платная, лицензируется по объему оперативной памяти на серверах приложений и по сессиям мобилок или веб-приложений.
Полезна для мониторинга работы приложений, под капотом ИИ, который оперативно перестраивает пороги и следит за серьезными изменениями, например, рост количества ошибок и ухудшение времени отклика операций. Также находит связь между событиями и объединяет их в проблемы, обозначая все затронутые ИТ-системы, стоящие на мониторинге. И указывает количество затронутых пользователей.
Используется для:
• Сквозного транзакционного мониторинга
• Поиска первопричины сбоя
• Поиска узких мест
• Поиска наиболее медленно выполняющейся операции в цепочке
• Сбора клиентского пути (клиентского опыта)
• Сравнению работы новых релизов с текущим PROD-ом.
Привет! В этом посте мы расскажем про то, почему вообще выбрали именно Zabbix для мониторинга, для чего его используем, и как решились обновиться сразу с версии 4.4 до 6.0.
Всем привет! На нашем последнем ИТ-митапе на тему «Девопс, инфобез и ИИ» мы объединили серьезные темы с хорошим настроением, а также не забыли про вкусную еду и кучу нетворкинга.
Но это еще не все! В одном из наших докладов спрятана пасхалка! Первые три человека, которые ее найдут и напишут мне в ЛС правильный ответ, получат эксклюзивный мерч! Так что готовьте свои глазки и уши и поехали — под катом вас ждут удобные видеонарезки каждого из докладов.
Привет! Меня зовут Александр Крылов, я разработчик Siebel CRM в Московском кредитном банке.
После разработки очередной задачи, которая полностью основана на интеграциях, перед нами встал вопрос о функциональном тестировании, перед передачей на полноценное тестирование. Задача была достаточно объемной, состояла из десятка сервисов, каждый из которых тесно связан с предыдущим бизнес-логикой.
В этой статье я расскажу, как эффективно автоматизировать тестирование с помощью SoapUI и интегрировать его в процесс CI/CD.
Привет, Хабр! Меня зовут Татьяна и уже почти два года я занимаюсь разработкой фронтенда в МКБ. Это история о том, как я сменила профессию, какую роль сыграли дисциплина, четкое видение конечного результата и пара мотивирующих цитат.
Привет, я Александр Подмосковный, руководитель Центра компетенций (BPM, CRM и SAS-системы) в Московском кредитном банке.
В своей статье я расскажу, как с помощью облачной инфраструктуры и dev-платформы разработчики ПО могут получить инструменты для автоматизации развертывания и тестирования, что ускорит выпуск новых версий продукта, а также о том, как компании могут повысить надежность и безопасность ИТ-систем за счет централизованного управления, мониторинга и автоматизации процессов.
Привет Хабр! Меня зовут Белков Евгений, я руководитель направления разработки Siebel CRM в Московском кредитном банке.
В последнее время мы все чаще стали слышать имя нового игрока на рынке BI инструментов — FanRuan. Fine Bi — это инструмент компании, который позволяет достаточно быстро сделать хороший отчет, сгруппировать данные и отразить их в читабельном виде.
Сегодня я хочу поделиться опытом работы с Jump — это средство для перехода к детализации данных. На текущий момент трудно найти исчерпывающую информацию о Jump‑ах, как их настроить и в целом более менее подробная документация есть на китайском и английском языках. Давайте это исправлять! На написание данной статьи меня побудила личная проблема, с которой я долго боролся и наконец, нашел ряд решений, хотя и не все идеальные, но задачу решить помогут.
