Совсем недавно, исправляя уязвимости в ядре, я столкнулся с тем, что у меня слетели драйвера NVIDIA. Вот прям совсем, даже nvidia-smi не отрабатывала. На тот момент я еще не подозревал, что впереди меня ждет приключение на несколько часов.
В этой статье я хочу поделиться опытом решения данной проблемы, но ни в коем случае не настаиваю, что мой способ/мнение - единственно верное. И буду очень рад, если вы поделитесь своим опытом выхода из подобной ситуации!
Мы с вами подобрались к заключительной части статьи-инструкции об организации распределённого инференса и шардирования LLM в домашних условиях. Осталось совсем чуть-чуть — в финальной главе разберёмся, как развернуть Open WebUI через Helm и связать его с нашим Ray-кластером. Это даст возможность настроить авторизацию и удобный интерфейс для взаимодействия с нашей моделью.
В конце статьи попросим домашнюю LLM подвести итоги всей проделанной работы, а также поговорим о планах по развитию проекта.
Всем привет! Меня зовут Александр, и я системный инженер в облачном провайдере mClouds.ru. В этой статье я расскажу как использовать веб-интерфейс в Nginx, на примере Nginx UI и Nginx Proxy Manager. Перечислим основные «кейсы» использования подобных веб-интерфейсов.
Подробности и особенности - под катом.
Как известно, под словом «аналитика» прячется многое. Но какое из множества ее направлений наиболее востребовано в CRM-системах? Встроенные инструменты предиктивной аналитики в low-code платформе BPMSoft позволяют проводить скоринг лидов и помогают определить, какие сделки будут успешными, а какие — требуют большего внимания. Система самостоятельно обучается с помощью ML-моделей, оценивает перспективность лидов по разным критериям: бюджету сделки или вероятности ее успешного закрытия. Это позволяет менеджерам фокусироваться на тех клиентах, которые с наибольшей вероятностью принесут прибыль.
Всем привет! У нас знаменательное событие — Dockhost отмечает первый день рождения!
Год назад мы запустили в продакшн нашу платформу для запуска приложений в Docker контейнерах Dockhost.ru. Вроде год выглядит как совсем не большой срок, но для нашей команды это был яркий период, маленькая жизнь с кучей побед, факапов, достижений и драйва.
Меня зовут Евгений Бабий, я один из основателей платформы Dockhost. И в этой статье я хочу оглянуться назад и рассказать про наш путь в построении платформы: что мы задумывали, что в итоге получилось и к чему мы стремимся в будущем.
Что делать и куда бежать, если тебе нужно построить сеть на несколько ЦОД, с L2 связностью между площадками, отказоустойчивостью и масштабированием. В этой статье предлагаю рассмотреть некоторые из возможных подходов к организации больших сетей с использованием VXLAN/EVPN.
В 2023 году мы впервые попытались запустить платформу dBrain.cloud на Astra Linux версии 1.7 Special Edition. Первая попытка оказалась неудачной.
Современные компании всё чаще сталкиваются с необходимостью интеграции IP-телефонии и CRM-систем для улучшения управления клиентскими коммуникациями. Такая интеграция позволяет автоматизировать ключевые процессы, минимизировать человеческий фактор и ускорить обработку обращений.
Модуль интеграции Itgrix надежный инструмент интеграции IP-телефонии Asterisk и CRM-систем для оперативной работы со звонками.
С его помощью вы получите полный контроль над телефонными коммуникациями, сохраните гибкость настройки вашего оборудования и интегрируете данные в удобную CRM-систему для повышения эффективности продаж и клиентского сервиса.
Новый отчет SimilarWeb выявил пять ключевых сдвигов в использовании AI.
Узнайте, почему трафик к кодинг-инструментам растет на 75%, а EdTech падает на 68%, и как эти тренды влияют на выбор моделей для ваших корпоративных AI-решений.
Привет! 👋
Это новый выпуск «Нейро-дайджеста» — коротких и полезных обзоров ключевых событий в мире искусственного интеллекта.
Меня зовут Вандер и каждую неделю я делаю обзор новостей о нейросетях и ИИ.
Неделя выдалась насыщенной: Google выкатил мощнейшую версию Gemini, Pinterest вернулся в игру с обновлённым AI-поиском, а легендарный Clippy — теперь с нейросетью на борту — снова жив. Всё самое важное — в одном месте. Поехали!
Привет, меня зовут Максим Гуляев, я продуктовый менеджер в команде ML Space Notebooks в Cloud.ru. Раньше я был техлидом этой команды, поэтому глубоко понимаю всю внутреннюю кухню.
В статье расскажу, какие ноутбуки мы используем, зачем они нужны и как сделать себе такие же. Упомяну, почему нам потребовалось вносить изменения в привычные ноутбуки на базе JupyterLab. Затем объясню, что нужно, чтобы прийти к крутым образам. И напоследок поделюсь нашей новой архитектурой и методом ее создания.
Ситуация на рынке ИТ-решений за последние годы изменилась — многие зарубежные вендоры ушли с российского рынка, что открыло новые возможности для отечественных разработчиков. Сегодня российские вендоры Service Desk утверждают, что не просто заменяют иностранные аналоги, но и предлагают уникальные преимущества: соответствие российскому законодательству, учёт местной специфики бизнес-процессов и техническую независимость.
В обзоре рассмотрим самые ключевые вопросы при выборе Service Desk, оценим ключевые критерии выбора, задел которым дали иностранные решения и кратко пройдемся по основным вариантам на российском рынке.
DeepSeek 1.5B — маленький, но шустрый собрат больших языковых моделей. Работает локально, не требует железа на киловатт.
Внутри — инструкция по установке, настройке и запуску DeepSeek 1.5B на Ubuntu 24.04 с Ollama и Open WebUI.
Масштабирование — это «серый кардинал» проектирования сложных систем: все знают, что без нее не обойтись, но всерьез задумываются только тогда, когда инфраструктура начинает трещать по швам. А мануалы? Их, как правило, открывают уже постфактум — когда что-то ломается, зависает или отказывается работать вопреки всем ожиданиям. В этой статье мы не будем учить вас теории — вместо этого поделимся реальным опытом модернизации системы видеонаблюдения (СВН) и системы контроля управления доступом (СКУД) на одном из промышленных предприятий.
Здесь не будет идеальных решений и глянцевых кейсов — только честный разбор проблем, с которыми мы столкнулись, неочевидные ловушки масштабирования и примеры того, как даже продуманная архитектура может дать сбой при столкновении с человеческим фактором. Если вы хотите узнать, как превратить хаос устаревшей инфраструктуры в отлаженный механизм, — добро пожаловать под кат.
В современных киберугрозах фокус злоумышленников смещается c массовых рассылок в сторону таргетированных атак с применением нейросетей и социальной инженерии. В то же время ИТ-инфраструктуры становятся все более масштабными и сложными: больше данных, больше устройств и распределенных систем.
В таких условиях ручные методы анализа и периодические аудиты безопасности попросту не поспевают за злоумышленниками, а значит нужно искать новые подходы, которые будут работать на опережение. Так мы пришли к разработке цифровой модели инфраструктуры, в которой можно прогнозировать маршруты действий хакеров еще до атак.
В серии статей мы расскажем про управление маршрутами атак (Attack Path Management): как мы разрабатываем технологию моделирования угроз Threat Modeling Engine (TME), с какими сложностями сталкиваемся, какие алгоритмы используем для расчета потенциальных путей компрометации, какие есть особенности анализа опасности маршрута и оценки времени, необходимого для достижения хакера своей цели и реализации недопустимого для компании события, — и другие вопросы по теме.
Начнем с проблематики.
Представьте, что ваша работа аналитика – это не постоянный хаос и путаница, а четко структурированная система, где все навыки и знания составляют единый арсенал, и вы отлично понимаете, какой инструмент необходимо использовать на каждом этапе работы с задачей.
В статье разберем 7 самых мощных инструментов в арсенале бизнес-аналитика, которые помогут превратить любую задачу в структурированный процесс. Эти техники подобраны не случайно — они идеально дополняют друг друга и позволяют глубже погрузиться в проект.
Продолжаем пошагово разбираться с ответом на вопрос о том, как эффективно работать с передовыми LLM, используя доступное оборудование и распределённые вычисления.
В первой части статьи мы подготовили всё необходимое для развёртывания распределённого инференса с Ray Serve и vLLM. Сегодня этим и займёмся. Мы напишем скрипт vLLM, используем Ray Serve, чтобы предоставить внешний HTTP API, а также настроим KubeRay Cluster и развернём в нём Gemma 3.
Службы каталогов играют важную роль в ИТ-инфраструктуре любой организации. Каждая компания использует службу каталогов по-своему, отсюда возникает необходимость в ее адаптации под уникальные условия эксплуатации. В этой статье рассмотрим программный комплекс ALD Pro от «Группы Астра» — как встроенные возможности, так и примеры его кастомизации под требования заказчиков.
