Comments / Profile of SlavikF / Habr

Славик Фурсов@SlavikF

Developer

Cursor делает разработчиков менее эффективными?

Если я что-то знаю и умею, то зачем мне использовать AI или что-то ещё?

AI круто помогает там, где я с темой не знаком. Там, где мне пришлось бы многие часы "погружаться" в тему.

В исследовании сравнивали разработчиков, которые компетентны выполнить задачу. А надо было взять разработчиков, которые не знакомы с какими-то технологиями и посмотреть, сколько у них времени возьмёт...

Триллион параметров против здравого смысла: тестируем Qwen3-MAX и друзей

@SlavikF Oct 16 at 16:48

Я вот тут писал как запустить QWEN3-VL локально у себя на 48GB VRAM:

https://habr.com/ru/articles/953514/

Сейчас уже вышли модели этой серии 8B и 4B, которые можно запустить даже на 16GB VRAM, а может даже и меньше.

Я использую QWEN3-VL 30B для генерации лэндингов. Весьма доволен.

QWEN3-coder тоже можно запустить у себя.

А вот QWEN3-Max - модель недоступна для загрузки, только через API.

«На что хватит бесплатных $5 по API в Perplexity». Модели...

@SlavikF Oct 11 at 02:45

Классно! Добавил API endpoint в свой OpenWebUI. Только такой ньюанс, что не все endpoints поддерживаются:

https://docs.perplexity.ai/api-reference/

В частности, для Perplexity - имена моделей нужно вводить вручную.

Например OpenRouter поддерживает /models который возвращает список моделей.

Camunda 7, почему «форк» – это правильно

@SlavikF Oct 7 at 22:05

Может стоило бы во вступлении хотя бы чуть написать что такое "BPM-движок Camunda"?

Вышла новая открытая модель синтеза речи Kani-TTS-370M

@SlavikF Oct 7 at 13:46

STT и TTS с поддержкой русского языка есть в модели qwen3-omni:

https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct

https://github.com/QwenLM/Qwen3-Omni/blob/main/README.md?plain=1#L71

Но похоже ни один движок запускать эту модель пока не умеет: vLLM, llama.cpp, ...

Запускаем Qwen3-VL-30B на 48GB VRAM

@SlavikF Oct 5 at 21:21

У меня 2 карточки:

RTX 4090D 48GB
RTX 3090 24GB

Запускаю вот так:

services:
  llama-server:
    image: ghcr.io/ggml-org/llama.cpp:full-cuda
    container_name: gpt-120b
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              capabilities: [gpu]
    ports:
      - "36000:36000"
    volumes:
      - /home/slavik/.cache:/root/.cache
    entrypoint: ["./llama-server"]
    command: >
      --hf-repo ggml-org/gpt-oss-120b-GGUF
      --alias "local-gpt120b"
      --host 0.0.0.0  --port 36000
      --ctx-size 131072
      --jinja
      --temp 1.0  --top-p 1.0  --top-k 0  --min-p 0.01
      --chat-template-kwargs '{"reasoning_effort": "high"}'

Но у этой модели скорость будет нормальной даже, если часть модели будет в RAM, не на GPU.

PCIe умер, да здравствует CXL

@SlavikF Oct 3 at 19:25

Спасибо. Почитал, действительно интересно.

Вот только трэнд последних лет - уход от единой точки отказа: отваливается один сервер, то другие серверы в кластере продолжают работать.

А вот с CXL памятью получается наоборот: если сдохнет такая "общая" память, то упадут все серверы, которые используют эту память... Единая точка отказа.

Впрочем я думаю, что про этот сценарий умные люди тоже подумали, просто я не углублялся...

PCIe умер, да здравствует CXL

@SlavikF Oct 3 at 16:34

Из статьи как-то не очень понятно - если несколько серверов будут использовать одну общую ноду с памятью через CXL - как они все будут подключаться к этой CXL ноде?

Есть специальные CXL порты?

Сколько серверов может подключиться к одной CXL ноде?

SMB over QUIC на всех платформах: «VPN-less» файловые шары в 2025 (Windows Server 2025 + Samba 4.23)

@SlavikF Sep 26 at 17:03

На каких дистрибутивах Линукса запустится такой сервер?

И на каких версия Windows будет работать клиент?

LibreChat: как настроить локальный мультичат для сотен нейросетей без подписок (Win11/Linux/Mac)

@SlavikF Sep 22 at 22:46

Очевидно, что автор продвигает свой сервис - BoltHub, через который можно использовать ChatGPT и другие модели.

Я мало что знаю про BoltHub сервис, - сам пользуюсь OpenRouter, и у них есть бесплатные модели: не trial, а всегда бесплатные. Ограничения для бесплатных моделей там есть разные: у некоторые контекст небольшой, у других написано, что они используют вашу переписку для тренинга моделей...

LibreChat: как настроить локальный мультичат для сотен нейросетей без подписок (Win11/Linux/Mac)

@SlavikF Sep 22 at 19:35

А приложения в браузере значит - ненормальные?

LibreChat: как настроить локальный мультичат для сотен нейросетей без подписок (Win11/Linux/Mac)

@SlavikF Sep 22 at 18:36

Я пробовал запустить LibreChat у себя в докере месяц назад. Но что-то тогда он мне показался сильно глючным. Может сейчас и стабильней...

Сейчас я использую https://github.com/open-webui/open-webui - это похожий UI. Вроде бы считается чуть менее открытый (есть какие-то ограничения в лицензии). Но запускается проще.