По обзорам, которые мне попадались, и по советам Gemini, ChatGPT, DeepSeek. Смотрел на то, сколько памяти нужно для развертывания, какие показатели на бенчмарках.
Laguna, по сути, стала для меня открытием, которую посоветовал один из ИИ - позволяет выжать максимум из DGX Spark, как мне кажется
Попробовал настроить на другом сервере без настроек NAT и с Вашим вариантом создания туннеля. К сожалению, это не сработало.
Запустил dbgpClient на своем ПК, а из контейнера с PHP-FPM пытался обратиться на 172.18.0.1:9003 - подключение не удавалось. При запуске dbgpClient на внешнем сервере, из контейнера на этот адрес удается достучаться.
Но как только добавил правила для NAT и перезапустил туннель, как писал в статье, то все заработало.
Qwen запускал с дефолтными параметрами, без mtp и пенальти за зацикливание. Отдельный system prompt не писал, использовался дефолтный для Hermes
По обзорам, которые мне попадались, и по советам Gemini, ChatGPT, DeepSeek. Смотрел на то, сколько памяти нужно для развертывания, какие показатели на бенчмарках.
Laguna, по сути, стала для меня открытием, которую посоветовал один из ИИ - позволяет выжать максимум из DGX Spark, как мне кажется
Попробовал настроить на другом сервере без настроек NAT и с Вашим вариантом создания туннеля. К сожалению, это не сработало.
Запустил dbgpClient на своем ПК, а из контейнера с PHP-FPM пытался обратиться на
172.18.0.1:9003- подключение не удавалось. При запуске dbgpClient на внешнем сервере, из контейнера на этот адрес удается достучаться.Но как только добавил правила для NAT и перезапустил туннель, как писал в статье, то все заработало.