Обновить
0
0

Пользователь

Отправить сообщение

Есть смысл в больших моделях если они с архитектурой MoE

Что проще, чем запуск одного(!) скрипта, который выведет меню выбора необходимых тулов, среди которых n8n? Можно только его установить, можно БД выбрать векторную из списка. Там не ставится "всё". Если банально не видите разницу между редактированием разных файлов и автоматизацией одним скриптом всего, то нечего добавить

Всю статью можно заменить одним скриптом на гитхабе "n8n-install", там и n8n ставится, и postgres, и связи все прописаны, и бэкап решение есть, и comfyui, и ollama и т.д.все сертификаты на домене и поддоменах ставятся и автообновляются

Не хватает деления производительности на цены карточек, типа токен в секунду на рубли, или токен в секунду на мощность на рубли и т.д. - не для ЦОДов, а для тех, кто сам собирает сервер. V100 16GB SXM2 б.у. 6000руб, 32GB подороже - 37000руб. Для некоторых задач еще можно использовать

Чтобы создать такие крупные модели в России с нуля потребовалось бы огромные ресурсы и время. Так что, не удивительно

Вот такое еще есть, верите или не верите))
Вот такое еще есть, верите или не верите))

Nutt на английском и орех, и гайка

Ну как бы и у Сбера "Кандинский" на базе иностранного продукта. В нем просишь нарисовать пружину (spring), а он создает картинку весны (spring)

Я разместил модель Qwen3 235b Q3 , 18 токенов в секунду, весьма неплохо

Не всегда в видеопамяти? Так это же настраивается. Я сделал 124ГБ видеопамяти, причем она же и как ОЗУ может использоваться. 4ГБ резерв ОЗУ. NPU используется и модели есть для этого из популярных

Очень медленная память, увы. У меня AMD Ryzen ai 395 max+ с 128ГБ унифицированной памятью XDDR6 8000МГц и то не очень быстро....

На одном из графиков указали "доступность" в качестве имени оси Y, а линия с целевым значением названа "стабильность". Это разные понятия. Стабильность - это качественная характеристика, показывающая среднее время между сбоями, отсутствие инцидентов. Она не измеряется в процентах. А доступность - процент, вычисляемый по формуле

А что мешает vllm подключать через прокси litellm? Там и параметры передадите

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность