В документации HOSTKEY ИИ-помощник построен на OpenWebUI + Ollama, чтобы настройки были через графику кастомной модели, системного промта и базы знаний и обвеса на Python + JS, которые через API взаимодействуют с OpenWebUI и исходниками доков, обновляя базу знаний и запрашивая кастомные модели. Тоже велосипед, но хоть настраивать можно из графики и подкручивать.
Там есть куча параметров у нод и скрытых хитрых способов, но в AI да, обычно зашиты намертво аргументы (смотрел на примере Ollama). Тут или ноду править или одно из двух. Я поэтому сам люблю по старинке код на Питоне. Буду писать про связку с Ollama и OpenWebUI может что-нибудь нарою.
Я сам считаю, что это больше внутренний инструмент для своей автоматизации (или небольшой команды) или MCP, максимум для не сильной загрузки.
Почитайте reddit, почему они такие дешевые и что они банально продают 1 видеокарту нескольким людям (ту же 4090 или 3090 могут x16 линий порезать на 4 пользователя) :) У нас видеокарта в полном распоряжении, виртуально только ядра CPU на vGPU-шках.
Я в отпуске :) вдали от корпоративной сети и поэтому на 100% не отвечу, но попытаюсь:
1. При заказе VGPU да, оплачивается месячная аренда, потом сумма начинает "капать" в почасовом режиме, и по регламенту с момента заказа. Но вот сейчас смотрю почту по серверам: 1 письмо было в 17:03 что сервер развернут, потом в 20:05 на следующий день я отменил заказ и с меня взяли за 27 полных часов.
Прекратить использование сервера можно просто нажав в Invapi во вкладке Биллинг кнопку "Отменить услугу" и там по инструкции можно отменить немедленно. Для VPGU проблем с отменой быть не должно быстрой, если что можно через чат техподдержки решить вопрос быстро. 12 часов это в случаях обычно кастомных серверов или особых конфигураций, базовые VPS на моем опыте отменяются сразу же.
Сумма да, возвращается на баланс, можно ее пополнить и заказать другой сервер
Возврат с баланса через опять же запрос в Invapi (Биллинг - Возврат средств с баланса) до 10 дней на то же платежное средство, что и вы использовали. Но задержка тут скорее всего будет со стороны эквайринга.
Это же не про деньги, а про то, как получить себе в помощники инфоцыгана и загнать себя в пузырь самоуверенности (или наоборот привести к полной депрессии). Предпринимательская деятельность детерминирована и часто не поддается логическому планированию.
Линий не хватит в любом случае, их там 16 PCI-E 5 и 4 PCI-E 4 и на них еще и SSD висит, но число линий критично для работы с теми же текстурами и свитч на PCI контроллере будет делить их по нагрузке. Но по тестам ситуация тут близка к майнингу, когда крутиться все внутри видеокарты и ширина шины данных не очень критична, поэтому сильного проседания не видно, в пределах погрешности измерений, может только в момент инициализации модели, которая на двух видеокартах должна работать сразу, есть задержка больше. Но это проверяли на 4090, как я и написал, на 5090 конфигурация не захотела заводиться, может из-за каких-то ограничений в драйверах или софте. Сейчас уже и Nvidia обновила свое и PyTorch вышел 2.7 с поддержкой Blackwell.
Не разобрались, пару суток переставляли все что только можно коллеги. По одиночке 5090 работали, 4090 в паре работали, а вот вместе нет. Грешили на блок питания, настройки BIOS, райзеры, сами карты, в итоге собрали на другой платформе, так как спрос на эти карты большой и мне для тестов тоже дали всего на 1.5 дня сервер. Я же сам подробно могу только со стороны софта рассказать, так как там еще и с VLLM проблемы на дуале потом у клиентов вылезли, например.
P.S. Это корпоративный блог, поэтому я бы рад постить без рекламы, но :)
А там нет никакого rocket science. В предыдущей статье было фото сетапа, тут он похожий, только материнки разные. Бытовые видеокарты, райзеры + продувка мощными "дуйками" через корпус. Тут даже водянку смысла нет использовать и единственное что 5090 чего то не хотят вставать на те же конфигурации, что и 4090. Иммерсивка у нас не используется, а водянку тут ставить вопрос то больше не в перегреве, а в питании. То что термопрокладки требуют замены постоянной и термопаста и что Nvidia пожлопились на датчики и на нормальные коннекторы - ну это и так известно еще с 4090. А по производительности даже на "сырых" пока еще дровах и бета-версиях фреймворков прирост ощутимый есть по крайней мере в инференсе, ну и 64 гига в паре лучше чем 48 и дешевле почти в три раза чем A100.
У "бытовых" видеокарт из-за большого потока воздуха термопрокладки быстро выходят из строя, поэтому хоть корпус и продувается, но раз в год минимум приходится на картах менять потекшие или исхошкие (в зависимости от качества) термопрокладки на памяти и силовых элементах питания.
Для 570 ватт нормально. У народа вот до 160 градусов нагревается и плавится. Причем не разъем (Nvidia сделала там материал до 255 градусов держащий), а коннекторы присоединения.
Спасибо, заглючило меня на выводе nvidia-smi. В любом случае догрузить на 100% ее не получилось даже догнав контекст до 128K. А более мощные модели уже от 48 гигов требуют.
Нормально там все с блоками и прочим, не брак. И случаи брака единичные, учитывая объем выпуска. А вот с перегревом разъемов проблем в разы больше (поэтому следили за ним) и убиванием карт из-за драйверов также (под Linux не заметили), а еще больше с несовместимостью софта из-за новой CUDA.
В статье же только часть тестов, где смотрели работу в "потребительском ИИ" и да, 5090 работает быстрее и даже лучше с теми же мультимодальными моделями. Поэтому где есть перекомпиляция и поддержка Blackwell в инференсе оно работает на обещанные 30-40% быстрее (за счет нового процессора и более быстрой памяти).
Я сам нет (работаем с локальными моделями из Ollama), но по идее можете использовать подключение к API как к OpenAI. Admin Settings настроек идете в Connection и включаете OpenAI API и вводите URL и API ключ от DeepSeek.
Я показал, что есть на российских маркетплейсах и что видят родители. Увы альтернативу Знатоку толком так никто и не предоставил. Штучно народ занимается, но это капля в море и в рамках, может быть, некоторых клубок и кружков. У меня куча статей есть и об истории конструкторов (если пороетесь в моем профиле) и о кладбище хороших идей.
Про Али надо будет написать про конструкторы, там больше интересного, но сперва по робототехнике "пройдусь" опять же по рынку маркетплейсов.
В документации HOSTKEY ИИ-помощник построен на OpenWebUI + Ollama, чтобы настройки были через графику кастомной модели, системного промта и базы знаний и обвеса на Python + JS, которые через API взаимодействуют с OpenWebUI и исходниками доков, обновляя базу знаний и запрашивая кастомные модели. Тоже велосипед, но хоть настраивать можно из графики и подкручивать.
Там есть куча параметров у нод и скрытых хитрых способов, но в AI да, обычно зашиты намертво аргументы (смотрел на примере Ollama). Тут или ноду править или одно из двух. Я поэтому сам люблю по старинке код на Питоне. Буду писать про связку с Ollama и OpenWebUI может что-нибудь нарою.
Я сам считаю, что это больше внутренний инструмент для своей автоматизации (или небольшой команды) или MCP, максимум для не сильной загрузки.
Почитайте reddit, почему они такие дешевые и что они банально продают 1 видеокарту нескольким людям (ту же 4090 или 3090 могут x16 линий порезать на 4 пользователя) :) У нас видеокарта в полном распоряжении, виртуально только ядра CPU на vGPU-шках.
Я в отпуске :) вдали от корпоративной сети и поэтому на 100% не отвечу, но попытаюсь:
1. При заказе VGPU да, оплачивается месячная аренда, потом сумма начинает "капать" в почасовом режиме, и по регламенту с момента заказа. Но вот сейчас смотрю почту по серверам: 1 письмо было в 17:03 что сервер развернут, потом в 20:05 на следующий день я отменил заказ и с меня взяли за 27 полных часов.
Прекратить использование сервера можно просто нажав в Invapi во вкладке Биллинг кнопку "Отменить услугу" и там по инструкции можно отменить немедленно. Для VPGU проблем с отменой быть не должно быстрой, если что можно через чат техподдержки решить вопрос быстро. 12 часов это в случаях обычно кастомных серверов или особых конфигураций, базовые VPS на моем опыте отменяются сразу же.
Сумма да, возвращается на баланс, можно ее пополнить и заказать другой сервер
Возврат с баланса через опять же запрос в Invapi (Биллинг - Возврат средств с баланса) до 10 дней на то же платежное средство, что и вы использовали. Но задержка тут скорее всего будет со стороны эквайринга.
Ставим тот же Whisper локально и не маемся фигней. На 4060 расшифровывает со скоростью x10 бесплатно и без смс.
Коллеги ответили, что с угловым переходником на питание закроется.
Собутыльник.
Это же не про деньги, а про то, как получить себе в помощники инфоцыгана и загнать себя в пузырь самоуверенности (или наоборот привести к полной депрессии). Предпринимательская деятельность детерминирована и часто не поддается логическому планированию.
Линий не хватит в любом случае, их там 16 PCI-E 5 и 4 PCI-E 4 и на них еще и SSD висит, но число линий критично для работы с теми же текстурами и свитч на PCI контроллере будет делить их по нагрузке. Но по тестам ситуация тут близка к майнингу, когда крутиться все внутри видеокарты и ширина шины данных не очень критична, поэтому сильного проседания не видно, в пределах погрешности измерений, может только в момент инициализации модели, которая на двух видеокартах должна работать сразу, есть задержка больше. Но это проверяли на 4090, как я и написал, на 5090 конфигурация не захотела заводиться, может из-за каких-то ограничений в драйверах или софте. Сейчас уже и Nvidia обновила свое и PyTorch вышел 2.7 с поддержкой Blackwell.
Не разобрались, пару суток переставляли все что только можно коллеги. По одиночке 5090 работали, 4090 в паре работали, а вот вместе нет. Грешили на блок питания, настройки BIOS, райзеры, сами карты, в итоге собрали на другой платформе, так как спрос на эти карты большой и мне для тестов тоже дали всего на 1.5 дня сервер. Я же сам подробно могу только со стороны софта рассказать, так как там еще и с VLLM проблемы на дуале потом у клиентов вылезли, например.
P.S. Это корпоративный блог, поэтому я бы рад постить без рекламы, но :)
А там нет никакого rocket science. В предыдущей статье было фото сетапа, тут он похожий, только материнки разные. Бытовые видеокарты, райзеры + продувка мощными "дуйками" через корпус. Тут даже водянку смысла нет использовать и единственное что 5090 чего то не хотят вставать на те же конфигурации, что и 4090. Иммерсивка у нас не используется, а водянку тут ставить вопрос то больше не в перегреве, а в питании. То что термопрокладки требуют замены постоянной и термопаста и что Nvidia пожлопились на датчики и на нормальные коннекторы - ну это и так известно еще с 4090. А по производительности даже на "сырых" пока еще дровах и бета-версиях фреймворков прирост ощутимый есть по крайней мере в инференсе, ну и 64 гига в паре лучше чем 48 и дешевле почти в три раза чем A100.
А вот надо до конца читать статью, тогда бы интриги не было.
У "бытовых" видеокарт из-за большого потока воздуха термопрокладки быстро выходят из строя, поэтому хоть корпус и продувается, но раз в год минимум приходится на картах менять потекшие или исхошкие (в зависимости от качества) термопрокладки на памяти и силовых элементах питания.
Сегодня буду тестировать связку из двух 5090 посмотрю, как поправили работу с ComfyUI, сделаю прогон и flux и SD 3.5 medium и large.
Для 570 ватт нормально. У народа вот до 160 градусов нагревается и плавится. Причем не разъем (Nvidia сделала там материал до 255 градусов держащий), а коннекторы присоединения.
Спасибо, заглючило меня на выводе nvidia-smi. В любом случае догрузить на 100% ее не получилось даже догнав контекст до 128K. А более мощные модели уже от 48 гигов требуют.
Нормально там все с блоками и прочим, не брак. И случаи брака единичные, учитывая объем выпуска. А вот с перегревом разъемов проблем в разы больше (поэтому следили за ним) и убиванием карт из-за драйверов также (под Linux не заметили), а еще больше с несовместимостью софта из-за новой CUDA.
В статье же только часть тестов, где смотрели работу в "потребительском ИИ" и да, 5090 работает быстрее и даже лучше с теми же мультимодальными моделями. Поэтому где есть перекомпиляция и поддержка Blackwell в инференсе оно работает на обещанные 30-40% быстрее (за счет нового процессора и более быстрой памяти).
Сам глянуть увы не могу - меня в получение API ключей даже не пускает DeepSeek.
Я сам нет (работаем с локальными моделями из Ollama), но по идее можете использовать подключение к API как к OpenAI. Admin Settings настроек идете в Connection и включаете OpenAI API и вводите URL и API ключ от DeepSeek.
Я показал, что есть на российских маркетплейсах и что видят родители. Увы альтернативу Знатоку толком так никто и не предоставил. Штучно народ занимается, но это капля в море и в рамках, может быть, некоторых клубок и кружков. У меня куча статей есть и об истории конструкторов (если пороетесь в моем профиле) и о кладбище хороших идей.
Про Али надо будет написать про конструкторы, там больше интересного, но сперва по робототехнике "пройдусь" опять же по рынку маркетплейсов.