У меня получилось установить 2xTesla V100 32gb в отдельный корпус. Подключение к основному системному блоку с помощью кабелей SlimSAS 8i (SFF-8654) к плате Plx8749
Шумит не сильно даже под нагрузкой. Без нагрузки вообще не слышно, частота вентиляторов регулируется динамически.
Судя по описанию проекта на github, обучение можно провести и на более слабых GPU, есть возможность подкрутить параметры в скрипте. Можно попробовать даже на домашних GPU, вроде RTX 4090, только скорее всего очень долго обучаться будет.
До 25-го февраля например можно было купить недорого серверную память DDR4 в этом магазине https://www.aliexpress.com/i/4001301886294.html Сейчас он недоступен в России, но ч-з VPN открывается.
Встроенный парсер Scala в этой версии испортился, для некоторых модулей начал находить много ошибок, хотя ошибок там нет (проект на Scala 2.12). Пришлось в настройках языка Scala переключить опцию Error highlighting из Built-In в значение Compiler.
Несколько лет назад Росреестр в большом сибирском регионе не работал почти неделю, после того как охлаждающая жидкость из чиллера, который обслуживал все задание, потекла вниз на стойки через потолочные плитки. Серверное оборудование, как оказалось, поставили прямо под инженерным оборудованием.
В llamacpp, tensor распараллеливание работает хорошо. Можно без vLLM.
Я устанавливал библиотеки nvidia nccl-dev и cuda12.9.
Сам llamacpp собирал командой
При запуске с параметром sm=tensor скорость генерации кода ~60-70 t/s
При запуске с параметром sm=layer скорость примерно 35-45 t/s
Кулеры прикрепил с помощью медной проволоки, это видно на фото.
У меня получилось установить 2xTesla V100 32gb в отдельный корпус. Подключение к основному системному блоку с помощью кабелей SlimSAS 8i (SFF-8654) к плате Plx8749
Шумит не сильно даже под нагрузкой. Без нагрузки вообще не слышно, частота вентиляторов регулируется динамически.
Нашел такую статью: https://icml.cc/virtual/2025/poster/40177
Судя по описанию проекта на github, обучение можно провести и на более слабых GPU, есть возможность подкрутить параметры в скрипте. Можно попробовать даже на домашних GPU, вроде RTX 4090, только скорее всего очень долго обучаться будет.
В этой схеме на вершине будут инженеры, которые контролируют ИИ, т.к. работу системы можно корректировать в нужную сторону.
До 25-го февраля например можно было купить недорого серверную память DDR4 в этом магазине https://www.aliexpress.com/i/4001301886294.html Сейчас он недоступен в России, но ч-з VPN открывается.
Есть небольшая статья по настройке, можно попробовать https://github.com/tsl0922/pytorch-gfx803
В сериале Lexx ещё было - руки Мантрида
Встроенный парсер Scala в этой версии испортился, для некоторых модулей начал находить много ошибок, хотя ошибок там нет (проект на Scala 2.12). Пришлось в настройках языка Scala переключить опцию Error highlighting из Built-In в значение Compiler.
Модель opt-13b запустилась на GF RTX 3060 12GB
с параметрами
python server.py --model opt-13b --flexgen --compress-weight --percent 100 0 100 0 100 0
работает быстро, за несколько минут сочинила такой текст:
https://pastebin.com/HtCJFjbX
Если использовать FlexGen, то запускается встроенный http сервер. Выглядит так
Недавно была статья про инструмент FlexGen, который позволяет запускать LLM при ограниченной видеопамяти.
https://habr.com/ru/news/t/718684/
Модель opt-13b запустилась на GF RTX 3060 12GB
с параметрами
python server.py --model opt-13b --flexgen --compress-weight --percent 100 0 100 0 100 0
за несколько минут сочинила такой текст:
https://pastebin.com/HtCJFjbX
На той же видеокарте модель opt-30b запустилась с параметрами
python server.py --model opt-30b --flexgen --compress-weight --percent 70 30 100 0 100 0
но работает в несколько раз медленнее.
Этот ноутбук хорошо совместим с Linux
Если добавить планку памяти на 16gb, то вполне рабочий ноут получится.
https://www.dns-shop.ru/product/b36c41327cbfed20/156-noutbuk-dell-inspiron-3511-0703-cernyj/
И я попал (, по своему опыту и пишу.
Российские компании сейчас уже выданные офферы отзывают. Найм замораживают.
Для Android есть Family Link
https://families.google.com/intl/ru/familylink/
Несколько лет назад Росреестр в большом сибирском регионе не работал почти неделю, после того как охлаждающая жидкость из чиллера, который обслуживал все задание, потекла вниз на стойки через потолочные плитки. Серверное оборудование, как оказалось, поставили прямо под инженерным оборудованием.
В Ленинградской области в г. Мурино они летом ездили, можно было сделать заказ с доставкой роботом.
sep5.readthedocs.io/en/latest/Installation_Guide/Installation-Guide.html#using-debian-based-rocm-with-upstream-kernel-drivers