Спасибо за список. К сожалению, у вас выключены входящие сообщения на Хабре, поэтому отпишусь тут)
Список ваш впечатляет, у меня просто NAS и 2 ПК на инженерных intel i9 1200 сокета (описывал в своих статьях сборку)

Kamil_GR 16 мая в 11:27

Добрый день! Прекрасная статья!

Подскажите, есть ли возможность протестировать мой промпт на вашей модели (я интересуюсь его применимостью на разных LLM и влиянием фильтров разработчиков)?

Myskat_90 16 мая в 12:49

Конечно, написал детали в ЛС)

DimanODG 16 мая в 18:19

Здравствуйте! Спасибо за такое подробное описание работы распределенных вычислений.

Скажите, возможно мне провести этот эксперимент на моих домашних ноутбуках? Всего 3 ноутбука. У одного (13900hx) дискретная 4080 (12gb). У 2-х других (12700h и 13500h) есть внешние видеокарты через TB4: 2080ti и 3090.

Myskat_90 16 мая в 18:27

Здравствуйте!

Да, провести возможно, но надо подумать как лучше объединить ваше оборудование в единый ray кластер с проброшенными GPU - на это может потребоваться много времени)

Плюс надо понимать, что при разнородной инфраструктуре, распределение будет ограничено по самой наименьшей по видеопамяти карте (особенности vLLM)

Мне кажется проще будет в вашем случае использовать решение Exo https://github.com/exo-explore/exo

Достаточно будет поставить docker и прокинуть в контейнер GPU и в этой среде поставить exo

nekoluchiy вчера в 07:08

Большое спасибо за такую подробную и интересную статью. Подчеркнул для себя несколько идей)

Зарегистрируйтесь на Хабре, чтобы оставить комментарий