Не мой выше скрин это мой скрин только с другого сервера (в этом же кластере), и сделанный вчера, а не в момент написания статьи. И в статье все скрины мои, честно сделанные в момент написания статьи
ну вот тест с одного из тех серверов (физически другой сервер, но модель одна и таже) где я в виртуалке запустил модель. Только небольшое "но", этот тест сделан из под livecd без каких либо драйверов... да 12 каналов, по 6 каналов на процессор (я почемуто досих пор считал чтоу меня на голадх по 4 канала :D скриншоты делал, а не вчитывался..) Если на эпиках по 12 каналов, там колько под терабайт в секунду будет? На скриншоте у вас вроде 3 гига, а пишите под 3 терабайта. Если действительно 3 ТБ/с, то это уже впринципе наверное ошутимо модель работать будет, дело в том хватит ли процессора.
Вопрос стоит ли? думаю даже увелечение скорости памяти в два раза (с 180GB/s до 360GB/s а два сокета по 4 кана выдадут столько?>) сильно не увеличит производительность.
У меня во время теста полность загружался один проц, думаю будеть упор в цпу или рядом
Так сказать из за спортивного интереса и в ответ на статью где за 6000$ собрали сервер по картинкам в интернете и запустили на нем модель :)
Что было под рукой, на том и запустил :) Специально готовить сервер к тому что небудет в эксплуатации по моему глупо? Учитывая что результат заведомо известный. Статья была пару дней в песочнице
добивайте планками, будет 80 ГБ сек у меня на этом сервер 170-190 где то, но все равно работате как черепаха.. возмоджно из за современных средст виртуализации или LM studio
чем быстрее скрость тем лучше, но там пока ответа ждать будешь можно составится, а износ, ... почему все на ssd используя егов прикладных задачах трясутся за его ресурс? вы хоть один диск убили так что флеш исчерпал ресурс перезаписи??
Причем небольшие модели даже на компе с 8 гиговыми карточками и 16 ГБ озу крутятся достаточно быстро, и даже пользоватся можно. Просто поставил LM Studio и вперед
Имеено так, но запущенно из-за спортиного интереса, во время апдейта серверов. Большого практического смысла нет, так как ворочится как черепаха, да еще в виртуальной среде.
Не мой выше скрин это мой скрин только с другого сервера (в этом же кластере), и сделанный вчера, а не в момент написания статьи.
И в статье все скрины мои, честно сделанные в момент написания статьи
зачем ram диск когда есть схд NetApp :)
ну вот тест с одного из тех серверов (физически другой сервер, но модель одна и таже) где я в виртуалке запустил модель.
Только небольшое "но", этот тест сделан из под livecd без каких либо драйверов...
да 12 каналов, по 6 каналов на процессор (я почемуто досих пор считал чтоу меня на голадх по 4 канала :D скриншоты делал, а не вчитывался..)
Если на эпиках по 12 каналов, там колько под терабайт в секунду будет?
На скриншоте у вас вроде 3 гига, а пишите под 3 терабайта. Если действительно 3 ТБ/с, то это уже впринципе наверное ошутимо модель работать будет, дело в том хватит ли процессора.
Вопрос стоит ли? думаю даже увелечение скорости памяти в два раза (с 180GB/s до 360GB/s а два сокета по 4 кана выдадут столько?>) сильно не увеличит производительность.
У меня во время теста полность загружался один проц, думаю будеть упор в цпу или рядом
Ну для домашних пользователей можно поискать на али
есть ссылка на али :)
пойди к соседу майнеру, возми пачку ригов с видеокартами, это проще :D
тут виртуализация по факту не так много сьедает, разница с карточками колоссальная так что впринципе оно того не стоит..
Так сказать из за спортивного интереса и в ответ на статью где за 6000$ собрали сервер по картинкам в интернете и запустили на нем модель :)
Что было под рукой, на том и запустил :)
Специально готовить сервер к тому что небудет в эксплуатации по моему глупо? Учитывая что результат заведомо известный.
Статья была пару дней в песочнице
да у каждого есть, просто обязан быть
добивайте планками, будет 80 ГБ сек
у меня на этом сервер 170-190 где то, но все равно работате как черепаха.. возмоджно из за современных средст виртуализации или LM studio
чем быстрее скрость тем лучше, но там пока ответа ждать будешь можно составится, а износ, ... почему все на ssd используя егов прикладных задачах трясутся за его ресурс? вы хоть один диск убили так что флеш исчерпал ресурс перезаписи??
у меня на платформе 190ГБ/сек, но виртуализация, да и думаю среду другую выбрать можно
Пойти на этаж выше к соседу майнеру.. слыш видеокарточки есть? А если найду?
Причем небольшие модели даже на компе с 8 гиговыми карточками и 16 ГБ озу крутятся достаточно быстро, и даже пользоватся можно. Просто поставил LM Studio и вперед
Имеено так, но запущенно из-за спортиного интереса, во время апдейта серверов. Большого практического смысла нет, так как ворочится как черепаха, да еще в виртуальной среде.