Про тандерболт тоже где-то попадалось на Хабре, припоминаю...
На счёт разделения на слои... Судя по вот этой статье https://habr.com/ru/articles/921540/ - у MoE моделей можно часть слоёв выгрузить в GPU, тензоры внимания других слоёв - тоже в GPU, а тензоры экспертов - в CPU.
Да и LM Studio позволяет задавать конкретное число слоёв, выгружаемых на GPU.
Разве это принципиально отличается от того, как модель запускают на разных хостах?
Там о другом речь - проброс гипервизором с хоста в ВМ.
Но "вообще" этот цикл статей интересен в другом плане - там используют vLLM сотоварищи для распределения нагрузки от модели не только по видеокартам, но и по узлам (серверам), и кажется даже параллельно запросы обрабатывать на получившемся кластере.
Это несколько более сложная задача, чем имел в виду я... Но, в принципе, вариант интересный, хотя и именно для LLM, но не stable diffusion.
Я имел в виду более простой случай в духе GPUoverIP типа https://github.com/kevmo314/scuda или https://www.juicelabs.co/ . Скажем, есть сервер с много RAM (скажем, от 256GB), но куда трудно напихать GPU, и есть ящик(и) попроще (вплоть до десктопной начинки), но достаточного размера и количества, чтобы них напихать GPU. А потом пробросить GPU в сервер, где много RAM и запустить тяжелую модель с шардированием её части на GPU (несколько GPU), части - на RAM.
В принципе, та же LM Studio умеет (как-то) распределять модель между доступными GPU и RAM, но локальными GPU, разумеется.
Но, возможно, описанный в указанном вами цикле статей путь перспективнее, несмотря на сложность...
Можно. И даже пара продуктов для этого попадалась. Интересна именно практика такого использования, а не теоретическая возможность :)
На счёт скорости....
Спорный вопрос на самом деле - заливание частей модели в видеопамять (или даже её целиком туда) - не настолько частое занятие. А потому, если не менять модели постоянно, а работать с одной и той же - есть шанс, что это будет хоть и медленнее локально подключенных видеокарт, но быстрее, чем на CPU.
А видеокарт этих "по сети" можно подключить как бы не больше, чем физически в корпус напихать (по крайней мере, без использования бифуркации, когда карт можно подключить очень много, но вплоть до 1х скорости - который уже сопоставимы со скоростью сети - с PCI-e 3.0 точно, PCI-e 4.0 - всего раза в два быстрее 10Gbps сети).
Теорию Дарвина можно сравнить с ньютоновской, когда понимаешь, что она объясняет простые вещи (размер зубов, цвет шерсти), но вещи типа отбойного молота в голове птицы или плазменной пушки у креветок она кроме "ну дада, вот совершенно случайно так и вышло" не объясняет
Ну начнём с того, что в настоящее время эволюционная теория уже не та, какой её родил Дарвин. Упоминание Дарвина тут - просто дань уважения.
Во-вторых... Ну да, на самом деле "так получилось" - налепили костылей вместо рефакторинга (гено)кода и опытным путём отобрали жизнеспособные в данных условиях нагромождения костылей. Собственно, генетические алгоритмы примерно так и работают.
А в чём претензия-то в этой части?.. Почему "не объясняет", в частности?
Но на смену Ньютону в физике пришел Эйнштейн, а вот на смену Дарвину в биологии пока не пришёл никто, а хотелось бы уже
Вы таки не переживайте, до сих пор находятся человеки, отрицающие теорию относительности в пользу классики.
Хорошая потому, что Ньютон-то в формулировках законов имени себя обошелся без матана, да и вообще, на тот момент дифференциальное и интегральное исчисления в нынешнем виде не существовало, и соответствующий матаппарат для того, что нынче называют ньютоновской физикой, создавался стараниями самого же Ньютона и Лейбница, а столетием позже Эйлера и Лагранжа.
Так что то, сейчас называют ньютоновской теорией - это не совсем то, что когда-то сделал лично Ньютон.
Но называть теорию Дарвина "обанкротившейся философией", не объяснив почему - это уже, эээ, неджентльменский приём, мягко говоря.
А то ж и ньютоновскую физику можно назвать обанкротившейся, т.к. с тех пор родили теорию относительности, по той причине, что ньютоновская физика как раз упоминаемую вами эмпирическую проверку, в конечном счёте, не прошла.
Я всегда знал, что задать до занятия. Я не понимаю, как это, когда подготовленный к уроку учитель пришёл на урок и он не знает, что задать детям.
Элементарно. Трата времени на то, чтобы выдать задание на уроке, не повышает KPI учителя. А потому на выдачу ДЗ время тратится по остаточному принципу и формальному критерию "успеть отправить до конца текущих суток".
А так-то да, учитель не может не знать, что задать.
Если платформа - ОРИ. А если не ОРИ, то несколько нарушений (в виде публикации информации, которую нельзя) - и блокировка всего сайта без права разблокировки.
"этот интернет в школе нам нафиг не нужон" и надо продолжать вести бумажные журналы и дневники как 80-90х?
Ну, собственно, дневник в старших классах и в 90-х был не нужон кроме как оценки туда вписывать и родителей с ними знакомить. В продвинутых школах догадывались, что задания можно записывать прямо в тетрадях (благо там еще и места больше, чем в дневнике, и задание умещается без извращений).
Вообще проблема с домашним заданием - в KPI учителей. Если бы для них в KPI было бы приоритетнее дать задание на уроке, а не успел на уроке - значит, не задал вообще - оно бы было выдано на уроке, а не в 23:59 дня, предшествующего сдаче.
Но на это всем контролирующим инстанциям, начиная со школы - наплевать, они отчитываются не этим. Соответственно, в приоритете то, чем они отчитываются.
То есть у них буквально оптимизация деятельности для максимизации KPI.
Можете проверить наличие Хабра в реестре ОРИ, кстати (насколько помню, он там есть).
И таки да, формально - это всё ОРИ.
И за несколько нарушений "по распространению запрещенной информации" - разрешен бан ресурса, причём без возможности разблокировки. Для ОРИ сделано исключение из этого правила, там несколько более гибкий подход.
Откуда взялось про иностранные? Тут про вообще любые кошельки.
Так там же явная отсылка на "ч.1 настоящей статьи".... И, кстати, не 12, а. Тот случая, когда закорючки имеют значение...
А там речь о "адреса-идентификаторы в информационных системах, организованных не в соответствии с российским правом, не администрируемые цифровыми депозитариями".
Дополнительно проблему составляет то, что это - "diff" к НПА. Чтобы понять, о чём речь - надо его его патчем на этот НПА наложить и смотреть полученный результат.
Че-то какой-то полный бред. Примерно как уведомлять об операциях с наличкой.
А вот это уже более пикантная сторона проблемы, действительно.
И даже для нормальной это не так. Это работает только в условиях достаточно высокой конкуренции, с невозможности влиять на покупателя внерыночными средствами, включая полную прозрачность предложения для покупателя. Да и то не факт, что чего-то не забыл...
Например, при возможности недоопределения конечного результата в договоре - тот, кто будет предлагать честную цену за полный продукт, разорится из-за конкурентов, предлагающих более низкую цену, и потом докручивающие её до полной, когда покупатель понимает, что получает формально соответствующий договору, но не полностью удовлетворяющий его, результат.
Хорошо удовлетворил - обогатился, плохо удовлетворил - разорился.
У подобных рассуждений есть принципиальный недостаток - подразумеваемые говорящим, но не высказываемые явно, условия.
Например, если он монополист при существующей потребности - то уже пофиг, как удовлетворил.
Или при определённых условиях он разорится именно потому, что слишком хорошо, по сравнению с конкурентами, удовлетворял потребности.
(Ну разве что если вы заявите про общественную потребность быть обманутым за собственные деньги - тогда да, тогда кто лучше обманывал, тот и не разорился...)
Там есть два варианта - более старый, когда батарейка кэш подпитывает (а когда заряд кончился - то ой), и более новый, когда суперконденсатор нужен затем,чтобы кэш сбросить на ssd - после чего уже "условно сколько угодно" можно ждать, пока восстановится питание.
И да, в отличии от ИБП - это сработает независимо от ОС и даже от значительной части остального железа. Так что для любителей бюджетных решений с допустимыми рисками - ИБП "на всё", для тех, кому не охота рисковать - и ИБП, и контроллер с внутренним сохранением кэша.
Макета ничего не продаёт. Как ей в этом случае может навредить продажа подделок?
Нарушить её права на товарный знак. Собственно, если убрать вопрос с серопараллельным импортом - то именно для защиты от подделок товарные знаки и придумали.
И при нарушении интеллектуальных прав - ущерб не обязателен. Он может повлиять на вид и размер последствий, да, но для выполнения требования о прекращении нарушений (причём за счёт самого нарушителя) и/или конфискации товара - он не обязателен.
Собственно, теоретически с подделками под Макиту (или любого другого владельца товарного знака) можно бороться и без самой Макиты. Проблема в том, что общественные организации это не могут просто так (им нужна уполномоченность от правообладателя хотя бы), а для правоохранительных органов "гешефт" в виде палок отчётности невелик.
не является реестровым ПО и использовать в госсекторе и компаниях с госучастием нельзя
Но если очень хочется - то можно.
Главное, знать как. Один из способов - найти в реестре самбасодержащий продукт.
Есть и другие способы, но там уже больше плясок с бюрократией по поиску отличий "использовать" от "приобретать лицензию" и высшего пилотажа с т.н.з. бумажным инфобезом.
Про тандерболт тоже где-то попадалось на Хабре, припоминаю...
На счёт разделения на слои... Судя по вот этой статье https://habr.com/ru/articles/921540/ - у MoE моделей можно часть слоёв выгрузить в GPU, тензоры внимания других слоёв - тоже в GPU, а тензоры экспертов - в CPU.
Да и LM Studio позволяет задавать конкретное число слоёв, выгружаемых на GPU.
Разве это принципиально отличается от того, как модель запускают на разных хостах?
А это уже не уровень РФ, а уровень субъекта федерации и/или даже ОМСУ.
Зависит от города. В некоторых можно оплатить банковской картой, транспортной картой, и наличными - водителю как раз.
Ну а кондукторы да, кондукторов сократили для снижения расходов. Хотя, говорят, где-то еще уцелели...
Ну поскольку нынче "отменили" тепловую смерть вселенной, то возникает вопрос - а точно ли энтропия уменьшилась и точно ли это чему-то противоречит?
Там о другом речь - проброс гипервизором с хоста в ВМ.
Но "вообще" этот цикл статей интересен в другом плане - там используют vLLM сотоварищи для распределения нагрузки от модели не только по видеокартам, но и по узлам (серверам), и кажется даже параллельно запросы обрабатывать на получившемся кластере.
Это несколько более сложная задача, чем имел в виду я... Но, в принципе, вариант интересный, хотя и именно для LLM, но не stable diffusion.
Я имел в виду более простой случай в духе GPUoverIP типа https://github.com/kevmo314/scuda или https://www.juicelabs.co/ . Скажем, есть сервер с много RAM (скажем, от 256GB), но куда трудно напихать GPU, и есть ящик(и) попроще (вплоть до десктопной начинки), но достаточного размера и количества, чтобы них напихать GPU. А потом пробросить GPU в сервер, где много RAM и запустить тяжелую модель с шардированием её части на GPU (несколько GPU), части - на RAM.
В принципе, та же LM Studio умеет (как-то) распределять модель между доступными GPU и RAM, но локальными GPU, разумеется.
Но, возможно, описанный в указанном вами цикле статей путь перспективнее, несмотря на сложность...
Можно. И даже пара продуктов для этого попадалась. Интересна именно практика такого использования, а не теоретическая возможность :)
На счёт скорости....
Спорный вопрос на самом деле - заливание частей модели в видеопамять (или даже её целиком туда) - не настолько частое занятие. А потому, если не менять модели постоянно, а работать с одной и той же - есть шанс, что это будет хоть и медленнее локально подключенных видеокарт, но быстрее, чем на CPU.
А видеокарт этих "по сети" можно подключить как бы не больше, чем физически в корпус напихать (по крайней мере, без использования бифуркации, когда карт можно подключить очень много, но вплоть до 1х скорости - который уже сопоставимы со скоростью сети - с PCI-e 3.0 точно, PCI-e 4.0 - всего раза в два быстрее 10Gbps сети).
Ну начнём с того, что в настоящее время эволюционная теория уже не та, какой её родил Дарвин. Упоминание Дарвина тут - просто дань уважения.
Во-вторых... Ну да, на самом деле "так получилось" - налепили костылей вместо рефакторинга (гено)кода и опытным путём отобрали жизнеспособные в данных условиях нагромождения костылей. Собственно, генетические алгоритмы примерно так и работают.
А в чём претензия-то в этой части?.. Почему "не объясняет", в частности?
Вы таки не переживайте, до сих пор находятся человеки, отрицающие теорию относительности в пользу классики.
Хорошая цитата, но неудачная претензия.
Хорошая потому, что Ньютон-то в формулировках законов имени себя обошелся без матана, да и вообще, на тот момент дифференциальное и интегральное исчисления в нынешнем виде не существовало, и соответствующий матаппарат для того, что нынче называют ньютоновской физикой, создавался стараниями самого же Ньютона и Лейбница, а столетием позже Эйлера и Лагранжа.
Так что то, сейчас называют ньютоновской теорией - это не совсем то, что когда-то сделал лично Ньютон.
Но называть теорию Дарвина "обанкротившейся философией", не объяснив почему - это уже, эээ, неджентльменский приём, мягко говоря.
А то ж и ньютоновскую физику можно назвать обанкротившейся, т.к. с тех пор родили теорию относительности, по той причине, что ньютоновская физика как раз упоминаемую вами эмпирическую проверку, в конечном счёте, не прошла.
а лучше не про процессор, а про практику проброса GPU с одного компа на другой... было бы интересно почитать
Элементарно. Трата времени на то, чтобы выдать задание на уроке, не повышает KPI учителя. А потому на выдачу ДЗ время тратится по остаточному принципу и формальному критерию "успеть отправить до конца текущих суток".
А так-то да, учитель не может не знать, что задать.
Если платформа - ОРИ. А если не ОРИ, то несколько нарушений (в виде публикации информации, которую нельзя) - и блокировка всего сайта без права разблокировки.
Ну, собственно, дневник в старших классах и в 90-х был не нужон кроме как оценки туда вписывать и родителей с ними знакомить. В продвинутых школах догадывались, что задания можно записывать прямо в тетрадях (благо там еще и места больше, чем в дневнике, и задание умещается без извращений).
Вообще проблема с домашним заданием - в KPI учителей. Если бы для них в KPI было бы приоритетнее дать задание на уроке, а не успел на уроке - значит, не задал вообще - оно бы было выдано на уроке, а не в 23:59 дня, предшествующего сдаче.
Но на это всем контролирующим инстанциям, начиная со школы - наплевать, они отчитываются не этим. Соответственно, в приоритете то, чем они отчитываются.
То есть у них буквально оптимизация деятельности для максимизации KPI.
Можете проверить наличие Хабра в реестре ОРИ, кстати (насколько помню, он там есть).
И таки да, формально - это всё ОРИ.
И за несколько нарушений "по распространению запрещенной информации" - разрешен бан ресурса, причём без возможности разблокировки. Для ОРИ сделано исключение из этого правила, там несколько более гибкий подход.
Так там же явная отсылка на "ч.1 настоящей статьи".... И, кстати, не 12, а
. Тот случая, когда закорючки имеют значение...
А там речь о "адреса-идентификаторы в информационных системах, организованных не в соответствии с российским правом, не администрируемые цифровыми депозитариями".
Дополнительно проблему составляет то, что это - "diff" к НПА. Чтобы понять, о чём речь - надо его его патчем на этот НПА наложить и смотреть полученный результат.
А вот это уже более пикантная сторона проблемы, действительно.
И даже для нормальной это не так. Это работает только в условиях достаточно высокой конкуренции, с невозможности влиять на покупателя внерыночными средствами, включая полную прозрачность предложения для покупателя. Да и то не факт, что чего-то не забыл...
Например, при возможности недоопределения конечного результата в договоре - тот, кто будет предлагать честную цену за полный продукт, разорится из-за конкурентов, предлагающих более низкую цену, и потом докручивающие её до полной, когда покупатель понимает, что получает формально соответствующий договору, но не полностью удовлетворяющий его, результат.
У подобных рассуждений есть принципиальный недостаток - подразумеваемые говорящим, но не высказываемые явно, условия.
Например, если он монополист при существующей потребности - то уже пофиг, как удовлетворил.
Или при определённых условиях он разорится именно потому, что слишком хорошо, по сравнению с конкурентами, удовлетворял потребности.
(Ну разве что если вы заявите про общественную потребность быть обманутым за собственные деньги - тогда да, тогда кто лучше обманывал, тот и не разорился...)
Там есть два варианта - более старый, когда батарейка кэш подпитывает (а когда заряд кончился - то ой), и более новый, когда суперконденсатор нужен затем,чтобы кэш сбросить на ssd - после чего уже "условно сколько угодно" можно ждать, пока восстановится питание.
И да, в отличии от ИБП - это сработает независимо от ОС и даже от значительной части остального железа. Так что для любителей бюджетных решений с допустимыми рисками - ИБП "на всё", для тех, кому не охота рисковать - и ИБП, и контроллер с внутренним сохранением кэша.
Уже сказано в первом предложении сообщения на которое вы отвечаете. И нет, это не патенты.
Но вот не защищая Макиту - оно, как следствие, защищает мошенников, продающих подделки под Макиту.
Не надо путать защиту интеллектуальных прав и защиту права стричь бабки. Первое включает второе, но не совпадает с ним.
...вот только государству выгоднее защищать право стричь бабки за шильдики, чем бороться с подделками.
Нарушить её права на товарный знак. Собственно, если убрать вопрос с серопараллельным импортом - то именно для защиты от подделок товарные знаки и придумали.
И при нарушении интеллектуальных прав - ущерб не обязателен. Он может повлиять на вид и размер последствий, да, но для выполнения требования о прекращении нарушений (причём за счёт самого нарушителя) и/или конфискации товара - он не обязателен.
Собственно, теоретически с подделками под Макиту (или любого другого владельца товарного знака) можно бороться и без самой Макиты. Проблема в том, что общественные организации это не могут просто так (им нужна уполномоченность от правообладателя хотя бы), а для правоохранительных органов "гешефт" в виде палок отчётности невелик.
Но если очень хочется - то можно.
Главное, знать как. Один из способов - найти в реестре самбасодержащий продукт.
Есть и другие способы, но там уже больше плясок с бюрократией по поиску отличий "использовать" от "приобретать лицензию" и высшего пилотажа с т.н.з. бумажным инфобезом.