попробуйте через мой софт. только чуть позже. я в софт вставил описанный способ с mailbox, а с LLM он не работает. нужно переводить на обмен через BAR1. я это сделал, только в софт еще не добавил. прироста так же не дало нихрена, хотя фактически данные шли именно через p2p и именно через BAR1. в сочетании с тем что tensor split режет prefill в несколько раз с условных 5-8 тыс. т/с до 700-800, пророст генерации в 3-4 токена выглядит смешно и жалко. но, как добавлю в софт - маякну, попробуйте на 50hx. @Mefix37
На этой машине повторный probe уже инициализированных 50HX после reload драйвера заканчивался отказом GSP. Помогло временно удержать обе 50HX через driver_override до первого probe, выполнить Gen2-процедуру с перезагрузками модуля на одной 90HX, а затем впервые подключить 50HX. Такая автозагрузка успешно прошла два раза
вы если нейросеть просите написать комментарий, хотя бы следите чтобы не было англицизмов через каждые два слова, и очевидных признаков нейрослопа.
Откуда взялась 90hx, и что значит активировать на ней и подключить 50hx впервые? если вы пишете в системе две 50hx. вы подключаете pcie устройство на горячую после перезагрузки модуля?
хотя нет. все таки сломал и это. P2P починен. Внутри одного CPU P2P ≈ 3.1–3.35 GB/s. Между CPU P2P ≈ 1.6–1.7 GB/s. до этого было p2p = 0.27 GB/S, без p2p по старой схеме не более 1.6 GB/S. это результат для pcie gen1, и получается при расширении шины до gen2 будет еще выше. время писать еще одну статью :)
ну в общем да. драйверный путь не сработал. вероятно, нужно искать и писать регистры в самом GPU, так что пока что я это откладываю. получается так, что p2p доступен, но при его активации карта выбирает еще более медленный путь, и мы получаем огромное падение скорости
пока что падение сырой скорости передачи данных на моей системе примерно в 7 раз. даже на одном процессорном пространстве результат неудовлетворительный. я конечно раскопаю еще, но думаю, что есть реальный шанс что в полноценный p2p моя система не сможет
возвращаюсь. анлокнул p2p на этих картах, пришлось помучиться так как проверок которые давали gpu_not_supported в драйвере несколько. проверки выполню чуть позже. у меня два процессора, соответственно 3 карты на первом, и 2 карты на втором. внутри одного пространства ожидаю пророст, а вот когда данные начнут гулять между процессорами через NUMA, пока предсказать результат не могу.
ну в принципе да. получается производитель не доработал схему, и выкрутился тем что сделал невозможной работу прибора на зарядке, по аналогии с электробритвой. нехорошо. на данном этапе не могу подтвердить ваши слова о том что CV настолько убьет АКБ, но смысл в ваших словах точно есть. пока что я вручную снимаю с зарядки если вижу что прибор зарядился - при постоянной работе такое действие проводится раз в пару часов. когда меня это задолбоает - влезу в прибор еще раз и переделаю схему на переключение питания с каким-нибудь чарджером, чтобы переход был бесшовным.
в этом есть смысл, причем получается что такая схема предусмотрена с завода - схему зарядки мы в статье не меняли. однако пожара и взрыва не будет, так ка соблюдается cc/cv, и в конечном итоге ток, идущий в акб, все равно станет минимальным, на выходе микрухи останется по сути питание прибора. от злых штук с приставкой "пере" нас должна теоретически защитить плата PCM на самой банке и законы физики...
у нас с вами есть одно важнейшее различие в понимании прибора. как осциллографом я им пользуюсь только "на весу" - например перед презентацией наших девайсов уже на стендах, куда большой ослик не принесешь. остальное время он у меня как мультиметр именно работает, там это не так критично. а на столе разумеется полноценный осциллограф, иначе никак
посмотрел p2p, теоретически открыть можно, большая часть флагов известна, но надо вклиниваться в патч драйвера во время сборки nvidia.ko для compute unlock. сделаю, результаты покажу. наверное, на выхах
задумка отличная и бы хорошо, но если статью за вас делает нейронка, то хотя бы подчищайте типичные ии-клише) глаза болят читать
что за efi анлокер? я не встречал такого решения
после моих экспериментов с видеокартами, видеть цифры в 17 токенов в секунду и 200 на префилл как-то мучительно... против 8000 префилл, 120 декоде
xrip со мной идти на контакт особо не пошел, когда я патчи писал для 90hx, поэтому за его реализацию ничего не могу сказать.
попробуйте через мой софт. только чуть позже. я в софт вставил описанный способ с mailbox, а с LLM он не работает. нужно переводить на обмен через BAR1. я это сделал, только в софт еще не добавил. прироста так же не дало нихрена, хотя фактически данные шли именно через p2p и именно через BAR1. в сочетании с тем что tensor split режет prefill в несколько раз с условных 5-8 тыс. т/с до 700-800, пророст генерации в 3-4 токена выглядит смешно и жалко. но, как добавлю в софт - маякну, попробуйте на 50hx. @Mefix37
привет, спасибо. я тебе плюсанул, плюсуй мне)))
обязательно. что вдули - то и выдули. я даже указывать не стал.
вы если нейросеть просите написать комментарий, хотя бы следите чтобы не было англицизмов через каждые два слова, и очевидных признаков нейрослопа.
Откуда взялась 90hx, и что значит активировать на ней и подключить 50hx впервые? если вы пишете в системе две 50hx. вы подключаете pcie устройство на горячую после перезагрузки модуля?
да, об этом и пишу. вообще конкретно для моих задач p2p в итоге прирост дал смешной, поэтому да и бог бы с ним.
выкатил новую статью. на gen1 3.3gbps, gen2 6.7gbps
хотя нет. все таки сломал и это. P2P починен. Внутри одного CPU P2P ≈ 3.1–3.35 GB/s. Между CPU P2P ≈ 1.6–1.7 GB/s. до этого было p2p = 0.27 GB/S, без p2p по старой схеме не более 1.6 GB/S. это результат для pcie gen1, и получается при расширении шины до gen2 будет еще выше. время писать еще одну статью :)
ну в общем да. драйверный путь не сработал. вероятно, нужно искать и писать регистры в самом GPU, так что пока что я это откладываю. получается так, что p2p доступен, но при его активации карта выбирает еще более медленный путь, и мы получаем огромное падение скорости
пока что падение сырой скорости передачи данных на моей системе примерно в 7 раз. даже на одном процессорном пространстве результат неудовлетворительный. я конечно раскопаю еще, но думаю, что есть реальный шанс что в полноценный p2p моя система не сможет
возвращаюсь. анлокнул p2p на этих картах, пришлось помучиться так как проверок которые давали gpu_not_supported в драйвере несколько. проверки выполню чуть позже. у меня два процессора, соответственно 3 карты на первом, и 2 карты на втором. внутри одного пространства ожидаю пророст, а вот когда данные начнут гулять между процессорами через NUMA, пока предсказать результат не могу.
https://www.ti.com/lit/ds/symlink/bq24074.pdf?ts=1790144435830&ref_url=https%253A%252F%252Fwww.ti.com%252Fproduct%252FBQ24074%252Fpart-details%252FBQ24074RGTR причем есть хорошие решения которые поддерживают переключение зарядки и нормальное окончание CV. вопрос экономии 100 рублей на самом деле...
ну в принципе да. получается производитель не доработал схему, и выкрутился тем что сделал невозможной работу прибора на зарядке, по аналогии с электробритвой. нехорошо. на данном этапе не могу подтвердить ваши слова о том что CV настолько убьет АКБ, но смысл в ваших словах точно есть. пока что я вручную снимаю с зарядки если вижу что прибор зарядился - при постоянной работе такое действие проводится раз в пару часов. когда меня это задолбоает - влезу в прибор еще раз и переделаю схему на переключение питания с каким-нибудь чарджером, чтобы переход был бесшовным.
в этом есть смысл, причем получается что такая схема предусмотрена с завода - схему зарядки мы в статье не меняли. однако пожара и взрыва не будет, так ка соблюдается cc/cv, и в конечном итоге ток, идущий в акб, все равно станет минимальным, на выходе микрухи останется по сути питание прибора. от злых штук с приставкой "пере" нас должна теоретически защитить плата PCM на самой банке и законы физики...
у нас с вами есть одно важнейшее различие в понимании прибора. как осциллографом я им пользуюсь только "на весу" - например перед презентацией наших девайсов уже на стендах, куда большой ослик не принесешь. остальное время он у меня как мультиметр именно работает, там это не так критично. а на столе разумеется полноценный осциллограф, иначе никак
у меня от вас футболка есть. вы вообще кто?
посмотрел p2p, теоретически открыть можно, большая часть флагов известна, но надо вклиниваться в патч драйвера во время сборки nvidia.ko для compute unlock. сделаю, результаты покажу. наверное, на выхах