Если Вы хотите запускать большие LLM, то для этого действительно лучше использовать GPU или даже специальные ускорители с большим объемом памяти.
А NPU, как пишу в статье, скорее предназначен для небольших нейросетей. При чем что важно, именно нейросетей, а не LLM. Хотя никто не запрещает запускать и то и другое, но LLM все же требует много ресурсов и активной работы. А вспомогательные нейросети, такие как в функции Click to Do, отлично ложатся на NPU, т.к. работают в фоне и много ресурсов не требуют.
Для понимания, нейросеть которая используется в Click to Do, потребляет всего 500мб.
Если верить официальным характеристикам вашего процессора, то он выдает такие же 50 TOPS, как и мой процессор. Значит в теории tps будет на том же уровне, что и примеры в статье. Но это вывод сделанный, опираясь только на показатель TOPS.
Спасибо за предложение, но пока что это не представляется возможным. Для задействования RDNA нужно использовать AMD ROCm. Для него, к счастью, есть поддержка в том же LM Studio. Только сам ROCm на данный момент не поддерживает мой процессор.
Хотя в последнем релизе ROCm появилась поддержка, пока что его установка на Windows затруднительна, а HIP SDK еще не сделали.
Проще говоря, через пару месяцев должна появится полная поддержка и тогда получится протестировать.
В моей компании, например, не используются сторонние ДЦ, сервера стоят прямо в офисе компании. Но это не бигтех, пары хороших серверов хватает с головой.
VPN используем, как обычно, для подключения к внутренней сети компании и там никакие ютубы не работают. Самая обычная домашняя сеть, если рассматривать с точки зрения доступа к ресурсам.
Так же мы во внутренней сети не используем никакие VPN, ибо зачем нам гнать трафик за границу через VPN? Конечно может чего-то не знаю, но пока что в моём понимании в этом нет смысла.
Что касательно масштабных ДЦ, то я сомневаюсь, что не применяются ограничения для VPN трафика за границу. Ведь тогда бы их активно эксплуатировали. Но не берусь утверждать, что мои слова - истина.
Я конечно не эксперт, но компании, используя VPN, не гонят трафик за границу. Как правило трафик проходит между пользователем и сервером компании. Во всяком случае иных случаев я не знаю.
Если условный РКН способен определить VPN трафик, то ему не составит труда определить, что трафик идет за границу, либо остается в пределах страны.
В таком случае можно спокойно ограничить VPN трафик за пределы страны, а в её приделах ничего не трогать.
Обычно покупая мышь и клавиатуру в комплекте уже идет один приёмник. Так что в моём случае было достаточно купить периферию и приёмников хватало для подключения к двум устройствам.
Но если бы захотел подключить третий ноутбук, то пришлось бы покупать еще один приёмник, стоит он примерно 1к рублей.
Важное уточнение, если Вы пользуетесь соответствующими программами, то какой у вас подключение к сети, проводное или беспроводное?
Нет, Logitech Flow работает немного иначе. Он действительно связывает устройства через лоакальную сеть, но только для согласованного переключения.
Фактически он лишь подаёт мыши и клавиатуре сигнал на переключение профиля. А периферия самостоятельно переключантся к другому устройству напрямую через приёмник/Bluetooth.
Слышал о таких программах, но до использования так и не дошел. Думаю это может быть хороший вариант.
Но насколько понимаю, эти программы переадресуют ввод с одного устройства на другое используя локальную сеть. И тогда закономерный вопрос, не будет ли большой задержки?
Хотя вряд ли эта задержка будет действительно значительной.
Ох, единая терминология это действительно важно. Не думал, что кто-то будет писать об этом. Иногда встречаю случаи, когда люди в одной команде используют разные термины для одних и тех же обозначений, и сами же в них путаются. В таких случаях важно обсуждать с командой, какие термины лучше использовать или хотя бы уточнять, что конкретно они имеют ввиду.
Если Вы хотите запускать большие LLM, то для этого действительно лучше использовать GPU или даже специальные ускорители с большим объемом памяти.
А NPU, как пишу в статье, скорее предназначен для небольших нейросетей. При чем что важно, именно нейросетей, а не LLM. Хотя никто не запрещает запускать и то и другое, но LLM все же требует много ресурсов и активной работы. А вспомогательные нейросети, такие как в функции Click to Do, отлично ложатся на NPU, т.к. работают в фоне и много ресурсов не требуют.
Для понимания, нейросеть которая используется в Click to Do, потребляет всего 500мб.
Если верить официальным характеристикам вашего процессора, то он выдает такие же 50 TOPS, как и мой процессор. Значит в теории tps будет на том же уровне, что и примеры в статье. Но это вывод сделанный, опираясь только на показатель TOPS.
Спасибо за предложение, но пока что это не представляется возможным. Для задействования RDNA нужно использовать AMD ROCm. Для него, к счастью, есть поддержка в том же LM Studio. Только сам ROCm на данный момент не поддерживает мой процессор.
Хотя в последнем релизе ROCm появилась поддержка, пока что его установка на Windows затруднительна, а HIP SDK еще не сделали.
Проще говоря, через пару месяцев должна появится полная поддержка и тогда получится протестировать.
И вправду, на vds от selectel подключение и к хетзнер и к гуглу отлично работает, на домашней сети, очевидно, не работает.
Спасибо за информацию, это действительно интересно.
В моей компании, например, не используются сторонние ДЦ, сервера стоят прямо в офисе компании. Но это не бигтех, пары хороших серверов хватает с головой.
VPN используем, как обычно, для подключения к внутренней сети компании и там никакие ютубы не работают. Самая обычная домашняя сеть, если рассматривать с точки зрения доступа к ресурсам.
Так же мы во внутренней сети не используем никакие VPN, ибо зачем нам гнать трафик за границу через VPN? Конечно может чего-то не знаю, но пока что в моём понимании в этом нет смысла.
Что касательно масштабных ДЦ, то я сомневаюсь, что не применяются ограничения для VPN трафика за границу. Ведь тогда бы их активно эксплуатировали. Но не берусь утверждать, что мои слова - истина.
Я конечно не эксперт, но компании, используя VPN, не гонят трафик за границу. Как правило трафик проходит между пользователем и сервером компании. Во всяком случае иных случаев я не знаю.
Если условный РКН способен определить VPN трафик, то ему не составит труда определить, что трафик идет за границу, либо остается в пределах страны.
В таком случае можно спокойно ограничить VPN трафик за пределы страны, а в её приделах ничего не трогать.
Обычно покупая мышь и клавиатуру в комплекте уже идет один приёмник. Так что в моём случае было достаточно купить периферию и приёмников хватало для подключения к двум устройствам.
Но если бы захотел подключить третий ноутбук, то пришлось бы покупать еще один приёмник, стоит он примерно 1к рублей.
Важное уточнение, если Вы пользуетесь соответствующими программами, то какой у вас подключение к сети, проводное или беспроводное?
Плагин Git можно использовать и на мобильном устройстве, а не только ПК.
Установив плагин, можно через команду скачать репозиторий.
Нет, Logitech Flow работает немного иначе. Он действительно связывает устройства через лоакальную сеть, но только для согласованного переключения.
Фактически он лишь подаёт мыши и клавиатуре сигнал на переключение профиля. А периферия самостоятельно переключантся к другому устройству напрямую через приёмник/Bluetooth.
Слышал о таких программах, но до использования так и не дошел. Думаю это может быть хороший вариант.
Но насколько понимаю, эти программы переадресуют ввод с одного устройства на другое используя локальную сеть. И тогда закономерный вопрос, не будет ли большой задержки?
Хотя вряд ли эта задержка будет действительно значительной.
Ох, единая терминология это действительно важно. Не думал, что кто-то будет писать об этом. Иногда встречаю случаи, когда люди в одной команде используют разные термины для одних и тех же обозначений, и сами же в них путаются. В таких случаях важно обсуждать с командой, какие термины лучше использовать или хотя бы уточнять, что конкретно они имеют ввиду.