Если хочется заморочиться и теоретически ускорить генерацию в 2 раза, можно попробовать запустить модель на NPU RK3588S, который может использовать до 4GB RAM. Как минимум снять нагрузку с процессора.
Во-первых, как ты ни читай/проверяй код, ты все равно не будешь его знать также хорошо, как написанный собственноручно. Следовательно, будешь хуже знать, как работает система.
Попользовав ИИ я понял что вопрос по большей части в месте размещения контекста.
как работает система
особенно вот этот момент, предполагается что сейчас эта информация для написания кода содержится в вас в голове.
Для ИИ важно чтобы информация о работе системы содержалась в его контекстном окне. Но просто верхнеуровневой информации часто мало, ведь ИИ строит свой ответ на "предсказаниях" и сложные предсказания ему строить трудно, т.к. чтобы выдать правильное перед этим нужно понимать как изменение может повлиять на другой код в рамках текущего метода/класса/компонента так и как он может повлиять на другие компоненты системы.
В статье как раз описывается случай подходящий под недостаток контекста, когда сначала пишется код на 1000 строк (создаётся контекст), а потом этот код упрощается до 100 строк (на основе созданного контекста). Возможно внутренние рассуждения ИИ когда-нибудь дойдут до уровня когда смогут сделать это сразу.
Возможен случай когда контекст будет создаваться заранее для каждого значимого обьекта насколько мал бы он не был. Например: если изменить одно на первый взгляд незначительное условие вызываемое не явно или через длинную цепочку то изменится поведение в другом компоненте. И для этого куска кода обязательно нужен контекст (комментарий), который укажет все компоненты и случаи которые может затронуть изменение, чтобы ИИ не нужно было производить вычисления каждый раз заново (чего он сейчас часто сделать просто не может).
На телефоне подключаешься к wg и получаешь доступ к ha в сети wg, из внешнего интернета он по прежнему не доступен.
Можно не использовать wg на телефоне, поставить на vps Nginx Proxy Manager для прокидывания портов и получать доступ к веб интерфейсу по интернет домену, но моя паранойя запрещает мне так делать.
Роутеру не нужны колонка и микрофон, роутеру нужно только уметь общаться с устройством у которого они есть по умолчанию и которое есть практически у каждого - с телефоном.
Телефон лучше вас слышит и вы лучше будете слышать ваш телефон, ибо он чаще рядом с вами.
Шумит прилично, перегрева не замечено. Поставил официальное обновление биоса которое вроде улучшает работу кулера. Но с другой стороны задач настолько горячих у меня и нет, нагружен только видеочип когда запущена LLM. Теоретически если запустить в windows и загрузить cpu, gpu и npu одновременно может и будут проблемы с перегревом, в linux пока доступ к npu ограничен (early access)
Я себе взял для локальных моделей GMKtec EVO-X2 128GB, не самый производительный но за свои деньги отлично.
GPT-OSS-120B там запускается без особых танцев с бубном на llama.cpp. Никакого времени прогрева, распределения в RAM, всё полностью в VRAM (до 96GB максимум), время старта чуть больше времени чтения всей модели с SSD
Если интерес к локальным моделям остынет, останется домашний сервер с быстрыми 128GB RAM
На "Strix Halo" желательно Linux ставить, т.к. производительность при запуске LLM выше. Ну и конечно можно, та же Ubuntu 24 ставится без проблем.
VRAM от 512MB до 96GB при 128GB RAM, unified
В ROCm недавно добавили официально поддержку этого чипа, но только GPU, поддержки NPU пока нет, впрочем GPU выдает нормальные результаты, у меня даже немножко больше чем на графиках в статье.
Уже полгода владею gmktec evo-x2, но ROCm для этого чипа доделали только недавно, до этого модели работали только на CPU и достаточно медленно, сейчас отлично, рекомендую.
создавать региональные инстансы моделей и инфраструктуры;
Достаточно моделей/механизмов которые будут перед передачей персональные данные заменять и подставлять обратно в ответе (хранить не обязательно), т.е. минимальной инфраструктуры.
Вроде как в Испании скоро Майкрософт обещает офис открыть и других гигантов зовут
Но зарплаты внутри страны не то чтобы привлекательные, жилье достаточно дорогое, особенно в приличных районах, и не дешевеет а наоборот, налоги относительно высокие (но вроде ниже чем в Германии и Франции).
Если хочется заморочиться и теоретически ускорить генерацию в 2 раза, можно попробовать запустить модель на NPU RK3588S, который может использовать до 4GB RAM. Как минимум снять нагрузку с процессора.
Ну и?
Есть 2 варианта одинаковые по влиянию на природу, я выберу тот где рядом со мной не будет шума и выхлопных газов.
Попользовав ИИ я понял что вопрос по большей части в месте размещения контекста.
особенно вот этот момент, предполагается что сейчас эта информация для написания кода содержится в вас в голове.
Для ИИ важно чтобы информация о работе системы содержалась в его контекстном окне. Но просто верхнеуровневой информации часто мало, ведь ИИ строит свой ответ на "предсказаниях" и сложные предсказания ему строить трудно, т.к. чтобы выдать правильное перед этим нужно понимать как изменение может повлиять на другой код в рамках текущего метода/класса/компонента так и как он может повлиять на другие компоненты системы.
В статье как раз описывается случай подходящий под недостаток контекста, когда сначала пишется код на 1000 строк (создаётся контекст), а потом этот код упрощается до 100 строк (на основе созданного контекста). Возможно внутренние рассуждения ИИ когда-нибудь дойдут до уровня когда смогут сделать это сразу.
Возможен случай когда контекст будет создаваться заранее для каждого значимого обьекта насколько мал бы он не был. Например: если изменить одно на первый взгляд незначительное условие вызываемое не явно или через длинную цепочку то изменится поведение в другом компоненте. И для этого куска кода обязательно нужен контекст (комментарий), который укажет все компоненты и случаи которые может затронуть изменение, чтобы ИИ не нужно было производить вычисления каждый раз заново (чего он сейчас часто сделать просто не может).
Можно реле в распределительную коробку, главное оставить к ним доступ и заложить размер побольше, тогда и ноль тянуть к подрозетнику не нужно.
Я делал так:
Самый дешёвый vps, на нём wg сервер.
На телефоне клиент wg
На железе с ha клиент wg с авто подключением
На телефоне подключаешься к wg и получаешь доступ к ha в сети wg, из внешнего интернета он по прежнему не доступен.
Можно не использовать wg на телефоне, поставить на vps Nginx Proxy Manager для прокидывания портов и получать доступ к веб интерфейсу по интернет домену, но моя паранойя запрещает мне так делать.
Причем в последнее время намеренно, оправданно и всё чаще
я решил провести эксперимент и попробовал указать ударение в этой модели
сработало: zamək или zaˈmok?
не сработало:
зАмок или замОк?
з+амок или зам+ок?
з^aмок или зам^ок?
за́мок или замо́к?
<phoneme alphabet="ipa" ph="ˈzamək">замок</phoneme> или <phoneme alphabet="ipa" ph="zaˈmok">замок</phoneme>?з'амок или зам'ок?
з!aмок или зам!ок?
заммок или замоок?
Роутеру не нужны колонка и микрофон, роутеру нужно только уметь общаться с устройством у которого они есть по умолчанию и которое есть практически у каждого - с телефоном.
Телефон лучше вас слышит и вы лучше будете слышать ваш телефон, ибо он чаще рядом с вами.
Шумит прилично, перегрева не замечено. Поставил официальное обновление биоса которое вроде улучшает работу кулера. Но с другой стороны задач настолько горячих у меня и нет, нагружен только видеочип когда запущена LLM. Теоретически если запустить в windows и загрузить cpu, gpu и npu одновременно может и будут проблемы с перегревом, в linux пока доступ к npu ограничен (early access)
Я себе взял для локальных моделей GMKtec EVO-X2 128GB, не самый производительный но за свои деньги отлично.
GPT-OSS-120B там запускается без особых танцев с бубном на llama.cpp. Никакого времени прогрева, распределения в RAM, всё полностью в VRAM (до 96GB максимум), время старта чуть больше времени чтения всей модели с SSD
Если интерес к локальным моделям остынет, останется домашний сервер с быстрыми 128GB RAM
Странно что в сравнении нет qwen3
На "Strix Halo" желательно Linux ставить, т.к. производительность при запуске LLM выше. Ну и конечно можно, та же Ubuntu 24 ставится без проблем.
VRAM от 512MB до 96GB при 128GB RAM, unified
В ROCm недавно добавили официально поддержку этого чипа, но только GPU, поддержки NPU пока нет, впрочем GPU выдает нормальные результаты, у меня даже немножко больше чем на графиках в статье.
Уже полгода владею gmktec evo-x2, но ROCm для этого чипа доделали только недавно, до этого модели работали только на CPU и достаточно медленно, сейчас отлично, рекомендую.
Qwen3 30b выдает до 70 токенов в секунду.
Rocm под этот чип недавно доделали, работает отлично
Qwen3 хорошо по русски отвечает и относительно быстра локально. Но опыт у меня с моделями 30b и может быть не релевантен для вас.
Столько стартапов, экспериментов, прототипов, но почему-то всё тот же литий. Где алюминий-ионные аккумуляторы?
Достаточно моделей/механизмов которые будут перед передачей персональные данные заменять и подставлять обратно в ответе (хранить не обязательно), т.е. минимальной инфраструктуры.
Nginx Proxy Manager
Вроде как в Испании скоро Майкрософт обещает офис открыть и других гигантов зовут
Но зарплаты внутри страны не то чтобы привлекательные, жилье достаточно дорогое, особенно в приличных районах, и не дешевеет а наоборот, налоги относительно высокие (но вроде ниже чем в Германии и Франции).
Батарею снять и так же под пресс, с этим нет проблем.
Батарея дальше эксплуатируется ещё пяток лет там где не важна ёмкость на вес, на автономию частных домов например.