«Потолки по-прежнему различаются на треть, 236 у Gemma против 178 у лучшего кванта Qwen».
Я тоже тестировал именно эти модели и столкнулся с тем, что tok/s здесь желательно сравнивать вместе с символами/с: у моделей разные токенизаторы и разный средний объём текста в одном токене. В моих тестах TTFT у Qwen часто был сопоставимым или даже ниже, хотя по tok/s он стабильно проигрывал. Поэтому разница в реальной скорости выдачи текста и пользовательской задержке может быть заметно меньше, чем следует из сравнения только токенов в секунду.
Что-то никто в комментах не понимает кажется для чего xray. Сам раньше просто прокидывал порты по ssh. Последнее время такой способ был не стабильный. Было ощущение что ssh разрывает провайдер. Тоже думал через xray гонять, но показалось слишком грамоздко. В итоге сдался и купил белый айпи за 100 рублей.
Мне кажется РКН сам может насоздавать липовых заблокированных доменов, на которых будет ловить такие впн. И этот список может быть динамическим. Пока что вижу спасение в per-app тунелировании.
И опять же. Если исходить из выводов статьи, то сплит по доменам не сработает.
Как будто оправдывать fine tuning, если нужна работать в автономном режиме, не аргумент. ведь раг систему можно скачать на edge устройство. И синхронизировать при доступе в интернет
Микрофонами*
Была похожая мысль, только не со смартфонами, а с дешёвыми микрорайонами, распределенными по периметру. И позиция у них статическая, не нужен gps
Я тоже тестировал именно эти модели и столкнулся с тем, что
tok/sздесь желательно сравнивать вместе ссимволами/с: у моделей разные токенизаторы и разный средний объём текста в одном токене. В моих тестах TTFT у Qwen часто был сопоставимым или даже ниже, хотя поtok/sон стабильно проигрывал. Поэтому разница в реальной скорости выдачи текста и пользовательской задержке может быть заметно меньше, чем следует из сравнения только токенов в секунду.По бизнес модель ничего не написано. Такая модель идеально ложится в физических ассистентов, гуманоидных роботов и даже умных колонок.
Tauri
Что-то никто в комментах не понимает кажется для чего xray. Сам раньше просто прокидывал порты по ssh. Последнее время такой способ был не стабильный. Было ощущение что ssh разрывает провайдер. Тоже думал через xray гонять, но показалось слишком грамоздко. В итоге сдался и купил белый айпи за 100 рублей.
Роутер вообще проблема)) Теперь надо спрашивать, что у гостей установленно на устройствах, перед тем как им пароль от вайфая давать))
Мне кажется РКН сам может насоздавать липовых заблокированных доменов, на которых будет ловить такие впн. И этот список может быть динамическим. Пока что вижу спасение в per-app тунелировании.
И опять же. Если исходить из выводов статьи, то сплит по доменам не сработает.
Интересно как это все будет работать, если использовать сплит туннелирование по приложению
Как будто оправдывать fine tuning, если нужна работать в автономном режиме, не аргумент. ведь раг систему можно скачать на edge устройство. И синхронизировать при доступе в интернет