LLM на iPhone: от llama.cpp до Foundation Models

[Urichi]

Выглядит как теория без практики, интересно было бы увидеть больше реализованных примеров.
Я пробовал развернуть гемму и квен в андроиде (Sd8gen5 16gb) - на лламе в линуксе работает только с цпу\гпу - гемма4 е4б выдает до 15 токенов на гпу.
В приложениях без линукса меньше: pocketpal - 7-9 тоненов на цпу. Edge gallery на гпу до 12.
Проблема в том, что в режиме цпу/гпу используется не вся шина памяти - выдавал только 30Гбит\с из ~80 теоритических. Аппарат разогревался и начинал троттлить через 1-2 минуты.
Если с рутом запретить андроиду убивать процессы - а это вроде получилось и e4b q4_k_m не вылетала, то на 16гбзапустить можно даже gemma4 12b, но скорость будет сильно меньше.
На нпу не получилось запустить ничего даже через qualcomm sdk, но попыток разобраться не бросил. В теории скорость должна быть больше раза в два, а потребление меньше, но только int4/8 без других квантований, которые может ллама, а еще архитектуры новых моделей под вопросом (та же moe у e4b).
Но пока остановился на облачной gemini-cli в линуксе которая через трубу может пролезать в андроид и что-то там ворочить с рутом.