А есть какие-то проверенные связки для именно локального инференса и облачного? Текущие клоды и копайлоты такое не умеют, open code вроде бы тоже ... Пробовал litellm, вроде бы получается неплохо, но немного не то что я хотел. Там анализатор все разбивает, а не сами модели.
Не пробовали гибридную концепцию? Старшая облачная модель пишет план, а локальная занимается реализацией? Потом облако верифицирует. Получается экономить до 50% токенов по сравнению с чистым облаком и качество по идее вообще не страдает. Blackwell ноутбук на NVFP4 спокойно выдает 10t/s без спекуляций, потребляя при этом меньше 100 ватт под нагрузкой.
Давно работает уже множество приложений причем нативно. Все что может понадобиться обычному пользователю есть уже год как. С точки зрения разработки ещё есть нюансы, но и они либо закрываются частичной эмуляцией либо выходом нативной поддержки.
Недавно появился нативный LLVM с clang и прочим, ведётся работа над портом gcc. Активно добавляются нативные бинарники для самых популярных python библиотек. Недавно вышел numpy например.
А что понимается под слабыми? Есть вот трубка средне бюджетная из 2016 года, там до сих пор веб приложения хорошо работают. На чем-то более старом с 1Гб RAM уже ничего толком работать не будет, но на таких девайсах даже сам браузер уже нормально не работает.
Сам JS и движок стали только быстрее с годами, как и мощность мобильных устройств. Сегодня надо прилично "постараться", чтобы вебом сильно нагрузить современные бюджетники.
Заходите в русскоязычное PWA сообщество - https://t.me/pwa_ru знаем все нюансы т.к. модераторы из GDE и Microsoft с большим стажем PWA. Также обратите внимание на https://www.pwabuilder.com/, как раз под ваш случай. Никакие Cordova не нужны.
А есть что порекомендовать подобное, где все делается через UI морду как настройка сервера так и клиента? С конфигами не хочется возиться при наличии таковых вариантов.
Так и есть. Банально конфликт интересов и в целом усталость от фичи еще на этапе ее разработки, не говоря уже об необходимости ее проверить. Поэтому конечно тестируют еще и люди со стороны. Но, у этих людей зачастую мотивации сильно хорошо проверять нет т.к. это не их прямые обязанности и спроса с них не будет.
Если бы)) 11 винда, причем инсайдерские бета билды. Тестируют чаще всего те же инженеры что и делали фичу, плюс обычные сотрудники. Выделенные команды тестирования существуют, но я их не видел вживую.
Из последних интелов очень хороший нагреватель, стабильный. Для лучшего обогрева только водянку нужно накинуть. 4090 конечно поспорит, но в тандеме можно и вторую комнату отопить.
Без шуток конечно да, несколько печально. У меня все хорошо настроено и сбалансировано, железо не самое горячее, но этим летом впервые включал кондиционер вечером во время игры, ибо "потные катки" становились абсолютно не фигуральными.
А есть какие-то проверенные связки для именно локального инференса и облачного? Текущие клоды и копайлоты такое не умеют, open code вроде бы тоже ... Пробовал litellm, вроде бы получается неплохо, но немного не то что я хотел. Там анализатор все разбивает, а не сами модели.
Не пробовали гибридную концепцию? Старшая облачная модель пишет план, а локальная занимается реализацией? Потом облако верифицирует. Получается экономить до 50% токенов по сравнению с чистым облаком и качество по идее вообще не страдает. Blackwell ноутбук на NVFP4 спокойно выдает 10t/s без спекуляций, потребляя при этом меньше 100 ватт под нагрузкой.
Давно работает уже множество приложений причем нативно. Все что может понадобиться обычному пользователю есть уже год как. С точки зрения разработки ещё есть нюансы, но и они либо закрываются частичной эмуляцией либо выходом нативной поддержки.
Недавно появился нативный LLVM с clang и прочим, ведётся работа над портом gcc. Активно добавляются нативные бинарники для самых популярных python библиотек. Недавно вышел numpy например.
Панель задач, ее элементы и центр уведомлений написаны на C++ с использованием WinUI.
Ну под больше ничего вы мягко говоря погорячились. Работает уже много что. Один из неполных списков: https://www.worksonwoa.com/applications/
Делали стрим недавно с демо этой фичи
Напишите об этом в feedback или issue, к такому формату команда прислушивается.
А что понимается под слабыми? Есть вот трубка средне бюджетная из 2016 года, там до сих пор веб приложения хорошо работают. На чем-то более старом с 1Гб RAM уже ничего толком работать не будет, но на таких девайсах даже сам браузер уже нормально не работает.
Сам JS и движок стали только быстрее с годами, как и мощность мобильных устройств. Сегодня надо прилично "постараться", чтобы вебом сильно нагрузить современные бюджетники.
Там есть возможность при генерации отдать исходники проекта, надеюсь получилось этим воспользоваться.
Заходите в русскоязычное PWA сообщество - https://t.me/pwa_ru знаем все нюансы т.к. модераторы из GDE и Microsoft с большим стажем PWA. Также обратите внимание на https://www.pwabuilder.com/, как раз под ваш случай. Никакие Cordova не нужны.
Отпишусь если заблокируют. Думаю внутрь РФ то пускать должны в любом случае, а вот для родственников что-то придется новое искать...
А есть что порекомендовать подобное, где все делается через UI морду как настройка сервера так и клиента? С конфигами не хочется возиться при наличии таковых вариантов.
Немного не в тему, но понравилась по удобству такая штука. В пару кликов настроил сервера и внутри РФ и снаружи. https://en.wikipedia.org/wiki/Outline_VPN
Тоже недавно писал на свифте с помощью GPT. Хорошо помог, но приходилось много додумывать и поправлять, пользуясь статьями по теме.
Жаль что на реакте. Выглядит интересно.
Так и есть. Банально конфликт интересов и в целом усталость от фичи еще на этапе ее разработки, не говоря уже об необходимости ее проверить. Поэтому конечно тестируют еще и люди со стороны. Но, у этих людей зачастую мотивации сильно хорошо проверять нет т.к. это не их прямые обязанности и спроса с них не будет.
Если бы)) 11 винда, причем инсайдерские бета билды. Тестируют чаще всего те же инженеры что и делали фичу, плюс обычные сотрудники. Выделенные команды тестирования существуют, но я их не видел вживую.
Из последних интелов очень хороший нагреватель, стабильный. Для лучшего обогрева только водянку нужно накинуть. 4090 конечно поспорит, но в тандеме можно и вторую комнату отопить.
Без шуток конечно да, несколько печально. У меня все хорошо настроено и сбалансировано, железо не самое горячее, но этим летом впервые включал кондиционер вечером во время игры, ибо "потные катки" становились абсолютно не фигуральными.
На новые пиксели пообещали 7 лет обновлений ОС