Сравнение изначально некорректное. Поскольку используются услуги открытые на разном железе заведомо находящемся в разных условиях в плане нагрузки на аппаратные компоненты. Не говоря о том что ноды "под куб" и "под вм" могут ощутимо отличаться аппаратной конфигурацией.
Для корректных замеров нужно использовать одну и туже вм (или набор вм). В идеале, с контролем того на какой ноде вм запускается при перезагрузке.
Окей, тоесть вы просто берете ollama, раните там какой то gguf. И видимо далее используете ollama api чтобы просто кидать запросики из java (или чего то еще) ?
Я почему то подумал что речь про оптимизацию и приложение целиком собрано в go монолит, вероятно с использованием langchaingo/eino и вот это все за 2-4 недели
Очень хотелось бы посмотреть на то как приложение для прода собирается за 2-4 недели, без возможности использовать фреймворки. Под go с этим вообще весьма туго, есть всего пара фреймворков
Вы сейчас описали любую профессию и процесс через который проходит любой человек который еще не обладает желаемым знанием. Инструкция вида "нажми две кнопки и все поедет' это продукт который упрощает жизнь тому кто не захотел тратить время и учится всему что лежит под капотом. За это многие готовы платить.
Даже если блогер что-то расскажет, это не будет полным и рабочим решением без вагона подводных граблей.
Устройства без контента не кому не нужны. Да и устройства в целом стагнируют. Пока квалком не родят новое поколение мозгов, все продолжат юзать нынешние xr процессоры, с одинаково скудными возможностями
Mcp нефига не экономят если что. Подключение кучи разных mcp, приводит к тому что в промпт добавляется инфа о всех возможностях этих mcp. Это неистово жрет контекст, а чтобы какое то динамичное подключение организовать это надо отдельно изрядно повозиться.
Вы ради возможности сослаться собираетесь сотни гигабайт скриншотов хранить? Не лучше ли сохранять ссылки с полезным контентом. Не говоря о том что гпт нынче сами умеют искать.
Переводчик на самом деле есть, просто как это обычно бывает, не для русского.
Мелко-мягкие просто не знают куда бы прикинуться с своими copylot+pc. Единственное полезное применение npu а этих девайсах - размытие вебки и шумодав. Racall - баловство бесполезное. Даже переводчика не завезли.
Вполне влезают, но смысла в этом маневре особо нету. Tps такой что лучше юзать проц или встройку. Да и в принципе смысла нету, локальные ллм толком ни на что не годятся
Предположим что в рф эти механизмы не работают. Это можно трактовать так что можно скамить людей и за это ничего не сделают.
Даже в случае самосуда, неправы будут пострадавшие от скамера, а не сам скамер(особенно если крипту продал не он, а просто получил чужую на свой адрес)
Медаль за отвагу весит дофига. Но вообще, нативки выглядят так хорошо, что это подойдет исключительно не притязательным пользователям.
В прочем, vr игр нет, так что какая разница.
Сравнение изначально некорректное. Поскольку используются услуги открытые на разном железе заведомо находящемся в разных условиях в плане нагрузки на аппаратные компоненты. Не говоря о том что ноды "под куб" и "под вм" могут ощутимо отличаться аппаратной конфигурацией.
Для корректных замеров нужно использовать одну и туже вм (или набор вм). В идеале, с контролем того на какой ноде вм запускается при перезагрузке.
Окей, тоесть вы просто берете ollama, раните там какой то gguf. И видимо далее используете ollama api чтобы просто кидать запросики из java (или чего то еще) ?
Я почему то подумал что речь про оптимизацию и приложение целиком собрано в go монолит, вероятно с использованием langchaingo/eino и вот это все за 2-4 недели
Много воды, почти никакой конкретики.
Очень хотелось бы посмотреть на то как приложение для прода собирается за 2-4 недели, без возможности использовать фреймворки. Под go с этим вообще весьма туго, есть всего пара фреймворков
Вы сейчас описали любую профессию и процесс через который проходит любой человек который еще не обладает желаемым знанием. Инструкция вида "нажми две кнопки и все поедет' это продукт который упрощает жизнь тому кто не захотел тратить время и учится всему что лежит под капотом. За это многие готовы платить.
Даже если блогер что-то расскажет, это не будет полным и рабочим решением без вагона подводных граблей.
Материал ни о чем, рынок стагнирует. В части гарнитур все железо+- одинаковое.
Такой же ящик как и q3..
Устройства без контента не кому не нужны. Да и устройства в целом стагнируют. Пока квалком не родят новое поколение мозгов, все продолжат юзать нынешние xr процессоры, с одинаково скудными возможностями
Хочется заметить что на снапдрагонах, режимы производительности таки ограничивают количество используемых ядер и предельную частоту.
Это просто how-to для модели + исполняемые файлы которые используются в этом how to.
По сути это просто иной способ предоставить тулы.
Mcp нефига не экономят если что. Подключение кучи разных mcp, приводит к тому что в промпт добавляется инфа о всех возможностях этих mcp. Это неистово жрет контекст, а чтобы какое то динамичное подключение организовать это надо отдельно изрядно повозиться.
Вы 10 лет скриншотов хранить собрались?)) Что то мне подсказывает что не влезет
Имхо если фс не стабильна, можно потерять данные. Ради чего идти на такой риск, когда рядом есть вполне работающая ntfs..
Refs не стабильна и ее вообще не стоит использовать в данный момент
Вы ради возможности сослаться собираетесь сотни гигабайт скриншотов хранить? Не лучше ли сохранять ссылки с полезным контентом. Не говоря о том что гпт нынче сами умеют искать.
Переводчик на самом деле есть, просто как это обычно бывает, не для русского.
Мелко-мягкие просто не знают куда бы прикинуться с своими copylot+pc. Единственное полезное применение npu а этих девайсах - размытие вебки и шумодав. Racall - баловство бесполезное. Даже переводчика не завезли.
Вполне влезают, но смысла в этом маневре особо нету. Tps такой что лучше юзать проц или встройку. Да и в принципе смысла нету, локальные ллм толком ни на что не годятся
Учитывая что в проде ваше творение не появится, а стейдж по хорошему должен соответствовать проду, кажется что фокусировка на разрабах это тупик.
Рабочее решение, но важно шифровать диск/образ, чтобы данные не были читаемы между системами
Предположим что в рф эти механизмы не работают. Это можно трактовать так что можно скамить людей и за это ничего не сделают.
Даже в случае самосуда, неправы будут пострадавшие от скамера, а не сам скамер(особенно если крипту продал не он, а просто получил чужую на свой адрес)