Есть ещё Seeed Studio XIAO ESP32-S3 Sense, все преимущества S3, кроме количества пинов, + встроенный контроллер заряда (самый простейший) может работать напрямую от аккумулятора и сверхмалый размер.
Если модель поддерживает контекст 1М то это не означает что она может эффективно работать со всем этим контекстом. Для моделей заявляющих 256к деградацию наблюдают уже от 32к-100к, для 1М уже от 100к-200к. Так что если брать окно эффективности, то 20к это 10-20%.
Жду того момента когда уже сделают модель которая вообще не будет иметь энциклопедических знаний сама по себе (только общие поверхностные знания) но будет рассуждать максимально хорошо и уметь запрашивать знания из внешних подключаемых источников.
...а если не знает и не может получить по запросу будет говорить "не имею соответствующих баз знаний" а не придумывать дичь
Обрезку словаря пробовали? В теории если оставить только пятерку основных языков и потом дообучать на русском то должно получиться лучше для ру бенча. Но это из тыканья пальцем в небо, в этих условиях наверное больше навредит, просто смотрю эту тему сейчас.
Возможно сработает подмешивание исходных данных на которых модель обучалась(или схожих) к вашим чтобы уменьшить размытие.
Я конечно понимаю что это MVP, но в текущее время для хоть какой-то гарантии стабильной работы серверов "вне" должно быть несколько, туннелей к этим серверам должно быть несколько с разными протоколами, хотя бы один из этих серверов должен быть в "дружественной" стране ... настроить маршрутизацию между этим всем и не сойти с ума.
Обработанный влагозащитой картон весить будет примерно также.
Доступность меньше, но сравнимая, в случае полного коллапса - можно разобрать теплицы.
Также режется канцелярским ножом.
Зато шанс размокнуть у поликарбоната нулевой, а картон будет набирать вес и терять прочность просто находясь во влажном воздухе. Можно взять даже прозрачный для визуальной маскировки.
Я пытаюсь сделать что-то похожее, сейчас дорабатываю ( и перерабатываю и переписываю ...) базу на которой будет построено. И до сих пор не до конца представляю во что это выльется в итоге, комбайн из всего.
Ответы на вопросы:
И для себя и для агента, если получится, на последнем этапе предполагается хранение информации в максимально раздробленном виде и отдельные представления (сборка в читаемый вид) для агента и для себя.
-
Если монетизация когда-нибудь и будет то точно не в том виде в котором продукт создаётся, или только отдельные части или доработка для бизнеса.
Попробовал лития оротат 5мг через день, чисто субъективно - получше стало. Номинально это бад, по действию - должен просто слегка приглушать нейронный шум. Естественно лучше сначала проконсультируйтесь с врачом.
Я заметил такое чаще случается из-за использования квантизации (которая часто используется в моделях на openrouter для экономии). Квантизация распространяется и на все слои и из-за этого появляются артефакты. Есть довольно простые способы уменьшить/избежать этого эффекта если использовать выборочную квантизацию без затрагивания важных слоев, такое используется в unsloth
Лучше в чём?
Она будет быстрее - да, она будет без цензуры, но на этом всё. Код писать эта модель будет хуже чем оригинальная.
Тем более на 96gb vram проще несколько моделей сразу загрузить
Не уверен что на windows версии есть такие параметры, но на linux я добавляю в llama.cpp сервер ещё
–no-mmap --fit offЕсть ещё Seeed Studio XIAO ESP32-S3 Sense, все преимущества S3, кроме количества пинов, + встроенный контроллер заряда (самый простейший) может работать напрямую от аккумулятора и сверхмалый размер.
Если модель поддерживает контекст 1М то это не означает что она может эффективно работать со всем этим контекстом. Для моделей заявляющих 256к деградацию наблюдают уже от 32к-100к, для 1М уже от 100к-200к. Так что если брать окно эффективности, то 20к это 10-20%.
Жду того момента когда уже сделают модель которая вообще не будет иметь энциклопедических знаний сама по себе (только общие поверхностные знания) но будет рассуждать максимально хорошо и уметь запрашивать знания из внешних подключаемых источников.
...а если не знает и не может получить по запросу будет говорить "не имею соответствующих баз знаний" а не придумывать дичь
Gemini затачивается в том числе под поиск и в этом 3.5 вполне хороша, если предоставить ей возможность гуглить то и результат скорее всего будет иной.
На openrouter в данный момент показывает 32tps
Обрезку словаря пробовали? В теории если оставить только пятерку основных языков и потом дообучать на русском то должно получиться лучше для ру бенча. Но это из тыканья пальцем в небо, в этих условиях наверное больше навредит, просто смотрю эту тему сейчас.
Возможно сработает подмешивание исходных данных на которых модель обучалась(или схожих) к вашим чтобы уменьшить размытие.
Я конечно понимаю что это MVP, но в текущее время для хоть какой-то гарантии стабильной работы серверов "вне" должно быть несколько, туннелей к этим серверам должно быть несколько с разными протоколами, хотя бы один из этих серверов должен быть в "дружественной" стране ... настроить маршрутизацию между этим всем и не сойти с ума.
Я так понимаю новшество не в моделях(не совсем в моделях), а в алгоритме. Интересно когда добавят в llama.cpp. Хотя это чем-то похоже на MTP
Это можно сказать было самое простое. Что на счёт СОРМ-3?
создан чтобы умирать
Почему картон, а не ячеистый поликарбонат?
Структура похожа, жесткость сравнимая.
Обработанный влагозащитой картон весить будет примерно также.
Доступность меньше, но сравнимая, в случае полного коллапса - можно разобрать теплицы.
Также режется канцелярским ножом.
Зато шанс размокнуть у поликарбоната нулевой, а картон будет набирать вес и терять прочность просто находясь во влажном воздухе. Можно взять даже прозрачный для визуальной маскировки.
...но вообще конечно пеноплекс и скотч
Я пытаюсь сделать что-то похожее, сейчас дорабатываю ( и перерабатываю и переписываю ...) базу на которой будет построено. И до сих пор не до конца представляю во что это выльется в итоге, комбайн из всего.
Ответы на вопросы:
И для себя и для агента, если получится, на последнем этапе предполагается хранение информации в максимально раздробленном виде и отдельные представления (сборка в читаемый вид) для агента и для себя.
-
Если монетизация когда-нибудь и будет то точно не в том виде в котором продукт создаётся, или только отдельные части или доработка для бизнеса.
Попробовал лития оротат 5мг через день, чисто субъективно - получше стало. Номинально это бад, по действию - должен просто слегка приглушать нейронный шум. Естественно лучше сначала проконсультируйтесь с врачом.
Попробовал сейчас VibeVoice-ASR и он показался мне отличным даже с Q4, пунктуация есть, разпознал даже моё аудио на котором whisper был не точен.
https://github.com/voicekit-team/T-one
https://huggingface.co/t-tech/T-one
https://habr.com/ru/companies/tbank/articles/929850/
А чего T-one не включили в сравнение?
Я заметил такое чаще случается из-за использования квантизации (которая часто используется в моделях на openrouter для экономии). Квантизация распространяется и на все слои и из-за этого появляются артефакты. Есть довольно простые способы уменьшить/избежать этого эффекта если использовать выборочную квантизацию без затрагивания важных слоев, такое используется в unsloth
Есть внешние устройства для этого, хотя возможностей и поменьше, KVM over IP вроде общее обозначение