Интересно подойдёт ли для квена для работы в несколько потоков. Каждый поток на КВ кеш съест много памяти. Может в сумме будет больше токенов. Хотя коробка позиционируется как домашняя.
есть скриншоты. знакомому отправлял. на 20$ тарифе потратил 26% тарифа и это соответствовало 51,64$ затратам. итого за мои 20$ было заложено 51,64 / 26 * 100 = 198,6$ на токены... х10... я уже думал это мне так везет. но судя по всему, да, счастье это закончится рано или поздно...
Нейрослоп будет умирать в нишах с высокой конкуренцией. Но не весь ии контент слоп. Хороший ии контент вы просто не отличите и вопрос отпадает сам собой.
но можно сначала сделать префилл на 4х в сплит, а потом декод в тензор параллель. вопрос в том что веса перед каждым этапом надо будет загружать снова… если префилл 500tps и контекст 100к то на него нужно 200сек (3,5 мин) - имеет смысл лучше подождать их загрузки.
Немного не по теме. А через что сейчас модно ключи для апи передавать чтобы они не попали в контекст?
А по теме. Не очень большой опыт в продакшен таких агентов, но мне кажется оптимизация это создать харнесс, и дать такие инструменты и описать задачу так чтобы работу могла выполнять достаточно дешёвая модель. Они к тому же и быстрее. Вплоть до того что описать частые проблемы и дать готовые скрипты (tool или sh) для их обработки. Если задачи единичные и уникальные тогда конечно можно так же брать самую дорогую модель и ни о чем не думать.
А так в целом по статье мсп выглядит лишней прослойкой которую нужно поддерживать
Благодарю, скопировал ответ и пообщался с нейронкой, более менее понял. как я понял часто используют динамическую глубину предсказания MTP токенов (в з-ти от того как малая модель хорошо предсказывает). И еще придумали что можно было бы делать не просто 2 модели, а больше уровней (3-4), и предсказывать какой модели лучше передать генерацию, а более старшая за ней проверяет.
так очевидный текст будет вылетать мгновенно, а на более сложных участка модель будет естественным образом “призадумываться” сильнее (медленнее генерировать).
А ещё при печати можно сделать небольшое заполнение. Деталь будет толстой и прочной при небольшом расходе пластика
Интересно подойдёт ли для квена для работы в несколько потоков. Каждый поток на КВ кеш съест много памяти. Может в сумме будет больше токенов. Хотя коробка позиционируется как домашняя.
В начале продаж за первую версию просили 4000
При миллионе надо было сетку мельче делать. И квадратами а не гекс
За 10 ещё хорошо бы было. Сейчас цены ближе к 20 уже.
Только цена на них сейчас уже ближе к 15 и растёт. Тоже есть такие...
Почему то квен дорогие
друг спрашивает. сколько надо примерно потратить денег чтобы дообучить её до состояния обычных чат моделей с tool call, structured output и тд?
LLM тоже делают, например через код в openscad, или astra в блендере сам смотрит и работает.
есть скриншоты. знакомому отправлял.
на 20$ тарифе потратил 26% тарифа и это соответствовало 51,64$ затратам.
итого за мои 20$ было заложено 51,64 / 26 * 100 = 198,6$ на токены...
х10... я уже думал это мне так везет.
но судя по всему, да, счастье это закончится рано или поздно...
Только 2 3090 сейчас стоят 240 тыс. Несколько месяцев назад когда стоили в 2 раза меньше то да.
Нейрослоп будет умирать в нишах с высокой конкуренцией. Но не весь ии контент слоп. Хороший ии контент вы просто не отличите и вопрос отпадает сам собой.
В реальной жизни в обычных веб-сервисах и сайтах у вас по факту всё будет в БД упираться. На каком бы языке вы не писали.
но можно сначала сделать префилл на 4х в сплит, а потом декод в тензор параллель. вопрос в том что веса перед каждым этапом надо будет загружать снова… если префилл 500tps и контекст 100к то на него нужно 200сек (3,5 мин) - имеет смысл лучше подождать их загрузки.
разблокировку ограничений видели уже?
Довольно удобно подбор параметров агентам поручать.
Немного не по теме. А через что сейчас модно ключи для апи передавать чтобы они не попали в контекст?
А по теме. Не очень большой опыт в продакшен таких агентов, но мне кажется оптимизация это создать харнесс, и дать такие инструменты и описать задачу так чтобы работу могла выполнять достаточно дешёвая модель. Они к тому же и быстрее. Вплоть до того что описать частые проблемы и дать готовые скрипты (tool или sh) для их обработки. Если задачи единичные и уникальные тогда конечно можно так же брать самую дорогую модель и ни о чем не думать.
А так в целом по статье мсп выглядит лишней прослойкой которую нужно поддерживать
правильнее наверное сказать: берут риски сами на водителя…
Благодарю, скопировал ответ и пообщался с нейронкой, более менее понял. как я понял часто используют динамическую глубину предсказания MTP токенов (в з-ти от того как малая модель хорошо предсказывает). И еще придумали что можно было бы делать не просто 2 модели, а больше уровней (3-4), и предсказывать какой модели лучше передать генерацию, а более старшая за ней проверяет.
так очевидный текст будет вылетать мгновенно, а на более сложных участка модель будет естественным образом “призадумываться” сильнее (медленнее генерировать).
Только этот запрет в рамках одной страны работает исключительно против этой страны. Не более.