сам же сказал что ии делает хорошие абстракции, подводит выводы. поэтому ИИ сегодня пишет для ИИ. читают агенты и дают вам выводы. по сути - способ переноса контекста между агентами пользователей.
сервера не купленные? в аренде? или как это масштабировать? для полноты картины интересно сравнить арендованные сервера с апи - насколько отличается цена? модели полные bf16 или кванты?
долго пользовался Punto Switcher. после перехода на линукс, не нашел замену. агент поставил чтото, но очень глючное. мне нужно только ручное переключение последнего слова. а эта штука сьедает первые 1-2 символа через какое то время после запуска, пока не перезапустишь. автопереключение никогда не использовал. еще удобно было выделить текст и горячей клавишей сменить раскладку. вот этих двух функций только и не зватает под линуксом
если устройств будет больше то нейронка может работать во много потоков параллельно. при этом количество потоков будет не N * 15. а может быть сильно больше. т.к. это МоЕ то одновременно считает один ПК, остальные сидят без дела. скорее всего для их узких целей чаще всего будут использоваться лишь несколько экспертов. и выгоднее этих экспертов залить на большее число устройств. если устройств в сети порядка 1000. то возможно половина будет с одним и тем же жкспертом, еще четверть с другим и тд. и можно добится того чтоб большая часть всегда будет генерировать токены, а не как сейчас: 1 генерирует, 14 ждут без дела. итого например при 1000 устройств будет практически столько же потоков отдельных агентов, роутер просто будет искать хост со свободным экспертом нужного типа. да могут быть нюансы с KV кешем, т.к. его тоже нужно будет таскать (а лучше не таскать, а использовать частично посчитанный на предыдущи итерациях - лучше чем ничего). да, медленные, но какая им разница, для них времени почти не существует...
Интересно подойдёт ли для квена для работы в несколько потоков. Каждый поток на КВ кеш съест много памяти. Может в сумме будет больше токенов. Хотя коробка позиционируется как домашняя.
есть скриншоты. знакомому отправлял. на 20$ тарифе потратил 26% тарифа и это соответствовало 51,64$ затратам. итого за мои 20$ было заложено 51,64 / 26 * 100 = 198,6$ на токены... х10... я уже думал это мне так везет. но судя по всему, да, счастье это закончится рано или поздно...
Нейрослоп будет умирать в нишах с высокой конкуренцией. Но не весь ии контент слоп. Хороший ии контент вы просто не отличите и вопрос отпадает сам собой.
но можно сначала сделать префилл на 4х в сплит, а потом декод в тензор параллель. вопрос в том что веса перед каждым этапом надо будет загружать снова… если префилл 500tps и контекст 100к то на него нужно 200сек (3,5 мин) - имеет смысл лучше подождать их загрузки.
сам же сказал что ии делает хорошие абстракции, подводит выводы.
поэтому ИИ сегодня пишет для ИИ.
читают агенты и дают вам выводы.
по сути - способ переноса контекста между агентами пользователей.
сервера не купленные? в аренде? или как это масштабировать?
для полноты картины интересно сравнить арендованные сервера с апи - насколько отличается цена?
модели полные bf16 или кванты?
долго пользовался Punto Switcher. после перехода на линукс, не нашел замену. агент поставил чтото, но очень глючное. мне нужно только ручное переключение последнего слова. а эта штука сьедает первые 1-2 символа через какое то время после запуска, пока не перезапустишь.
автопереключение никогда не использовал. еще удобно было выделить текст и горячей клавишей сменить раскладку. вот этих двух функций только и не зватает под линуксом
если устройств будет больше то нейронка может работать во много потоков параллельно. при этом количество потоков будет не N * 15. а может быть сильно больше.
т.к. это МоЕ то одновременно считает один ПК, остальные сидят без дела. скорее всего для их узких целей чаще всего будут использоваться лишь несколько экспертов. и выгоднее этих экспертов залить на большее число устройств. если устройств в сети порядка 1000. то возможно половина будет с одним и тем же жкспертом, еще четверть с другим и тд. и можно добится того чтоб большая часть всегда будет генерировать токены, а не как сейчас: 1 генерирует, 14 ждут без дела.
итого например при 1000 устройств будет практически столько же потоков отдельных агентов, роутер просто будет искать хост со свободным экспертом нужного типа. да могут быть нюансы с KV кешем, т.к. его тоже нужно будет таскать (а лучше не таскать, а использовать частично посчитанный на предыдущи итерациях - лучше чем ничего).
да, медленные, но какая им разница, для них времени почти не существует...
А ещё при печати можно сделать небольшое заполнение. Деталь будет толстой и прочной при небольшом расходе пластика
Интересно подойдёт ли для квена для работы в несколько потоков. Каждый поток на КВ кеш съест много памяти. Может в сумме будет больше токенов. Хотя коробка позиционируется как домашняя.
В начале продаж за первую версию просили 4000
При миллионе надо было сетку мельче делать. И квадратами а не гекс
За 10 ещё хорошо бы было. Сейчас цены ближе к 20 уже.
Только цена на них сейчас уже ближе к 15 и растёт. Тоже есть такие...
Почему то квен дорогие
друг спрашивает. сколько надо примерно потратить денег чтобы дообучить её до состояния обычных чат моделей с tool call, structured output и тд?
LLM тоже делают, например через код в openscad, или astra в блендере сам смотрит и работает.
есть скриншоты. знакомому отправлял.
на 20$ тарифе потратил 26% тарифа и это соответствовало 51,64$ затратам.
итого за мои 20$ было заложено 51,64 / 26 * 100 = 198,6$ на токены...
х10... я уже думал это мне так везет.
но судя по всему, да, счастье это закончится рано или поздно...
Только 2 3090 сейчас стоят 240 тыс. Несколько месяцев назад когда стоили в 2 раза меньше то да.
Нейрослоп будет умирать в нишах с высокой конкуренцией. Но не весь ии контент слоп. Хороший ии контент вы просто не отличите и вопрос отпадает сам собой.
В реальной жизни в обычных веб-сервисах и сайтах у вас по факту всё будет в БД упираться. На каком бы языке вы не писали.
но можно сначала сделать префилл на 4х в сплит, а потом декод в тензор параллель. вопрос в том что веса перед каждым этапом надо будет загружать снова… если префилл 500tps и контекст 100к то на него нужно 200сек (3,5 мин) - имеет смысл лучше подождать их загрузки.
разблокировку ограничений видели уже?
Довольно удобно подбор параметров агентам поручать.