Как мы запустили Qwen3.8–27B целиком на RTX 5060 8 GB и получили ~30 токенов/с

Если не критично и нет желания танцевать с бубном, лучше подождать новые карты, а с ними новые модели.

У меня 4060 ti на 16 гб, хватает на qwen 3.8 iq3 xxs (ud 3.0 + mtp, без квантизации kv + вижн на cpu) с 80к контекста и генерация картинок с qwen image 2.1 в районе 1 минуты на 1.5 мегапикселя.

Квант в качестве агента если сравнивать с q6-q8 глуповат, но его более чем хватает разбирать код, пояснять его и писать не сложные фичи в контексте проекта (огромный плюс, в отличии от чат ботов). Да, с любой фронтир моделью не сравниться, но если сравнивать с бесплатными, немного уступает cline моделям, которые я там видел в течении года (для массового пользователя скорее всего кванты, тех же дипсиков, но суть как раз в делегировании задач и справляются они все +- на одном уровне). Использую в работе как собственного джуна, которому можно делегировать скучные задачи на перекуре :D

Для новых моделей генерации изображений vram требуется больше, новые энкодеры это по сути qwen-ы, которые тоже нужно запускать параллельно с моделью изображений... Я сейчас использую qwen 2.1, который 7b, работает более чем хорошо, для моих запросов (переводить рисунки от руки в цифру, арты, различную рыбу для проектов и т.п). Модели sdxl/anima/illustrious/z image turbo так же работают весьма быстро в большом размере (от 1 мп).

Effect для TypeScript разработчиков

Понял, спасибо за ответ

Effect для TypeScript разработчиков

Промисы вполне спокойно типизируются..

У меня связка react query + axios, это чудо выглядит так:

// Прим. api.ts
export const fetchAllUser = async (): Promise<AxiosResponse<UserType[]>> => {
  return await axiosInstance.get(`/user`)
}

// Прим. UserList.tsx
const UserList = () => {
  const { data, isFetched, isError } = useQuery({ queryKey: ['users'], queryFn: fetchAllUser })

  if (isError) return <p>Упс..</p>
  if (!isFetched) return <p>Загрузка..</p>

  return (
    <div>
      {data?.data?.map((value) => <User key={value.id} value={value} />)}
    </div>
  )
}

(Код специально упрощён)

Какой профит я смогу получить, использовав Effect в данном случае и есть ли в этом смысл? (Доку ещё не открывал, думал статья даст больше ответов и информации для размышления..)