Упор идет в память. На 2080ti qwen3.6-35b грузит cuda-ядра на 60-70%, при этом дает 70т/с. У 5070ti пропускная способность примерно на 30% выше (память быстрее, но шина более узкая). Поэтому я так оцениваю. Gpu быстрее, но при генерации он простаивает из-за того что память не успевает подгружать новые данные. Вот prefill может быть значительно быстрее, поскольку он обрабатывает токены пачками.
По скорости (это моя оценка, исходя из пропускной скорости памяти и бенчмарков) 5070 ti будет 30-50% быстрее чем 2080 ti. Просто на 22гб врам уже реально запустить кванты хороших локальных ллм типа qwen3.6 или gemma4, а на 16гб не получится (можно попробовать moe с выгрузкой экспертов в ram, но это все равно будет сильно медленнее). В общем то решать вам, я просто подсветил, что есть такой вариант на рынке и можно его рассмотреть.
Вспомнил старый анекдот про человека будущего, у которого будут очень маленькие руки, потому что ему не надо будет работать руками, очень маленькие ноги, потому что ему не надо будет ходить, очень маленький рот, потому что он будет питаться специальными капсулами, которые будут содержать все необходимое для жизни, и огромный мозг, которым он будет все время думать... Думать, как добыть эти самые капсулы ))
Я после выхода qwen 3.6 пересел на них. Сетап 2080 ti 22gb + 3060 12gb. Llama.cpp в режиме тензорного параллелизма с mtp дает в районе 30 т/с для 27b модели. Квант больше всего понравился IQ4_NL. Иногда даю задачу и думаю, "вот с этим точно не справится", потом смотрю - справилась. Некоторые задачи требуют скиллов, например, то что касается ui, прошу написать скилл у большой модели через чат, потом добавляю скилл в проект и модель хорошо по нему отрабатывает. В целом, такое ощущение что работаешь с опытным full-stack разработчиком, который знает все концепции, но в силу очень широкой предметной области не помнит все тонкости в деталях, надо ингода докидывать специфические детали или предложить поискать в документации.
Browser API вообще вещь недооцененная. Там есть все, от доступа к com-порту до 3d графики и gpu-вычислениям. И это все кросс-платформенное из коробки. Т.е. теоретически можно например сделать панель управления каким-нибудь чпу-станком с отображением в реальном времени всех актуаторов и это все завернуть в HTML, который будет работать под любую платформу, где можно запустить современные браузеры.
С одной стороны - да, с другой - часто пользователь сам не знает, что ему надо и, что важнее, как ему это надо. Это ж думать надо, вникать. Вы когда-нибудь видели хорошее ТЗ от заказчика, по которому взял и сделал?
Вот именно, почему нет? Почему "Безумное ничто" не может считать, что обладает сознанием? И в своем безумии искать следы сознания у своих галюцинаций. Я про это и говорю.
Золотые слова. В идеале магия должна съежится до размеров электрона, который дергает транзистор в процессоре. А все что выше должно быть понимаемо и объяснимо. Хотя бы на уровне концепций.
OpenAI сами поверили в свою телегу про масштабирование, а инвесторы им дали денег проверить гипотезу. Китайцы в условиях ограниченных ресурсов выдают гораздо более эффективные решения.
Если речь про меня - то для меня - это не гипотеза, это факт, а вот для тебя существование моего сознания - это непроверяемая гипотеза, я могу быть например, твоей галлюцинацией (или ты - моей). Понятно объяснил?
Не понятно, как сетевое подключение в таких сборках реализовано. Через USB?
Упор идет в память. На 2080ti qwen3.6-35b грузит cuda-ядра на 60-70%, при этом дает 70т/с. У 5070ti пропускная способность примерно на 30% выше (память быстрее, но шина более узкая). Поэтому я так оцениваю. Gpu быстрее, но при генерации он простаивает из-за того что память не успевает подгружать новые данные. Вот prefill может быть значительно быстрее, поскольку он обрабатывает токены пачками.
По скорости (это моя оценка, исходя из пропускной скорости памяти и бенчмарков) 5070 ti будет 30-50% быстрее чем 2080 ti. Просто на 22гб врам уже реально запустить кванты хороших локальных ллм типа qwen3.6 или gemma4, а на 16гб не получится (можно попробовать moe с выгрузкой экспертов в ram, но это все равно будет сильно медленнее). В общем то решать вам, я просто подсветил, что есть такой вариант на рынке и можно его рассмотреть.
Если скорость важнее объёма vram, то 5070 ti будет конечно быстрее. Просто на 16 гб быстро станет тесно.
Вспомнил старый анекдот про человека будущего, у которого будут очень маленькие руки, потому что ему не надо будет работать руками, очень маленькие ноги, потому что ему не надо будет ходить, очень маленький рот, потому что он будет питаться специальными капсулами, которые будут содержать все необходимое для жизни, и огромный мозг, которым он будет все время думать... Думать, как добыть эти самые капсулы ))
Поищи 2080 ti с 22gb vram, их можно найти за 35-40т.р.
Я после выхода qwen 3.6 пересел на них. Сетап 2080 ti 22gb + 3060 12gb. Llama.cpp в режиме тензорного параллелизма с mtp дает в районе 30 т/с для 27b модели. Квант больше всего понравился IQ4_NL. Иногда даю задачу и думаю, "вот с этим точно не справится", потом смотрю - справилась. Некоторые задачи требуют скиллов, например, то что касается ui, прошу написать скилл у большой модели через чат, потом добавляю скилл в проект и модель хорошо по нему отрабатывает. В целом, такое ощущение что работаешь с опытным full-stack разработчиком, который знает все концепции, но в силу очень широкой предметной области не помнит все тонкости в деталях, надо ингода докидывать специфические детали или предложить поискать в документации.
Browser API вообще вещь недооцененная. Там есть все, от доступа к com-порту до 3d графики и gpu-вычислениям. И это все кросс-платформенное из коробки. Т.е. теоретически можно например сделать панель управления каким-нибудь чпу-станком с отображением в реальном времени всех актуаторов и это все завернуть в HTML, который будет работать под любую платформу, где можно запустить современные браузеры.
Нас **ут, а мы крепчаем.
Может быть им качество результата не понравилось. Или вы таргетировали на пользователей, которые ищут одноразовое решение.
Только не указали, какая зависимость ))
Я тоже видел. Когда сам писал. Потом меня схантил подрядчик и я сам по этому ТЗ работал ))
С одной стороны - да, с другой - часто пользователь сам не знает, что ему надо и, что важнее, как ему это надо. Это ж думать надо, вникать. Вы когда-нибудь видели хорошее ТЗ от заказчика, по которому взял и сделал?
Каталог недоступен. Хбраэффект?
Забыли добавить?
Вот именно, почему нет? Почему "Безумное ничто" не может считать, что обладает сознанием? И в своем безумии искать следы сознания у своих галюцинаций.
Я про это и говорю.
Золотые слова. В идеале магия должна съежится до размеров электрона, который дергает транзистор в процессоре. А все что выше должно быть понимаемо и объяснимо. Хотя бы на уровне концепций.
OpenAI сами поверили в свою телегу про масштабирование, а инвесторы им дали денег проверить гипотезу. Китайцы в условиях ограниченных ресурсов выдают гораздо более эффективные решения.
Да. Но на выходе какая-то ерунда получается )))
Если речь про меня - то для меня - это не гипотеза, это факт, а вот для тебя существование моего сознания - это непроверяемая гипотеза, я могу быть например, твоей галлюцинацией (или ты - моей). Понятно объяснил?