Контекст у обоих моделей одинаковый, просто видимо OSS следит за контекстом лучше, поэтому результаты получились лучше. Мы порубили контекст на куски. И дальше планируем если будет расти - сжимать информацию, а так же еще больше рубить на куски без потери качества, например генерить куски концепции на части по блокам...
1 - эмм, вайбкодинг вроде бы это не про то, что ты кодишь на нейронке, которая стоит на твоей видеокарте на твоем компе, а когда ты болтаешь с нейронкой и она кодит...
2 - Она запускается вероятно на любом +- современном железе, а поддержки конечно не будет никакой, это ж не для продакшн работы, а для домашнего комбайна. А для продакшн, это как у меня на работе кластера Nvidia H200, но пока многомиллионов для этого у меня нет :))
3 - Время на CPU плавает, поэтому у меня то 80 минут то 2 часа. Из последнего что меня уже выбесило, это было 2 часа, поэтому написал в этапе 3...
Есть 2 формфактора SXM2 и PCIe первая 7 тыс на али, ну плюс переходник и водянка, как раз 15 а вторая под 100 тыс стоит, но за 100 уже лучше взять Tesla T4 по производительности будет +- тоже самое, зато электричества будет кушать в пике 70 вт.
С количеством чутка обсчитался, ну да ладно... в общем дохрена реально встреч, только моих 3-4 в день, еще аналитики и менеджер...
По затратам железяки + LLM которая делает протоколы собственно из встреч. Я использую CLaude haiku 4.5 - она дешевенькая через Api, 5$ пока не кончились.
Нет, у меня собственно щас вот на этом работает.
Driver Version: 525.60.11 CUDA Version: 12.0 тоже на windows 11 Но на драйверах с сайта NVIDIA не работало, пока не поставил вот эти:https://docs.cloud.google.com/compute/docs/gpus/grid-drivers-tableКонтекст у обоих моделей одинаковый, просто видимо OSS следит за контекстом лучше, поэтому результаты получились лучше.
Мы порубили контекст на куски. И дальше планируем если будет расти - сжимать информацию, а так же еще больше рубить на куски без потери качества, например генерить куски концепции на части по блокам...
О 5060ti Думаю, что видимо скоро они будут в дифеците, так как с памятью беда на рынке.. первая ластгчка уже пощла...
1 - эмм, вайбкодинг вроде бы это не про то, что ты кодишь на нейронке, которая стоит на твоей видеокарте на твоем компе, а когда ты болтаешь с нейронкой и она кодит...
2 - Она запускается вероятно на любом +- современном железе, а поддержки конечно не будет никакой, это ж не для продакшн работы, а для домашнего комбайна. А для продакшн, это как у меня на работе кластера Nvidia H200, но пока многомиллионов для этого у меня нет :))
3 - Время на CPU плавает, поэтому у меня то 80 минут то 2 часа. Из последнего что меня уже выбесило, это было 2 часа, поэтому написал в этапе 3...
Есть 2 формфактора SXM2 и PCIe первая 7 тыс на али, ну плюс переходник и водянка, как раз 15 а вторая под 100 тыс стоит, но за 100 уже лучше взять Tesla T4 по производительности будет +- тоже самое, зато электричества будет кушать в пике 70 вт.
Видимо как раз через IDEшку и используют Claude, не скажем Codex через CLI
Принципе да, собрать щас такую шарманку, за пару дней можно вполне если не заморачиваться на ui и есть железяки...
С количеством чутка обсчитался, ну да ладно... в общем дохрена реально встреч, только моих 3-4 в день, еще аналитики и менеджер...
По затратам железяки + LLM которая делает протоколы собственно из встреч. Я использую CLaude haiku 4.5 - она дешевенькая через Api, 5$ пока не кончились.
300 вт на саму видеокарту в пике, ну и + все остальное, в простое кушает 30 вт.