конечно имеет, она легко справляется с этой задачей, я щас еще прикручиваю автоматом транскрибатор через Giga AM, сервис fast api на компе разверну, он просто мега шустро транскрибит, там правда надо использовать PyAnnote VAD чтобы не терять слова на склейках записи, но уже протестил, работает. и все, будет автоматом по любой ссылке с ютуба или по локальному файлу транскрибить и отбирать моменты и монтажить с субтитрами.
Один чел на Ютубе закодил ИИ для ботов в CS, но он прям долго вымучивал архитектуру, то есть он им размечал точки на карте, учил нормально бегать, учил обращать внимание на бомбу, короче прям это не простая вообще история с тактикой в CS. По итогу вроде как работает, но опять же с затупами местами.
И какая скорость в итоге и на каких моделях ?
Так и есть, хороший вариант 👍
На ней работает все, но надо найти не ужаренную. Я видел на них облака даже дают в аренду.
Мож из-за шины? 352 бит против 192
На Винде ?
Надо будет потестить 👍
конечно имеет, она легко справляется с этой задачей, я щас еще прикручиваю автоматом транскрибатор через Giga AM, сервис fast api на компе разверну, он просто мега шустро транскрибит, там правда надо использовать PyAnnote VAD чтобы не терять слова на склейках записи, но уже протестил, работает. и все, будет автоматом по любой ссылке с ютуба или по локальному файлу транскрибить и отбирать моменты и монтажить с субтитрами.
Но это супер примитивный RAG, то есть по нормальному то там должен быть и фьюжн и реранкер и ocr. А ollama на проде будет тормозной, лучше vllm.
Ждём Kimi k3)
Да, там чё то в 4-5 раз дешевле, я в шоке был когда узнал что можно токены так левачить.
Один чел на Ютубе закодил ИИ для ботов в CS, но он прям долго вымучивал архитектуру, то есть он им размечал точки на карте, учил нормально бегать, учил обращать внимание на бомбу, короче прям это не простая вообще история с тактикой в CS. По итогу вроде как работает, но опять же с затупами местами.
Китайцы уже на пятки наступают и шустро нагонят. Я уже молчу про черный рынок токенов, это вообще один большой прикол.