Qwen3.5 на двух V100, reverse SSH вместо Cloudflare в Telegram Mini App: собираю AI-репетитора английского

[namor1985]

Спасибо за информативную статью! Интересует, насколько сейчас актуальны V100 именно для задач инференса новых LLM и, в особенности, для обучения. К примеру, есть задача дообучения нейросетки семейства Qwen (13B) на нишевых данных. Потянут ли две V100, соединенные NVLink, эту задачу? Стоит ли сейчас их приобретать, или лучше смотреть в сторону чего-то более нового?

[rikert]

Модель Qwen3.5 вышла 25 февраля , я её гоняю всего несколько недель, продукт сырой.

Смеяться или плакать. Дальше автора не читал.

[Linomig]

Кажется виспер не лучший вариант для диктовки английского. Как минимум кривое произношение или сильный акцент модель распознать не сможет.

Может быть автору как-то получится запустить новую gemma 4 12b с ее нативным, встроенным в саму модель анализом речи, звуков. В теории это даст большее качество анализа речи, так как можель нарямую работает со звуком.

Ну и для синтеза речи попробовать хороший, хоть и дорогой tts. С крутым произношением и акцентами. Что-то типа qwen3 0.6/2b tts. В теории хорошо говорит на английском и неплохо на русском.

В общем, наверное если гнаться за финальным результатом(обучением английскому), то качество stt/tts может оказаться важнее скорости.