Lead AI Engineer @ Agentic Lab
и зачем я только С++ начал изучать. вон до него уже и питон докрутили
Для gemma 4 12B есть Q4 прям от гугла, в принципе должно залезть на 8G VRAM. На FP8 16G+, на полные BF16 надо где-то 32G
видел новости про TabFM, и все руки не доходили попробовать. но после такой статьи уже не понадобится, спасибо большое за разбор
Converting Russian Prose into Poetry: The Impact of Rhyme and Stress Markup (NEUROINFORMATICS 2025, Springer): https://doi.org/10.1007/978-3-032-07690-8_25
и зачем я только С++ начал изучать. вон до него уже и питон докрутили
Для gemma 4 12B есть Q4 прям от гугла, в принципе должно залезть на 8G VRAM. На FP8 16G+, на полные BF16 надо где-то 32G
видел новости про TabFM, и все руки не доходили попробовать. но после такой статьи уже не понадобится, спасибо большое за разбор
Converting Russian Prose into Poetry: The Impact of Rhyme and Stress Markup (NEUROINFORMATICS 2025, Springer): https://doi.org/10.1007/978-3-032-07690-8_25