Комментарии 9
Я не специалист но увлекаюсь
тестирую локально модели через LM Studio на 4090 и на macbook m2 ultra 64gb
У меня есть список каверзных вопросов которые в основном понимает лишь человек - они простые но ИИ обычные модели всегда спотыкаются о них
За пол года было протестировано порядка 80 моделей
Самые рабочии это модели от Алибабы и DeepSeek
но и они проваливали 2-3 теста из 10
По итогу могу сказать что лучшая модель на логику и разговор сейчас это Gemma3 она не ошиблась не в одном вопросе но код пишет не очень хорошо - с кодом лучше справляется DeepSeek R1
Использутся обычно модели на 48b ( gemma3- 27b q4-q6 )
С точки зрения человека далекого от ИИ но очень увлекающегося могу сказать что вот эту модель gemma3 уже можно использовать в локальных работах без доступа к интернету
С кодом лучше всего работают Claude и натренированные на определенные языки Coder модели. А вот gemma модели лучше всего показывают себя в части "естественного" языка, например для переводов я использовал gemma2, только сейчас временно перешел на Phi4 из-за проблем с пониманием сложного промта и размера контекста (там был 8K только, а мне надо до 32K). Пока Gemma3 еще не очень стабильна (иногда уходит в зацикливание и начинает повторять текст непрерывно), но это было и с другими моделями семейства в начале и думаю поправят в ближайшее время.
Claude - у вас есть локальные модели Claude ? речь о локальных моделях
Код пишу через Cursor с выбраной моделью Claude конечно же так как она лучшая для разработки
Claude как я помню локально нет, но из хороших попробуйте https://ollama.com/library/qwen2.5-coder
он по тестам сравним местами с claude 3.5
лучшая модель на логику и разговор сейчас это Gemma3
Тут неплохо бы уточнить, на каком языке.
У модели в описании написано, что она умеет понимать изображения, но как то она игнорирует загруженные картинки.
Gemma3, новая опенсорсная модель от Google, уже доступна в Ollama