Как стать автором
Обновить

Битвы языковых моделей: сравниваем LLM Т-Банка с конкурентами в рабочих условиях

Уровень сложностиСредний
Время на прочтение25 мин
Количество просмотров7.3K
Всего голосов 13: ↑11 и ↓2+12
Комментарии8

Комментарии 8

Какой смысл в этих"скриптах"? Мне gemini переименовал таблички в БД в 65к токенах корректно.(а там были классы с одинаковыми названиями)

А t-lite хотя бы с gpt4o-mini сравнивать.

Что такое звёздочки? Число выполненных задач или ваше "ощущение".

Ценик очень полезно знать.

Ну и вообще, ощущение что статья этим gpt и писалась - лишь бы воды добавить в пространственных мыслях рассуждений.

Какой смысл в этих"скриптах"?

Чтобы примерно понимать насколько применимо вообще в приближенных к повседневным задачам нейронки. Мы не знали что конкретно Ravlus использует нейронки для Баз Данных, и не могли предвидеть будущее, чтобы написать статью специально для него.

Что такое звёздочки? Число выполненных задач или ваше "ощущение".

Второе.

Ценик очень полезно знать.

Ценник чего?

На мой взгляд довольно нерелевантное сравнение, т.к. а) эти модели тренировались на qwen и резонно было бы сравнивать с сопоставимыми qwen моделями, а не с монстрами llm мира.

И б) основная особенность тренировок от т-команды - это именно адаптация к русскому языку, и как будто логично сравнивать модели на русскоязычных диалоговых и ассистирующих тестах, а не на кодинге, где все преимущества тренировки сходят на нет, и сравнение идёт по сути с голой qwen.

Справедливые замечания, но в конечном итоге сравнивать всё равно будут с тем что наиболее популярно на рынке. И потенциальных пользователей будет волновать итог, а не то как и почему к нему пришли.

Вы точно понимаете что такое контекстное окно? Модели qwen семейства могут генерировать последовательности в 8к токенов а вот контекстное окно у моделей т-банка на месте все 32к и есть поход скейлинга до 128к как и в официальной документации qwen

Спасибо что заметили, заменили на -

Обе модели сохраняют полное контекстное окно в 32k токенов, унаследованное от базовой модели Qwen 2.5, с возможностью масштабирования до 128k. Команда сохранила оригинальный токенизатор Qwen 2.5, что означает сохранение его плотности токенизации, хотя и оставляет возможность для самостоятельной адаптации пользователями.

Т-модели, в отличии от всех "порезанных" других моделей, хотя бы пишут связанные русские тексты в ответах. Тогда как стоит локально и "упрощено" запустить хоть deepseek, хоть ещё кого-то, результаты выносят мозг.

Просто запустите ту же lmstudio, загрузите модели под свой размерчик ОЗУ, и спросите "кто первый полетел на луну? Был ли этот полет опасным?" - тут вроде и фактов немного, но ответ читать тяжело.

Другое дело, что коллеги из Т, выпустив модель в люди, как-то пропали, и обновлений их работы не видно - в то время как конкуренты не дремлют. Т.е., в теории, сегодня картина как я выше описал, а завтра DS q4 окажется более читаемым...

Соглашусь, в плане понимания контекста и полезности модели от Т-Банка порадовали. В особенности на русском, но и на английском тоже. LLaMA маленькие, что базовые, что дообученные себя на моём опыте показывали хуже, лучше была ситуация с Pixtral, Qwen себя показывал неплохо, но похуже чем то что получилось у Т-Банка из него в итоге.

И да, достаточно досадно что после того как T-Pro и T-Lite вышли в открытый доступ, интерес к ним утих со стороны самого же Т-Банка. В той же Ollama, скрипты от них кажется так и не обновлялись с осени, как и квантизированные версии на HuggingFace.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий