Хорошо. Я сейчас как раз завелся с 3 новыми тестами. По 80 моделей. За раз. Генерирую, читаю результаты сравниваю, кто складно, кто проще и тд. Уматывает, но своими мозгами легче понять и оценить. Хотя повторяю это лишь субьективная оценка.
Спасибо за проделанную работу и за потраченные силы также для написания статьи, интересная и нужная/актуальная тема.
Про локальную версию, - также пробовал тестировать у себя около популярных 80 моделей 8-12-20-24-32 B Q8-Q4 .gguf вариантах.
классифицировал по смыслу, читабельности, метт классифицировать, по согласности" выполнять сразу то что требуется без воды и тд и то. Все вручную и поэтому очень субъективно, потом нормализации баллов от 1 до 10 - все что получал, чтобы найти оптимальные модели или универсальные.
В основном через Oobabooga, и потом через локальный api вытягивать тексты batch: ем чтобы опять же вручную читать или слушать и ставить баллы..
Много сил и терпения тебе, буду следить за твоим проектом, и морально поддерживать.
Хорошо. Я сейчас как раз завелся с 3 новыми тестами. По 80 моделей. За раз. Генерирую, читаю результаты сравниваю, кто складно, кто проще и тд. Уматывает, но своими мозгами легче понять и оценить. Хотя повторяю это лишь субьективная оценка.
Да. Постараюсь сегодня-завтра. Может легче по электронной почте, устроит или как лучше. у меня в excel.
Спасибо за проделанную работу и за потраченные силы также для написания статьи, интересная и нужная/актуальная тема.
Про локальную версию, - также пробовал тестировать у себя около популярных 80 моделей 8-12-20-24-32 B Q8-Q4 .gguf вариантах.
классифицировал по смыслу, читабельности, метт классифицировать, по согласности" выполнять сразу то что требуется без воды и тд и то. Все вручную и поэтому очень субъективно, потом нормализации баллов от 1 до 10 - все что получал, чтобы найти оптимальные модели или универсальные.
В основном через Oobabooga, и потом через локальный api вытягивать тексты batch: ем чтобы опять же вручную читать или слушать и ставить баллы..
Много сил и терпения тебе, буду следить за твоим проектом, и морально поддерживать.