Тут большая фундаментальная ошибка. Логиты это совсем другие вероятности, это совсем не вероятность классификации, это просто показывает уверенность модели при генерации последовательности токенов (условно, что одна буква должна следовать за другой).
Тогда что и с чем сравнивается вообще в данной статье? Речь про QwQ 32b без всяких квантизаций в сравнении с deepseek. Но QwQ 32b вы никак не запустите на 24 Гб!
Посоветуйте, пожалуйста, в каком формате лучше подавать таблицу в промпт для больших языковых моделей? Пробовал разные варианты, включая Markdown и дублирование информации о столбце/строке для каждой ячейки, но бывают ошибки при вопросах с конкретными условиями, где нужно достать значение из определённой ячейки. Может быть есть какие-то лайфхаки?
Тут большая фундаментальная ошибка. Логиты это совсем другие вероятности, это совсем не вероятность классификации, это просто показывает уверенность модели при генерации последовательности токенов (условно, что одна буква должна следовать за другой).
Можно просто больше столбцов сделать. Разработка в работе. Разработка завершена. Тестирование в работе. Тестирование завершено. И тд.
Тогда что и с чем сравнивается вообще в данной статье? Речь про QwQ 32b без всяких квантизаций в сравнении с deepseek. Но QwQ 32b вы никак не запустите на 24 Гб!
Простите, а как вы QwQ 32b запустите всего на 24 Гб? Или речь о квантизированных версиях? Но тогда это уже другое качество и сравнивать некорректно.
Сейчас одна видеокарта стоит 230 тр. У меня такая сборка получается заметно больше 300 тр. Вы в каком магазине смотрите комплектующие?
Посоветуйте, пожалуйста, в каком формате лучше подавать таблицу в промпт для больших языковых моделей? Пробовал разные варианты, включая Markdown и дублирование информации о столбце/строке для каждой ячейки, но бывают ошибки при вопросах с конкретными условиями, где нужно достать значение из определённой ячейки.
Может быть есть какие-то лайфхаки?