Попробовал локально модель gigachat3.1-10b-a1.8b. Очень порадовала скорость с минимальным контекстом 125 ток/сек. Другие аналогичные по размеру модели более 55 ток/сек на моем железе не выдают.
Хотел попробовать в качестве агента для программирования через Kilo Code + LM Studio - не получилось. Что-то с шаблоном запроса модели не то. Я так и не разобрался. Может кто-то более подкован в данном вопросе подскажите как можно исправить?
В логе API ошибка с текстом: Error rendering prompt with jinja template: “Unknown operator “in” between ArrayValue and ArrayValue”.
Попробовал локально модель gigachat3.1-10b-a1.8b.
Очень порадовала скорость с минимальным контекстом 125 ток/сек. Другие аналогичные по размеру модели более 55 ток/сек на моем железе не выдают.
Хотел попробовать в качестве агента для программирования через Kilo Code + LM Studio - не получилось. Что-то с шаблоном запроса модели не то. Я так и не разобрался. Может кто-то более подкован в данном вопросе подскажите как можно исправить?
В логе API ошибка с текстом: Error rendering prompt with jinja template: “Unknown operator “in” between ArrayValue and ArrayValue”.
Я использую platformio, очень удобно, нужную платформу инсталлируешь прямо из интерфейса (AVR, ESPRESIF, STM32)
https://platformio.org/install/ide?install=vscode