Если пробовали только на ванильной llama.cpp, то обязательно попробуйте https://github.com/ikawrakow/ik_llama.cpp/ Этот форк сильно ускоряет инференс на CPU, раза в 1.5-2. И если виндовс стоит, то стоит попробовать линукс - по отзывам на нем бывает быстрее.
Но еще интереснее, что этот "внешний" IP может меняться обновлении страницы (т.е. с каждым новым соединением) не только на другой из 195.178.4.0, но и вообще на местный билайновский...
Scrapbee!
Полная замена Scrapbook.
Работает на последнем FF, выглядит как старый Scapbook. Формат файлов остался старый, от Scrapbook — можно поставить и работать со старым архивом. Один китаец формат скрапбука раскурил и сделал это расширение. Требует внешнего исполняемого файла на Go для общения с ФС. Я лично собираю этот файл из исходников — на идущий в комплекте с расширением ругались антивирусы.
Если пробовали только на ванильной llama.cpp, то обязательно попробуйте https://github.com/ikawrakow/ik_llama.cpp/ Этот форк сильно ускоряет инференс на CPU, раза в 1.5-2. И если виндовс стоит, то стоит попробовать линукс - по отзывам на нем бывает быстрее.
Но еще интереснее, что этот "внешний" IP может меняться обновлении страницы (т.е. с каждым новым соединением) не только на другой из 195.178.4.0, но и вообще на местный билайновский...
Полная замена Scrapbook.
Работает на последнем FF, выглядит как старый Scapbook. Формат файлов остался старый, от Scrapbook — можно поставить и работать со старым архивом. Один китаец формат скрапбука раскурил и сделал это расширение. Требует внешнего исполняемого файла на Go для общения с ФС. Я лично собираю этот файл из исходников — на идущий в комплекте с расширением ругались антивирусы.
Есть баг — не сохраняет файлы больше мегабайта. Если его исправить — будет совсем полная замена скрапбуку.