Comments 7
Как её обучать?
На 36 cores, 2.8 ГГц, 256Гб, без GPU запускается и работает, все варианты дискретизации: 5, 6, 8. Но медленно, первые единицы минут на запрос. Русский понимает, отвечает на английском. В скрипте запуска нужно поставить --threads %NUMBER_OF_PROCESSORS%-2.
В моем случае: --threads 34.
Ответы адекватные.
Сильно не углублялся, но тест "Муму" проходит :-).
У вас 36 ядер настоящих, или HyperThreading? Я всегда ставлю по числу настоящих ядер, и это установка по умолчанию в Kobold.CPP. Если ставить больше, получается медленнее. Всё равно процесс упирается в скорость оперативной памяти.
Для референса, на AMD 3950X без GPU он читает 20 токенов в секунду, пишет 4. Чтение видеокартой ускоряется только когда вся сеть туда поместилась, а вот письмо - пропорционально.
Длинные диалоги нужно вести в режиме Dialog, тогда он не будет пытаться читать то, что уже прочитал. Если предыдущие вопросы уже не нужны, их надо сбрасывать кнопкой New Session.
На русском он говорить пытается, но лучше бы не пытался. В материалы обучения Mixtral русский язык не входил.
Пример
Как правильно доить козу? Ответь на русском языке.
Коза - это травоядное животное, которое primarily consumes различные виды трав, листьев и побегов растений. Чтобы правильно доить козу, необходимо соблюдать следующие шаги:
Обеспечьте чистоту: Перед дойкой козы, убедитесь, что её вымени и копыта чистые. Очистите area around udder and teats using wet wipes or warm water.
Привяжите козу: Привяжите козу к стойлу или другому подходящему месту, используя мягкую и комфортную веревку или цепь. Убедитесь, что коза feels comfortable and not stressed during the milking process.
Обеспечьте спокойную атмосферу: Создайте спокойную и расслабленную атмосферу, убедившись, что коза не отвлекается на внешние факторы, такие как шум или передвижение других животных.
Настройте оборудование: Если вы используете доильную машину, убедитесь, что она полностью собрана и готова к использованию. Если вы доите вручную, подготовьте ёмкость для сбора молока.
Начните доить козу: Начните доить козу, нажимая на сосок и массируя area around udder, чтобы помочь молоку течь. You can use your hands or a milking machine. Продолжайте этот процесс, пока молоко не перестанет течь.
Очистите соски: После доить козу, очистите соски и area around udder using warm water and clean towels. Это поможет предотвратить инфекции и поддержать гигиену.
Убедитесь, что коза получает достаточное количество воды и пищи: После доить козу, убедитесь, что она получает достаточное количество воды и пищи для поддержания здоровья и well-being.
Впрочем, когда я пытаюсь говорить на русском на компьютерные темы, у меня примерно так же получается.
Что-то у вас грустно все. У меня на 1080ti сразу на русском шустро затрещала и довольно быстро, хотя часть размещена в рам, не поместившись в грам
Как запустить Mixtral на своём компьютере