Комментарии 13
Даже подумать страшно какие требования по железу будут нужны будут. Если для Grok-1
NVIDIA A800-SXM4-80GB * 8 штук
Буду ждать, когда уже появятся нейросети для бедных :)
Так для бедных полно моделей же. Starling-LM-7B-beta запустится на любом чайнике, при этом у него рейтинг на chatbot arena примерно как у клода-2.1 и чатгпт 3.5
Это для совсем бедных. Лучше уж все 8х7.
cerebrum-1.0-8x7b_q4_k_m.gguf занимает 26 гигов и сносно работает даже с процесора.
26 гиг оперативки?
Всего. А как вы их раскидаете между оперативкой и видеокартой — ваше дело. Почитать.
А насколько рейтинги показывают адекватность, а не то насколько модель затачивали под рейтинг? Я как то не раз замечал на личном опыта, что не все топ модели по рейтингу отвечали так же хорошо, как их собратья рейтингом ниже.
По памяти помню проверял Vicuna и Hermes до того как Mixtral вышел, и Hermes стабильно был выше Vicuna в рейтинге, но по качеству ответов, меня тогда устраивала Vicuna. Ну а сейчас нет ничего лучше Mixtral из 7b, ещё Dolphin (правда его просто называют расцензуриным Mixtal). Опять же это из личного пользования.
Модель не затачивается под рейтинг, потому что там голосуют такие же пользователи как вы. Вводите запрос, общаетесь с парой моделей, потом выбираете какая лучше по вашему мнению или может обе одинаково плохи или хороши.
Это арена - две модели отвечают на один и тот же вопрос человека, человек сравнивает и голосует за лучший ответ. По тысячам таких голсований считается ELO. Поиграть можно здесь: https://chat.lmsys.org/. Из приятного - можно попасть на модели, которых нет в открытом доуступе и оценить их.
Подход не лишен недостатков, конечно, но кажется рейтинг честнее придумать сложно.
Еще есть надежда на Фабриса Белларда https://bellard.org/ts_server/
Будем ждать на HuggingFace. Открытая модель, которая лучше Mistral Large, это действительно супер. А потребность к железу - уже последний вопрос.
Да уж, железо, наверное, дикое нужно для этой модели.
xAI анонсировала ИИ-модель Grok-1.5