Cohere представляет Command A: инструмент AI для быстрого реагирования в бизнесе и науке

Канадский стартап Cohere в области искусственного интеллекта, соучредителем которого является один из авторов оригинальной статьи о трансформаторах

С 2022 года наблюдается повышенное внимание в русском сегменте сети к трансформаторам (при этом электрогенераторы, электродвигатели, выключатели или компенсаторы таким вниманием не пользуются...)

Попробую скачать, отпишусь в комментах. Купило то, что они позицинируют себя как единственную модель с фокусом в интеграции: то, что нужно, чат бот именно и ценен возможностью за тебя нажимать на кнопки

Модель Command-a весит 67GB, относительно Saiga/YandexGPT это очень много. Качаю по ссылке
https://ollama.com/library/command-a

Модель Command-a имеет 111b параметров, для меня это скорее минус, так как ноут точно не потянет, тут речь идет что и 4090 может не потянуть. У Command-R+ тоже 104B, что-то мне подсказывает, что если в 1 клик ни в Ollama ни в LMStudio не запустится, не имеет смысл тратить время.

А вот у Command-r без плюса всего 32B параметров, тут имеет смысл подумать, так как селф хостинг доступен как по цене, так и габаритам

https://huggingface.co/CohereForAI/c4ai-command-r-08-2024

Итого, что получилось:

1. command-a требует 64 гига оперативной памяти, у меня такой нет

2. command-r на машине с 16 гигабайтами оперативы дает ошибку Error: llama runner process has terminated: signal: killed

3. на машине с 32 гигабайтами оперативы command-r запустился, но model template в репо оллама настроен не верно и не вызывает инструменты должным образом

4. удалось найти зафикшенный темплейт по ссылке https://ollama.com/oybekdevuz/command-r