Ну на нагрузке даёт 7 t/s , но разница почти в 3 раза.
Правда ещё нюанс что для llama.cpp я скачал модель с квантованием под мобильный процессор, но все равно, даже если это не брать во внимание , разница минимум в 2 раза.
Сорри, я не буду здесь публиковать коммерческие проекты в которых участвую.
Могу сказать что это интернет магазин на NodeJS Express+ Strapi, 36 языков, 48 локаций. Автоматический пересчет цен на 36 валют + пересчет стоимости доставки с учётом локации и выбранной валюты, переводы всех страниц / карт товаров на 36 языков. + Весь функционал современного магазина, сортировки по атрибутам, связи товаров, личный кабинет, заказы , скидки и ТД.
Это все работает быстро и переводится / пересчитывается на лету.
Сделано полностью на Opus 4.6
Не могу сказать что я бы не сделал такой сайт сам, но с учётом того что я всегда писал на php - у меня бы это заняло значительно больше времени с учётом изучения NodeJs.
И вообще, писать самостоятельно интернет магазин на 10к + товаров, - утопическая идея.
В целом, по всему видно что автор просто не сталкивался с реальным применением ИИ для бизнес задач.
У меня даже стоит маленькая локальная gemma4 e4b и есть повторяющаяся задача проверять дизайны технических товаров где на изображении много спецификаций, цифры, заголовки.
Я больше не делаю это в ручную, gemma отлично справляется.
Ну вернёмся сюда через год ) я написал с помощью opus 4.6 сайт - стоимостью 12к евро за 4 месяца, на стекле технологий, который ранее мне был недоступен. И я не какой-нибудь выдающийся кодер.
Очевидно выдающиеся кодеры делают то что раньше было недоступно им.
Последний год вообще вся моя работа превратилась в оператора ИИ я бы сказал. При этом я стал выдавать больше результатов, но и работать стал больше, а заработки остались такими же - потому что такими темпами движется мир вокруг.
Короче говоря, я уверен в течении 5 лет очень много профессий будут заменены ИИ полностью.
"Их руководство может не знать или не верить в то, что AI-коворкеры не будут работать так, как описывает OpenAI.".
Вы понимаете что в крупных компаниях стратегические решения принимаются не одним человеком, а существует многоуровневая система согласований.
Ваш скептицизм что "AI-коворкеры не будут работать" говорит о том что вы сами не работали с ИИ на том уровне, который сейчас уже доступен и не видели результатов.
Что будет с Альтманом и OpenAI в целом я не могу предположить, но то что AI ко-воркеры через 5 лет будут использоваться повсеместно, думаю вы сами увидите.
Вернёмся к обсуждению через 5 лет в комментах к этому посту )
По поводу macMini это супер решение, в ставил на свой старый md101 и потратил пол дня на отключение экрана чтобы при этом работал VNC и это было безопасно и т.д. Короче говоря мини ПК, супер решение для openclaw, ему не надо много ресурсов без локальной модели.
Лучше его ставить внутри домашней локальной сети, чтобы избежать взлома, потому что главный минус openclaw - это безопасность, и с другой стороны - это просто удобно расшарить сетевую папку чтобы загружать файлы для обработки.
Потратил уже около недели по несколько часов в день на тестирование и понимаю что получится постепенно оптимизировать много рутинных рабочих процессов.
Короче, мое мнение что это супер вещь, а макМини просто популярный мини ПК в США, подойдёт вообще любой, даже в посмотрел бу мак мини можно купить за $110 дол, это в пересчёте на аренду сервера пол года использования +- ))
Для сравнения на моем телефоне,
Ollama
gemma e2b выдавала 2 t/s
И вот llama.cpp , gemma e4b
Ну на нагрузке даёт 7 t/s , но разница почти в 3 раза.
Правда ещё нюанс что для llama.cpp я скачал модель с квантованием под мобильный процессор, но все равно, даже если это не брать во внимание , разница минимум в 2 раза.
Сорри, я не буду здесь публиковать коммерческие проекты в которых участвую.
Могу сказать что это интернет магазин на NodeJS Express+ Strapi, 36 языков, 48 локаций. Автоматический пересчет цен на 36 валют + пересчет стоимости доставки с учётом локации и выбранной валюты, переводы всех страниц / карт товаров на 36 языков. + Весь функционал современного магазина, сортировки по атрибутам, связи товаров, личный кабинет, заказы , скидки и ТД.
Это все работает быстро и переводится / пересчитывается на лету.
Сделано полностью на Opus 4.6
Не могу сказать что я бы не сделал такой сайт сам, но с учётом того что я всегда писал на php - у меня бы это заняло значительно больше времени с учётом изучения NodeJs.
И вообще, писать самостоятельно интернет магазин на 10к + товаров, - утопическая идея.
В целом, по всему видно что автор просто не сталкивался с реальным применением ИИ для бизнес задач.
У меня даже стоит маленькая локальная gemma4 e4b и есть повторяющаяся задача проверять дизайны технических товаров где на изображении много спецификаций, цифры, заголовки.
Я больше не делаю это в ручную, gemma отлично справляется.
Отвечу вам на вашем языке : Можно Машку за ляжку.
В целом мне вас искренее жаль, желаю всего хорошего.
Ну вернёмся сюда через год ) я написал с помощью opus 4.6 сайт - стоимостью 12к евро за 4 месяца, на стекле технологий, который ранее мне был недоступен. И я не какой-нибудь выдающийся кодер.
Очевидно выдающиеся кодеры делают то что раньше было недоступно им.
Последний год вообще вся моя работа превратилась в оператора ИИ я бы сказал. При этом я стал выдавать больше результатов, но и работать стал больше, а заработки остались такими же - потому что такими темпами движется мир вокруг.
Короче говоря, я уверен в течении 5 лет очень много профессий будут заменены ИИ полностью.
"Их руководство может не знать или не верить в то, что AI-коворкеры не будут работать так, как описывает OpenAI.".
Вы понимаете что в крупных компаниях стратегические решения принимаются не одним человеком, а существует многоуровневая система согласований.
Ваш скептицизм что "AI-коворкеры не будут работать" говорит о том что вы сами не работали с ИИ на том уровне, который сейчас уже доступен и не видели результатов.
Что будет с Альтманом и OpenAI в целом я не могу предположить, но то что AI ко-воркеры через 5 лет будут использоваться повсеместно, думаю вы сами увидите.
Вернёмся к обсуждению через 5 лет в комментах к этому посту )
Я прямо вижу как директор крупной компании из Америки открывает Яндекс и пишет : "как сделать ИИ агента" ))))
По поводу macMini это супер решение, в ставил на свой старый md101 и потратил пол дня на отключение экрана чтобы при этом работал VNC и это было безопасно и т.д. Короче говоря мини ПК, супер решение для openclaw, ему не надо много ресурсов без локальной модели.
Лучше его ставить внутри домашней локальной сети, чтобы избежать взлома, потому что главный минус openclaw - это безопасность, и с другой стороны - это просто удобно расшарить сетевую папку чтобы загружать файлы для обработки.
Потратил уже около недели по несколько часов в день на тестирование и понимаю что получится постепенно оптимизировать много рутинных рабочих процессов.
Короче, мое мнение что это супер вещь, а макМини просто популярный мини ПК в США, подойдёт вообще любой, даже в посмотрел бу мак мини можно купить за $110 дол, это в пересчёте на аренду сервера пол года использования +- ))