Pull to refresh
9
Пятков Петр@PetrUfa

Инженер

4
Subscribers
Send message

Все результаты, описанные в статье воспроизводимы. Специально были выбраны открытые тесты для агентских систем, чтобы показать реальный уровень модели.
Вывод статьи в том что не всегда огромная модель хороша в агентских задачах.

Тут на любителя - скорость инференса по вашей таблице у AI MAX 395 256 гб сек, что равно скорости на M4 Pro, скорость на M5 про будет выше только для MLX.
Цена мини пк Ai395 128 ram + 2 тб, = 400 к
Цена М5 pro 370 к 64гб 1 тб
Соглашусь, цены сравнялись и преимущество только в универсальности убунты и возможности использования оставшихся 75gb ram от инференса на другие цели

В целом соглашусь, локальный запуск на ноуте с ревущим вентилятором себя не оправдывает. Но если вам нужен тихий мини пк для инференса по цене в два раза дешевле mac studio, тут уже в статье описан альтернативный вариант на AMD и работа с такой скоростью и памятью уже позволяет и контекст в 256 к и агентский кодинг

В Jenkins больше свободы маневра.
Также в Free License Bitbucket есть ограничение на Build minutes

Information

Rating
Does not participate
Registered
Activity

Specialization

Бэкенд разработчик
Ведущий
Java
Apache Kafka
Kubernetes
PostgreSQL
Java Spring Framework
Spring Boot
Docker
MongoDB
SQL
Hibernate