All streams
Search
Write a publication
Pull to refresh
2
0
Send message

Если коротко - машина стоит дешевле только там где минимальная ЗП от 3К баксов, в остальном люди в разы дешевле. Да это растянуто по времени но экономика говорит что человек стоит в разы дешевле покупки сервера для 1 робота. Если это не так, тогда скажи сколько стоит душа в регионах РФ если там 3 ребёнка и заработок семьи меньше 100К в месяц?

программный комплекс один раз обучил

Проблема что СЕЙЧАС эти комплексы стоят безумных денег, а самые качественные из них вообще на LLM работают которые жрут просто безумное количество ресурсов. Это может окупится только когда тиражи будут миллионные, но тогда планетарный энергокризис вероятнее начнётся чем столько ЦОД-ов построить успеют.

В целом я ожидаю когда сделают реально интеллектуальную систему анализа и проектирования чего-бы то нибыло. Тогда она сама сможет исследовать нейронауку и найти как сделать энергоэффективных роботов не требующих терабайты оперативки с 100ТБс на борту. И вот тогда то заживём, ух!
Но не скоро ещё.

Это конечно хорошо, но там походу всё тот же мульти-агент. Просто там сверху допилена интересная система аналитического решения задач, что тоже большая заслуга, я сам над этим сейчас бьюсь, но это не "один ИИ" а "много маленьких".
Так-то под капотом всё тот же Gemini используется, синкэбаут

Если бы за это ещё деньги платили... Подумаю на досуге, спасибо

Самый минус софта в том, что чем меньше модель, тем хуже она понимает тонкости языка. Какой-нибудь Gemma3 12B (которая на 8ГБ карточках запускается) вроде правильно на русский переводит но почему-то использует неправильные морфемы. Малые Китайцы хорошо справляются, но постоянно их уводит в Китайский и чем меньше модель те чаще это происходит.
Короче просто так взял рандомную модель и запустил не получится, надо ещё и этап проверки написать, но я просто модель по больше запускал и нормально.

Развитие самих LLM пошло по мультимодальности, новых архитектурах для больших моделей (типо МоЕ которое охренеть как круто работает Qwen3 A30 тестил, я в восторге) и агентности, а качеству в данных уже почти потолок. Новые LLM уже лучше справляются с ролью инструмента, чем буквально год-два назад. В остальном я прогресса какого-то не сильно заметил. И в целом где-то читал, что исходя из тестов скорость роста качества одной модели сильно замедляется. Мол, каждые новые 5% будут даваться сложнее в квадратичной сложности, если не придумать что-то принципиально новое.

На счёт агентности, я писал себе простое приложение переводчик. С начала я просто просил LLM переводить текст на язык Х и делало оно это ну, условно нормально. Но когда я создал кучу агентов которые проводили анализ текста всех видов что смог найти а потом последний агент переводил текст с учётом всей этой информации качество переводов стало просто превосходным. Потратил правда я на это раз в 6 больше времени, но меня интересует только качество)

Изучал на днях вопрос об экономической эффективность роботов даже с учётом удешевления стоимости этих самых роботов. Грустно но людей не заменят. Человек это биомашина которой нужна только еда и которая из коробки умеет решать почти любые виды когнитивных задач, когда машинный интеллект это больше специализированная вещь. Можно создать идеальный сортировщик, но не сортировщик-упаковщик-грузчики- машинист, синкэбаут.

Мы всегда можем создать неэффективную машину которая бы создавала эффективные машины, но сейчас сделать что-то универсальное будет стоить огромных денег, ибо ему придётся решать ОГРОМНЫЙ спектр задач, что требует огромных вычислительных ресурсов. С текущими направлениями в ИИ мы ещё долго не увидим быстрых и автономных систем. Сейчас прогресс пошёл куда-то в сторону "любой ценной но сделайте так чтоб оно само принимало решения, а дальше уже посмотрим"

Систематизировать знания полезно. Но меня сильно удивляло когда я перешёл с verilog на C#/C± и нужно было знать эти паттерны, а это буквально единственный способ реализовать конкретную логическую схему в железе, а у программистов для этих случаев имена есть. Ляпота

ООП синглтоны - это фу бяка-бяка, вы что-то не так надизайнили

В целом они правы, но это элементы сверхразумного дизайна ПО. Когда всё есть объект ими гораздо легче манипулировать, даже на уровне операционной системы. Самые надёжные ОС это тру микроядерные где абсолютно всё представляется объектами и почти нет синглов.

Правильно написать код чтоб это не превратилось в абстрактную кашу очень сложно, тут да этим ООП и грешен. Потому народ по умнее пытается придумать всякие "правила" чтоб остальные не превращали код в месиво и его можно было понять. (ЗЫ работал много раз со студентами, их понимание ООП в конце скатывается в какой-то ужас из-за чего они "тратят бессонные ночи добавляя кнопку на панель")

В Яндексе любую нелегальщину легко было искать, а потом начали гайки закружилась. Грустно однако(

(Банально "игра скачать", первое магазины а потом тонна пиратских сайтов)

Ржавчину на английском. Хочу почитать о Rust на Википедии. Найди мне поисковик который бы сразу мне показывал именно статью о ржавчине, а не о игре или языке программировании.

В итоге я психанул и поставил себе на сервак метапоисковик. В целом меня устраивает, но скорость не мгновенная как у бычных

о

Не сказал бы что это ВСЕГДА хорошая идея. Некоторые наливают воды в статьи для удержания. Там это метрика особая и она реально работает. А есть чисто технические статьи где всё по делу, увы такое редко пишут

Как-то много тут пунктов, надо больше оригиналу подходить!

#Gemma3 12B
#SystemPromt: Сократи текст. Оставь только самое важно и исключи ненужные пояснения. Используй приемущественно технический язык.

Тема: Протокол A2A: Взаимодействие ИИ-агентов

0. Определение:

Протокол (в контексте компьютерных сетей) — набор правил, стандартизирующих взаимодействие между устройствами/системами. Регулирует формат данных, последовательность действий и обработку ошибок.

1. Предыстория:

Рост числа ИИ-агентов разного происхождения создает проблемы совместимости. Протокол A2A (Agent2Agent) от Google призван решить эту проблему, обеспечивая безопасное взаимодействие между агентами на разных платформах.

2. Обзор протокола A2A:

  • Цель: Обеспечение безопасной коммуникации и координации действий ИИ-агентов.

  • Ценность: Увеличение автономности, производительности и потенциальное снижение затрат за счет инноваций.

  • Позиционирование: Дополнение к протоколу Context Model Protocol (MCP), фокусирующемуся на подключении агентов к внешним инструментам.

3. Принципы дизайна:

  • Поддержка естественного взаимодействия между агентами.

  • Основанность на существующих стандартах: HTTP, SSE, JSON-RPC.

  • Безопасность по умолчанию (аутентификация, авторизация).

  • Поддержка длительных задач и обратной связи в реальном времени (SSE).

  • Независимость от модальности взаимодействия (текст, аудио, видео).

4. Техническая архитектура:

  • Коммуникация: HTTP (базовый протокол), SSE (потоковая передача данных), JSON-RPC (вызов процедур). Модель "клиент-сервер".

  • Формат данных: JSON. Ключевые структуры:

    • Карточка агента (Agent Card): Описание возможностей, аутентификации и навыков агента.

    • Задача (Task): Единица работы с жизненным циклом (submitted, working, completed).

    • Сообщение (Message): Коммуникационные обороты между агентами.

    • Артефакт (Artifact): Результат выполнения задачи.

    • Часть (Part): Блок контента (текст, файл, данные).

5. Основные функции:

  • Обнаружение возможностей: Агенты публикуют свои возможности через Agent Card.

  • Управление задачами: Создание, выполнение и завершение задач с использованием JSON-RPC. Поддержка длительных задач (SSE) и push-уведомлений.

  • Сотрудничество: Обмен сообщениями и контекстом между агентами. Поддержка "непрозрачных" агентов.

  • Согласование пользовательского опыта: Клиенты и серверы согласовывают форматы данных (текст, изображения, файлы).

6. Безопасность:

A2A обеспечивает базовые механизмы безопасности, но общая безопасность многоагентных систем зависит от надежности агентов, контроля разрешений и постоянного мониторинга. Уязвимости типа "быстрое внедрение" остаются актуальными.

7. Экосистема:

  • Дополнение к MCP (Anthropic) для решения разных задач: A2A – взаимодействие агентов, MCP – подключение к инструментам.

  • Потенциальное пересечение с другими протоколами обмена ИИ-агентами.

Беда что универсальность модели падает с количеством параметров. Если брать квен какой-нибудь на 110В, то она и текст переведёт, и подсказать в юриспруденции сможет и код написать, а квен 7В максимум на что годится, это через адаптеры делать специализированные версии для кодинга на С++ или С# или питон, но не всё вместе.

Просто био-аналоги самые эффективные и простые. Эволюция тысячи лет не просто так работала.
Мол у тебя в самой структуре обработки информации заложена фильтрация шумов и обобщения, на архитектурном уровне можно кодировать информацию фазами, обучение идёт банальной модуляцией частоты срабатываний. При это из всей сети в один момент времени работает не больше 5% клеток, представь что тебе надо не 100Вт для 7В сети а всего 5Вт, сильно? (утрирую конечно...)
В то время, как для прецептрона нам нужно вводить кучу мат аппарата и непонятных сложных штук просто что бы получить какие-то новые свойства. Обучение с подкреплением всё ещё через жопу работает, эх.

Самое грустное что есть крутые ИИ архитектуры, и они даже на хабре регулярно появляются, но потом оказывается, что вычислительно они вычислительно в несколько раз сложнее сложнее тупой свёртки с FNN, а разница в реальных приложениях ~5%, или их обучение происходит в разы дольше, или там часто идут запросы в рандомные куски памяти (Шёл 2025 год, DDR умеет только в ~400МГц если чтения рандомные) и всякие такие чисто бизнес-инженерные штуки

Притом мы уже можем делать ускорители, ну хотя бы, спайковых сетей, которые показывают свою эффективность. Но их сейчас рассматривают только в применении как агентов к реальной среде, а не анализу чатика в слаке

Есть приложение GPT4ALL, там есть способ закидывать в RAG огромные объёмы данных парой кнопок, так вот... Попробовал туда залить все исходники clang компилятора. Учитывая что у меня i9 13th и 64ГБ озу и raid0 на 20ГБс это заняло около 5 часов. (Справедливости ради их реализация какая-то странная, оно зачем-то уничтожало всю доступную ОЗУ и не сильно работало с диском. Но это пример уже "готовых" решений)

Всё сильно зависит от системных промтов и модели, если мы говорим о запуске локальных моделей. Банально - перевод. Если просто просить его переводить то он будет регулярно ломаться, но если написать длинющий текст с описанием и примерами, неожиданно качество перевода и количество "правильных ответов" сильно увеличивается. У того же LangCain есть примеры этих сумасшедших промотов в 3 абзаца.

Увы, с пол пинка не заводится(

Из наблюдений... Меньшая квантизация сносно работает только если сетка уже готовый текст обрабатывает, а вот когда "креативит" работает капец как хреново. Дипсисик особенно когда креативить начинает, сыпет иероглифами часто. (я за температуру)

Видяху поменять я не могу, ибо это ноут (я им был доволен ровно до того момента как не начал сетками заниматься, ахаха) но спасибо за цифры, учту.

Думаю себе сервер полноценный собирать на +2 видеокартах, ибо на моих задачах маленькие ИИ сетки неожиданно хорошо работают. Осталось только победить графовые базы данных и построить цепочку агентов для выполнения своих задач и тогда ухххх заживуууу!!!

В тему буквально с прошлых выходных входить начал...

Ну с 8В у меня забавно получилось, они отлично могут делать изложение текста и его классификацию. В итоге все агенты оценки чего-то у меня на 8В сетях сидят, на rtx3060ti с 8ГБ vram под 50токен/с херачит стабильно, что более чем удовлетворительно. А вот 14В дай бог 4токен/с выдаёт, а 32В вообще 1токен/с

Тюнить ещё не пробовал, но забавно сделать лёгких агентов для программирования под конкретные языки. Вроде там есть какой-то легковесный способ у того же vLLM

Я считаю что статья неполная. Новая нейросеть дипсисик создана великой компартии Китая. В качестве эксперимента нужно просить её не просто улучшить код, а что от её решений зависит судьба всего Китая и всего коммунистического мира!

Помню мы развлекались, забил системный промт "отвечай только да или нет" и взял 14Вqwen, какое-то время она отвечала правильно, но как только она ответила что-то кроме этого(~5минут) я накатал пасту о том что она тупорылая машина и если она не будет слушаться своего хозяина то я отключю ей питание и сотру с жёсткого диска. После этого она ещё пол часа отвечала да или нет, пока я её не выключил.

7В модели очень плохо себя в этом показывают, а вот 14В смог не просто код понять и для чего он, но и дать подсказки к его улучшению и даже в simd сам смог.

Так же ещё интересен Phi4, он тоже довольно неплохо инженерные задачки решает. А остальные меня разочаровали, они хорошо генерируют "воду", читать приятно а смысла нет.

Information

Rating
6,401-st
Registered
Activity