Тестирую недавно вышедшую SOM (system one model) Laya для наделения CanvasDesk сверхсилами по автодополнению.

Как пользователь, я хочу чтобы проектирование в CanvasDesk было с молниеносным флоу. Я решил тестово прикрутить под это Laya - свежий open-source аналог нашумевшего облачного движка Jev от TypeSafe AI.

Почему не обычная LLM? Большие языковые модели для подсказок в реальном времени не годятся их генерация съедает от секунды до трёх. Я бы не стал ждать автогенерацию так долго. Jev и Laya - из класса System One Models: модели "быстрых интуитивных реакций". Они не разворачивают текст токен за токеном, а за один проход решают типизированные задачи: классифицируют, ранжируют варианты и выдают калиброванную вероятность.

Jev сидит в закрытом облаке по API. Laya вышла под Apache 2.0 и полностью совместима с ним по протоколу, но разворачивается локально. Размер ~421 миллионов параметров. Задержка около 33 мс на GPU и 200–450 мс на обычном офисном CPU. Не требует гонять контекст схемы через внешнюю сеть - для CanvasDesk в b2b исполнении это принципиально.

Что это даёт на практике:
1/ автодополнение формул и переменных: набираешь расчёт нагрузки, система цепляет переменные из апстрим-узлов и предлагает формулу, проверенную локальным парсером,
2/ next-node подсказки: поставил шаблон балансировщика - движок предлагает связать его с очередью и пулом воркеров,
3/ адаптация под роль: архитектору - параметры теории очередей, продакту - связки конверсий и когортного LTV.

Задача Laya - работать умным стрелочником: отбирать лучшие паттерны из каталога за доли секунды и отдавать их только при высокой уверенности. Если эксперимент взлетит, сборка схем перестанет быть укладкой асфальта вручную.

Пока заворачиваю Laya в локальный sidecar на базе python. Результаты теста и замеров скорости выкачу отдельным постом.

А пока можно самостоятельно потестить WASM версию CanvasDesk и написать в комментарий про свой опыт

Сейчас в производственные процессы регулярно стараются внедрять ИИ. Но я пока не слышал удачных кейсов по внедрению ИИ с RAG в работу менеджмента. Почему пока таких кейсов нет и в чём сопротивление менеджеров на применение локальных ИИ для рабочих задач?

Добавлю контекста. Я прикидываю такой условный сценарий ТОП-а в вакууме:

• Понял что нужна инфа

• Запросил у помощников

• Они пошли по всем ответственным

• Те пошли дальше собирать данные

• Все всё собирают и приводят к N виду

• Помощники переделывают к Y виду

• ТОП наконец-то получил "какую-то" информацию. Т.к. она не факт что по пути пару раз не изменилась или где-то часть не потерялась.

• ТОП хочет увидеть другой разрез и поехали снова по процессу :)

Очевидно что ОК, если этот процесс занимает не более 1 дня. Но очевидно некоторые запросы могут обрабатываться и неделями.

В первом приближении я вижу такие кейсы пользы ИИ для любого менеджера менеджеров и выше:

• получение более актуальной информации с меньшими искажениями и just in time

• аутсорс хардскилов по адаптации информации на электронного помощника в виде ИИ, который готов дать ответ в течение N минут, а не человека, который может быть недоступен в потребное время (возможно в час ночи) или может собирать информацию N часов/дней

• понижение негативного влияния впихивания задач уровня "надо прям щас" на общие процессы всей компании

• снижение уровня возможного "фрода" подчинёнными (поставил это последним, т.к. хоть кейс и важный, но предположительно так будет делать минимум людей)

А как видите вы?