Отдаю должное автору продукта: Артур, ваш продукт просто огонь!
Я с автором никак не связан. Ниже детали.
Пришлось повозиться пол-дня, допиливая мелкие глючки на моём железе. Но сейчас корпоративный ноут, на котором были заблокированы SSH и RDP, работает с удалённым подключением. И нагрузка на CPU и GPU абсолютно незначительная, при передаче скрина в разрешении 4K (у меня 4К на 48").
Клонировал репозиторий, скомпилировал, запустил Host для раздачи удаленного доступа и GPU хосте подскочил с 0% до 90% даже без подключений клиентов к хосту.
Заинтересовался технологией, но живу в южной флориде. Слегка проштудировал и к сожалению может не подойти. Здесь влажность и гниение дерева запредельные. Все дерево должно быть специально с пропиткой против гниения.
Если где-нибудь в Калифорнии с сухим климатом технология подойдет, то в регионах с влажным климатам нужно быть осмотрительным.
Будем честны: ввязываться в ИИ‑разработку и жестко привязываться к API одного вендора (тот самый Vendor Lock) ... Если идея «единого окна» для сотен моделей вам близка, но тратить время команды на поддержку еще одного куска инфраструктуры не хочется, можно использовать готовый ИИ‑роутер.
Open-source или еще один Vendor Lock on top of others?
Это в том числе для того, чтобы человек понимал, что ответственность остается на нем самом.
"Не согласен!" (ДМБ). :) Когда вы после первой попытки только из госпиталя, вот такие мудаки, которые вытуривают ровно через час, поглядывая на часы, как раз и подталкивают на вторую попытку, когда балансируешь: остаться или пошло оно всё.
Чаще всего человек не хочет умереть. Он не хочет жить так.
С этим человеком. В этой ситуации. С телом, которое постоянно болит. В роли, из которой нельзя выйти. Постоянно переживать стыд или страх. В семье, где невозможно ни остаться, ни уйти.
Здесь суицидальное движение направлено не к смерти. Оно направлено от состояния, которое человек больше не способен переносить.
В дюрдочку сказано. Вообще, прочитав статью, отмечаю массу моментов, которые понятны только тем, кто был на грани и тем, кто из этой грани вытаскивал. И, да, две неудачные попытки 10 лет назад с водворением в клинику, дабы одумался. :)
Бывают ещё обвязки не для кода вовсе, вроде OpenClaw (мост между мессенджерами и моделями) или Hermes (самоулучшающийся персональный агент), но их с кодинг-агентами лучше не путать, это другой инструмент под другую задачу.
Что скажете по персональным агентам? Поставил локально Hermes, но пока рассматриваю как игрушку. OpenClaw - вообще непонятное назначение, с моей точки зрения.
RAG, векторные базы и семантический поиск - это, конечно, классно как начальный вау-эффект, но с ростом объёма данных агент начинает путаться даже при разбивке знаний по экспертам.
Ищу персональный агент с грамотной организацией памяти, раутингом на экспертов и реалиционной структурой знаний у каждого эксперта.
Может, что подскажете из групп разработки или интересующихся ребят?
Замечания по прочтению:
Информации много: слишком сильно вмешался AI, наколбасил чего-то в кучу. Читать очень тяжело.
Некоторые части, которые должны быть четко структурированы, типа списка Coding Agents, свалены в 1 параграф, убористой набивкой. Усложняет понимание.
Наш метод превосходит геометрический трансформер DocTr как по скорости, так и по качеству. Его реализация позволяет системе распознавания деловых документов Smart Document Engine успешно справляться с документами, сложенными втрое.
На какую аудиторию рассчитывалась данная статья?
У меня unstructured, semi-structured and structured mortgage banking documents. Соответственно, нужна классификация и извлечение данных из документов. Извлечение нужно согласно схемы на каждый документ.
Зашел на ваш веб-сайт, просмотрел вдоль и поперек и не нашёл интересующий меня список возможностей. Ни цен, ни возможностей, только самопохваление и просьба на каждый чих-пых записаться к вам на приём.
Если Вы рассчитываете на клиентов уровня Газпром, то какой смысл рассказывать здесь технарям про ваши достижения в борьбе со сложенными втрое бумажками?
... там должно влезть 256к, да еще и место остаться и без турбокванта. Или я что-то не понимаю?
У меня на тестах в 16GB VRAM на RTX A5000 влезло 129К контекста, а больше: out of memory.
Но, кстати, модели довольно умные. По моим внутренним 80 тестам лажанулись всего на 6, да и то при исправленном промпте прошли все 80. Я заменил свою старую модель на Ternary-Bonsai-27B.
Не планируете каждой категории свой prompt, модель и структуру данных в SQLite?
В том смысле, что некоторые категории лучше хранить как реляционная структура данных. Им нужен свой промпт, свой уровень интеллекта, может быть определенный набор скиллов.
Про экзешник не понятно - это какое-то самописное решение?
Да.
Что он делает?
Дает доступ к спецификации репозитория, таскам в Bug Tracking System, отслеживает активность и specification drift, просмотр best practices repository ... Объем функций растет по мере реализации, потому и написал что в процессе.
Потуги
Смотрелка спецификации проекта
упрощалка взаимодействия с агентом - выбрал текст, выбрал опцию
автоматически инжектит решение в клипборд с автосабмит (или без)
А вот про Spec Drift Monitoring расскажите подробнее — чем проверяете?
Отдельный экзешник лезет прямо в сессии среды разработки (Курсор). В новой версии тестирую Курсов в дебаг режиме, чтобы можно было контролировать каждое окно, но мониторинг файловой системы более надежный.
Задачу для AI можно упростить, используя High-Level Building Blocks.
На внутренней разработке и тестировании: 1. Spec-Driven Design and Development; 2. Архитектура на базе Best Practices: репозиторий Best Practices; 3. Набор UI Components вместо Low-Level UI Coding; 4. Spec Drift Monitoring.
Я бы минусанул, но религия запрещает.
@SergeyevSergey , пожалейте читателей, не переливайте с пустого в порожнее.
Отдаю должное автору продукта: Артур, ваш продукт просто огонь!
Я с автором никак не связан.
Ниже детали.
Пришлось повозиться пол-дня, допиливая мелкие глючки на моём железе.
Но сейчас корпоративный ноут, на котором были заблокированы SSH и RDP, работает с удалённым подключением.
И нагрузка на CPU и GPU абсолютно незначительная, при передаче скрина в разрешении 4K (у меня 4К на 48").
Распознавать тип по геометрии можно только для жестко структурированных документов.
Как универсальное для Structured, Semi-Structured and Unstructured Documents никак не взлетит.
Протестить нельзя (коммерческий продукт).
Тогда вопрос: а в чем ценность этого решения на Хабре?
Само-пиар?
Я скомпилил именно Next с отдельными модулями для клиента, хоста и сервера.
Клонировал репозиторий, скомпилировал, запустил Host для раздачи удаленного доступа и GPU хосте подскочил с 0% до 90% даже без подключений клиентов к хосту.
Это норм на холостом ходу?
Мнение из противоположной стороны глобуса:
Заинтересовался технологией, но живу в южной флориде.
Слегка проштудировал и к сожалению может не подойти.
Здесь влажность и гниение дерева запредельные.
Все дерево должно быть специально с пропиткой против гниения.
Если где-нибудь в Калифорнии с сухим климатом технология подойдет, то в регионах с влажным климатам нужно быть осмотрительным.
Open-source или еще один Vendor Lock on top of others?
Прям бальзам на душу, а то Far2l для меня слишком тяжелый, а текущий MC слишком тощий.
А как бы мне его поставить? Есть где-нибудь инструкции?
Я доку посмотрел на гите, но команду не нашел.
Или нужно у себя компилить?
"Не согласен!" (ДМБ). :)
Когда вы после первой попытки только из госпиталя, вот такие мудаки, которые вытуривают ровно через час, поглядывая на часы, как раз и подталкивают на вторую попытку, когда балансируешь: остаться или пошло оно всё.
В дюрдочку сказано.
Вообще, прочитав статью, отмечаю массу моментов, которые понятны только тем, кто был на грани и тем, кто из этой грани вытаскивал.
И, да, две неудачные попытки 10 лет назад с водворением в клинику, дабы одумался. :)
Что скажете по персональным агентам?
Поставил локально Hermes, но пока рассматриваю как игрушку.
OpenClaw - вообще непонятное назначение, с моей точки зрения.
RAG, векторные базы и семантический поиск - это, конечно, классно как начальный вау-эффект, но с ростом объёма данных агент начинает путаться даже при разбивке знаний по экспертам.
Ищу персональный агент с грамотной организацией памяти, раутингом на экспертов и реалиционной структурой знаний у каждого эксперта.
Может, что подскажете из групп разработки или интересующихся ребят?
Замечания по прочтению:
Информации много: слишком сильно вмешался AI, наколбасил чего-то в кучу.
Читать очень тяжело.
Некоторые части, которые должны быть четко структурированы, типа списка Coding Agents, свалены в 1 параграф, убористой набивкой.
Усложняет понимание.
Хорошо бы выделить суть из общего объёма.
Херассе.
По подсчётам, оборудование на $6,200, за прогон $1,100.
Оно точно стоило того?
Может проще отдать в лабу за 200 долларов?
На какую аудиторию рассчитывалась данная статья?
У меня unstructured, semi-structured and structured mortgage banking documents.
Соответственно, нужна классификация и извлечение данных из документов.
Извлечение нужно согласно схемы на каждый документ.
Зашел на ваш веб-сайт, просмотрел вдоль и поперек и не нашёл интересующий меня список возможностей.
Ни цен, ни возможностей, только самопохваление и просьба на каждый чих-пых записаться к вам на приём.
Если Вы рассчитываете на клиентов уровня Газпром, то какой смысл рассказывать здесь технарям про ваши достижения в борьбе со сложенными втрое бумажками?
У меня на тестах в 16GB VRAM на RTX A5000 влезло 129К контекста,
а больше: out of memory.
Но, кстати, модели довольно умные.
По моим внутренним 80 тестам лажанулись всего на 6,
да и то при исправленном промпте прошли все 80.
Я заменил свою старую модель на Ternary-Bonsai-27B.
Ну, это вы загнули ... или слишком много доверили генератору текста.
Не планируете каждой категории свой prompt, модель и структуру данных в SQLite?
В том смысле, что некоторые категории лучше хранить как реляционная структура данных.
Им нужен свой промпт, свой уровень интеллекта, может быть определенный набор скиллов.
Да.
Дает доступ к спецификации репозитория, таскам в Bug Tracking System, отслеживает активность и specification drift, просмотр best practices repository ...
Объем функций растет по мере реализации, потому и написал что в процессе.
Потуги
автоматически инжектит решение в клипборд с автосабмит (или без)
Отдельный экзешник лезет прямо в сессии среды разработки (Курсор).
В новой версии тестирую Курсов в дебаг режиме, чтобы можно было контролировать каждое окно, но мониторинг файловой системы более надежный.
Задачу для AI можно упростить, используя High-Level Building Blocks.
На внутренней разработке и тестировании:
1. Spec-Driven Design and Development;
2. Архитектура на базе Best Practices: репозиторий Best Practices;
3. Набор UI Components вместо Low-Level UI Coding;
4. Spec Drift Monitoring.
Разгребать после сотни и будет наш хлеб.