Очень интересная статья. Я совсем недавно познакомился со скилами и они представляются мне более естественным и обоснованным решением, чем классические запросы с промтами к модели. Не хвост (агент) крутит собакой (моделью), а собака хвостом. Инициатива модели по запуску в нужный момент нужных инструментов верна и может быть легко перенесена в робототехнику, роботам давно пора обзавестись быстрыми мозгами уровня Gemma 4. Большое спасибо, дальнейших успехов и Удачи !
Я не против открытого ПО. Magento, тоже имеет открытый исходный код и право использовать его бесплатно. Но людьми движет не только абстрактная любовь к искусству. Если бы Бах, Моцарт или Страдивари не получали деньги за свой труд, то никогда бы не достигли таких высот. Людям нужно что то есть, им необходимо признание, не просто лайки на форуме, а реальная монетизация.
нет, это не творчество, а просто бросание костей на удачу, вдруг выпадет счастье. От человека ничего не зависит и реально творческие люди в такие игры не играют. Нужен механизм когда реальные, осмысленные, направленные на улучшение старания людей будут давать результат. Почитайте с о работе нейросетей с подкреплением. Возможно вам удастся найти механизм, когда модель сама станет генерировать звук лучше, чем был вчера (эволюционировать) и пользователь сможет тонко управлять этим процессом в меру своих талантов, знаний, музыкально чутья, интуиции.
По поводу центрального сайта для сервиса это очень важно! Допустим человек найдет интересное решение. Как он опубликует его для оценки другими людьми? Конечной целью возможно будет монетизация идеи. Должен существовать механизм показа возможностей и покупки результатов как продукта. Для таких дел я обычно использую ПО электронного магазина Magento 2. Там можно дать право пользователям стать менеджерами своих виртуальных складов товаров. Оформит рекламу, назначить цену, ввести счёт для получения денег, следить за динамикой продаж и вам надо иметь процент от сделок. Не так ли? Всё-таки генерация только случайных паттернов это не метод. ИИ как раз должен быть заточен делать что-то лучше людей, а не увеличивать хаос на земле. :-) Удачи!
Ну это понятно, что обучающей стороной должен быть человек. Но почему вы думаете, что много людей будет готово тестировать ваш сервис, который ВСЕГДА будет генерировать только хаос ? Я сильно сомневаюсь в этом. По моему порочна сама концепция вашей идеи, создавать совершено случайные паттерны звук в надежде что когда-нибудь, кому-нибудь удастся получить интересный результат, а если нет? Что тогда? И почему не заменить эмбеддинги изображений на случайные вектора? В чем здесь драйв идеи?
Я вас понял, Молодцы! Очень интересный проект и направления мысли. Контекст разговора надо иметь глобальный (общий для данной предметной области) и частный для конкретных пользователей. RAG надо скорее всего переделать на GraphRAG. У меня есть наработки интеграции LLM с классическим ИИ на основе логического вывода типа Prolog, экспертная система CLIPS. Это позволяет полностью сделать прозрачной, верифицируемой логику выводов, уйти от необходимости использовать сверхтяжелые нейросети рассуждений. В комбинации с глобальным и персональными контекстами это должно существенно повысить точность ответов. У меня так же есть опыт оптимизации скоростей работы мультимодальных сетей и я думаю, что удастся найти локальное решение со скоростью реального времени для не вверх сложных задач. Я бы мог подключиться к решению этих проблем в рамках разумного бюджета, но только с оплатой на международные карточки если это вам интересно и нужно. Еще раз спасибо за статью, ответ и Удачи !
Ну вы блин даете. Как же вы, точнее ваша сеть, научится генерировать действительно интересные вещи? Кто и как будет отличать (управлять) хаосом ? Я как раз предлагаю не генерацию классических скрипок, синтов, а разумное развитие звуковых форм на базе внутренних законов гармонии самих звуков, а не случайных чисел. Так можно искать 1000 лет и ничего не найти, да кто конкретно будет искать, Любой музыкант или любитель услышит хаос и уйдет с вашего сайта. Еще немного другой момент по архитектуре сервиса. Я использую генерацию на стороне клиента при помощи расширений браузера, а сервер только помнит и обменивается между пользователями настройками нейросетей. Это более масштабируемая и гибкая схема.
Мне кажется в вашем пайплайне не хватает RAG (генерация с дополненной выборкой) компоненты. Это позволит гибко адаптировать систему к конкретным сервисам: банки, коммерция, медицина, страховка, ... Каждая область имеет свою специфику, терминологию, протокол общения. Модифицировать LLM очень накладно, а вот затраты внедрения RAG не велики и в смысле желез, софта и работы. Интересная статья. Спасибо Удачи ! p.s. Теоретически можно попробовать подставлять на вход RAG + мультимодальной модели нейросети не сгенерированный ASR текст (возможно искаженный), а сами вектора эмбеддингов фраз? Точнее и текст с промтами и вектор аудиосигнала.
бред сумасшедшего какой то ! Что вы там курите? Внутренние законы визуальных композиций форм, цветов, пространственных положений имеют совершенно отличную от звука и музыки природу. Генерация звука должна опираться на кластеризацию и статистику векторных представлений эмбеддингов звучания голосов лучших певцов, музыкальных инструментов, синтезаторов. Удачным расположением формант, спектров. Получить эти данные можно из оценок композиций музыкантами, звукорежиссерами, любителями музыки. Плюс совершенно необходимо подставлять на вход сети не случайные значения векторов, а осмысленные в плане знаний различных музыкальных гармоний, ритмов: классика, джаз, авангард, .. В противном случае вы получите на выходе какофонию не имеющую никакого эстетического значения, смысла и ценности. Я сам занимаюсь эпизодически этой темой для генерации новых голосов и звуковых эффектов. Но все мои работы базируются исключительно на модификациях, объединении лучших образцов, а не на генераторах случайных чисел.
Предпосылки AGI уже есть. Нынешнее поколение роботов в сложных, необычных, незнакомых ситуациях должно передавать данные в специализированные центры анализа, решения проблем и накопления опыта. Внутри этих центров крутятся самые передовые генеративные модели, системы RAG и точного доказательного логического вывода. Пусть решения каждой новой проблемы будет не быстры, пусть сначала с ошибками, но опыт миллионов роботов в миллиардах актов их действий в реальном физическом мире будет накапливаться и дополнять "разум" всех роботов одновременно. Это обучение будет намного порядков эффективней и быстрей естественного отбора и уже за несколько лет создаст совершенно новое поколение роботов, которые превзойдут самых умелых, опытных и находчивых людей. У меня есть реальные наработки интеграции робототехнических систем на базе ОС ROS 2 и больших мультимодальных генеративных моделей но к сожалению нет опыта в привлечения инвестиций для полноценного стартапа.
Вам надо скорее в психбольницу или на фронт войны с Украиной чем писать опусы на хабре. Вы просто психически не уравновешенный человек с кучей безумных претензий. Не хотели спорить, так зачем начали?
Ваш опус советский по сути и цитаты на Маркса, Ленина или Сталина в нем излишни. Его суть в старой как мир идее поделить чужую собственность и просто является немного прикрытой формой политики якобинцев, большевиков, национал-социалистов и нынешних чекистов.
зачем столько много писать? Вашими гребанными, советскими учебниками по политэкономии я сыт по горло. Все они берут свое начало от "Капитала" Маркса, который считал, что собственность надо полностью уничтожить. Это как раз не наука, а шарлатанство и доктринерство. Несостоятельность учения наглядно доказали крах СССР, смена курса КПК и нынешние попытки чекистов реанимировать совок. Моя формулировка имеет западную, капиталистическую основу.
Собственности — фундаментальное право отдельных лиц или групп (частных субъектов) владеть, использовать и распоряжаться материальными и нематериальными благами, включая средства производства, для получения прибыли. Оно основано на исключительности права собственника и защищается законом. Собственность используется для накопления капитала и получения прибавочной стоимости. Все. Точка. Никаких дискуссий далее быть не может!
Не говорите ерунды. Собственность это мера оценки способностей каждого человека и возможности удовлетворять свои потребности. Если убрать этот механизм, как пытались это сделать в СССР, то общество деградирует, рушится. Очень многие хотят получить все, ничего не давая в замен. Начинается взаимоистребление за ресурсы. Компьютеризация ничего не меняет, как и появление огня, сельского хозяйства, промышленности. Кстати, вы аполитично рассуждаете. Нынешний российский режим власти никогда не откажется от собственности и возможности принуждения к труду. :-)
Не надо сводить капитализм только к принуждению к труду. Главная суть это частная собственность. Если мы сломаем ее, то рухнет вся конструкция цивилизации. Да, нам надо найти способ занять чем либо 8 миллиардов людей , заинтересовать собственников продолжить создавать материальные ценности при помощи принадлежащих им ИИ и роботов в рамках КАПИТАЛИСТИЧЕСКОЙ модели. Как это сделать я пока не знаю. Надо думать. Как вариант заинтересовать людей освоению космосам как младших напарников роботов.
Все это полный коммунистический бред! Капитализм единственная общественная система относительно мягко принуждения людей работать. Никакой разумной альтернативы человечество за все время своего существования не придумало и не придумает. Ключевое понятие - неприкосновенность частной собственности. Именно против нее всю историю боролись толпы бездельных подонков и преступников, управляемых "вождями" типа Ленина, Сталина, Гитлера, Путина. Да, ИИ и массовая роботизация сейчас превратят все 8 миллиардов людей в безработных люмпенов и проблему надо срочно решать, но если убрать капитализм, то общество просто самоуничтожится, как это было с Древним Римом и Российской империей.
Я вас прекрасно понимаю и ни о чем не прошу. Идея действительно толковая и должна приносить монетизацию. Замечу, что я говорил не просто о кнопке "новый граф", а о смене концепции с отладчика на систему разработки, некое IDE. Спасибо за быстрый ответ и еще раз Удачи !
Очень интересная разработка. Я сейчас воюю над похожей задачей и тоже строю визуальные графы Web Audio API. К сожалению не видно ссылки на коды. Сделано ли это специально? Было бы интересно глянуть без прав использования и распространения. От себя могу дать совет сделать универсальную среду разработки не только мониторинга готовых аудио графов, но и создания новых, редактирования и записи графов популярных приложений и т.д.. Спасибо, хорошего кодинга и Удачи !
Разумно повторять биологическую эволюцию, совершенствующую живые организмы последовательно, строя контуры управления, уровень над уровнем. Хорошо проверенные, надежные решения переносятся в инстинкты. Далее идет самообучение и фиксация на генетическом уровне. ROS 2 со своими иерархиями идеально подходит для моделирования и реализации таких вещей. Удачи !
Очень интересная статья. Я совсем недавно познакомился со скилами и они представляются мне более естественным и обоснованным решением, чем классические запросы с промтами к модели. Не хвост (агент) крутит собакой (моделью), а собака хвостом. Инициатива модели по запуску в нужный момент нужных инструментов верна и может быть легко перенесена в робототехнику, роботам давно пора обзавестись быстрыми мозгами уровня Gemma 4. Большое спасибо, дальнейших успехов и Удачи !
Я не против открытого ПО. Magento, тоже имеет открытый исходный код и право использовать его бесплатно. Но людьми движет не только абстрактная любовь к искусству. Если бы Бах, Моцарт или Страдивари не получали деньги за свой труд, то никогда бы не достигли таких высот. Людям нужно что то есть, им необходимо признание, не просто лайки на форуме, а реальная монетизация.
нет, это не творчество, а просто бросание костей на удачу, вдруг выпадет счастье. От человека ничего не зависит и реально творческие люди в такие игры не играют. Нужен механизм когда реальные, осмысленные, направленные на улучшение старания людей будут давать результат. Почитайте с о работе нейросетей с подкреплением. Возможно вам удастся найти механизм, когда модель сама станет генерировать звук лучше, чем был вчера (эволюционировать) и пользователь сможет тонко управлять этим процессом в меру своих талантов, знаний, музыкально чутья, интуиции.
По поводу центрального сайта для сервиса это очень важно! Допустим человек найдет интересное решение. Как он опубликует его для оценки другими людьми? Конечной целью возможно будет монетизация идеи. Должен существовать механизм показа возможностей и покупки результатов как продукта. Для таких дел я обычно использую ПО электронного магазина Magento 2. Там можно дать право пользователям стать менеджерами своих виртуальных складов товаров. Оформит рекламу, назначить цену, ввести счёт для получения денег, следить за динамикой продаж и вам надо иметь процент от сделок. Не так ли? Всё-таки генерация только случайных паттернов это не метод. ИИ как раз должен быть заточен делать что-то лучше людей, а не увеличивать хаос на земле. :-) Удачи!
Ну это понятно, что обучающей стороной должен быть человек. Но почему вы думаете, что много людей будет готово тестировать ваш сервис, который ВСЕГДА будет генерировать только хаос ? Я сильно сомневаюсь в этом. По моему порочна сама концепция вашей идеи, создавать совершено случайные паттерны звук в надежде что когда-нибудь, кому-нибудь удастся получить интересный результат, а если нет? Что тогда? И почему не заменить эмбеддинги изображений на случайные вектора? В чем здесь драйв идеи?
Я вас понял, Молодцы! Очень интересный проект и направления мысли. Контекст разговора надо иметь глобальный (общий для данной предметной области) и частный для конкретных пользователей. RAG надо скорее всего переделать на GraphRAG. У меня есть наработки интеграции LLM с классическим ИИ на основе логического вывода типа Prolog, экспертная система CLIPS. Это позволяет полностью сделать прозрачной, верифицируемой логику выводов, уйти от необходимости использовать сверхтяжелые нейросети рассуждений. В комбинации с глобальным и персональными контекстами это должно существенно повысить точность ответов. У меня так же есть опыт оптимизации скоростей работы мультимодальных сетей и я думаю, что удастся найти локальное решение со скоростью реального времени для не вверх сложных задач. Я бы мог подключиться к решению этих проблем в рамках разумного бюджета, но только с оплатой на международные карточки если это вам интересно и нужно. Еще раз спасибо за статью, ответ и Удачи !
Ну вы блин даете. Как же вы, точнее ваша сеть, научится генерировать действительно интересные вещи? Кто и как будет отличать (управлять) хаосом ? Я как раз предлагаю не генерацию классических скрипок, синтов, а разумное развитие звуковых форм на базе внутренних законов гармонии самих звуков, а не случайных чисел. Так можно искать 1000 лет и ничего не найти, да кто конкретно будет искать, Любой музыкант или любитель услышит хаос и уйдет с вашего сайта. Еще немного другой момент по архитектуре сервиса. Я использую генерацию на стороне клиента при помощи расширений браузера, а сервер только помнит и обменивается между пользователями настройками нейросетей. Это более масштабируемая и гибкая схема.
Мне кажется в вашем пайплайне не хватает RAG (генерация с дополненной выборкой) компоненты. Это позволит гибко адаптировать систему к конкретным сервисам: банки, коммерция, медицина, страховка, ... Каждая область имеет свою специфику, терминологию, протокол общения. Модифицировать LLM очень накладно, а вот затраты внедрения RAG не велики и в смысле желез, софта и работы. Интересная статья. Спасибо Удачи ! p.s. Теоретически можно попробовать подставлять на вход RAG + мультимодальной модели нейросети не сгенерированный ASR текст (возможно искаженный), а сами вектора эмбеддингов фраз? Точнее и текст с промтами и вектор аудиосигнала.
бред сумасшедшего какой то ! Что вы там курите? Внутренние законы визуальных композиций форм, цветов, пространственных положений имеют совершенно отличную от звука и музыки природу. Генерация звука должна опираться на кластеризацию и статистику векторных представлений эмбеддингов звучания голосов лучших певцов, музыкальных инструментов, синтезаторов. Удачным расположением формант, спектров. Получить эти данные можно из оценок композиций музыкантами, звукорежиссерами, любителями музыки. Плюс совершенно необходимо подставлять на вход сети не случайные значения векторов, а осмысленные в плане знаний различных музыкальных гармоний, ритмов: классика, джаз, авангард, .. В противном случае вы получите на выходе какофонию не имеющую никакого эстетического значения, смысла и ценности. Я сам занимаюсь эпизодически этой темой для генерации новых голосов и звуковых эффектов. Но все мои работы базируются исключительно на модификациях, объединении лучших образцов, а не на генераторах случайных чисел.
Предпосылки AGI уже есть. Нынешнее поколение роботов в сложных, необычных, незнакомых ситуациях должно передавать данные в специализированные центры анализа, решения проблем и накопления опыта. Внутри этих центров крутятся самые передовые генеративные модели, системы RAG и точного доказательного логического вывода. Пусть решения каждой новой проблемы будет не быстры, пусть сначала с ошибками, но опыт миллионов роботов в миллиардах актов их действий в реальном физическом мире будет накапливаться и дополнять "разум" всех роботов одновременно. Это обучение будет намного порядков эффективней и быстрей естественного отбора и уже за несколько лет создаст совершенно новое поколение роботов, которые превзойдут самых умелых, опытных и находчивых людей. У меня есть реальные наработки интеграции робототехнических систем на базе ОС ROS 2 и больших мультимодальных генеративных моделей но к сожалению нет опыта в привлечения инвестиций для полноценного стартапа.
Вам надо скорее в психбольницу или на фронт войны с Украиной чем писать опусы на хабре. Вы просто психически не уравновешенный человек с кучей безумных претензий. Не хотели спорить, так зачем начали?
Ваш опус советский по сути и цитаты на Маркса, Ленина или Сталина в нем излишни. Его суть в старой как мир идее поделить чужую собственность и просто является немного прикрытой формой политики якобинцев, большевиков, национал-социалистов и нынешних чекистов.
зачем столько много писать? Вашими гребанными, советскими учебниками по политэкономии я сыт по горло. Все они берут свое начало от "Капитала" Маркса, который считал, что собственность надо полностью уничтожить. Это как раз не наука, а шарлатанство и доктринерство. Несостоятельность учения наглядно доказали крах СССР, смена курса КПК и нынешние попытки чекистов реанимировать совок. Моя формулировка имеет западную, капиталистическую основу.
Собственности — фундаментальное право отдельных лиц или групп (частных субъектов) владеть, использовать и распоряжаться материальными и нематериальными благами, включая средства производства, для получения прибыли. Оно основано на исключительности права собственника и защищается законом. Собственность используется для накопления капитала и получения прибавочной стоимости. Все. Точка. Никаких дискуссий далее быть не может!
термин мотивация мягче но не дает сути. Суть именно принуждение. Нет мотивация можно валять дурака, а вот если жрать нечего - это уже принуждение. :-)
Не говорите ерунды. Собственность это мера оценки способностей каждого человека и возможности удовлетворять свои потребности. Если убрать этот механизм, как пытались это сделать в СССР, то общество деградирует, рушится. Очень многие хотят получить все, ничего не давая в замен. Начинается взаимоистребление за ресурсы. Компьютеризация ничего не меняет, как и появление огня, сельского хозяйства, промышленности. Кстати, вы аполитично рассуждаете. Нынешний российский режим власти никогда не откажется от собственности и возможности принуждения к труду. :-)
Не надо сводить капитализм только к принуждению к труду. Главная суть это частная собственность. Если мы сломаем ее, то рухнет вся конструкция цивилизации. Да, нам надо найти способ занять чем либо 8 миллиардов людей , заинтересовать собственников продолжить создавать материальные ценности при помощи принадлежащих им ИИ и роботов в рамках КАПИТАЛИСТИЧЕСКОЙ модели. Как это сделать я пока не знаю. Надо думать. Как вариант заинтересовать людей освоению космосам как младших напарников роботов.
Все это полный коммунистический бред! Капитализм единственная общественная система относительно мягко принуждения людей работать. Никакой разумной альтернативы человечество за все время своего существования не придумало и не придумает. Ключевое понятие - неприкосновенность частной собственности. Именно против нее всю историю боролись толпы бездельных подонков и преступников, управляемых "вождями" типа Ленина, Сталина, Гитлера, Путина. Да, ИИ и массовая роботизация сейчас превратят все 8 миллиардов людей в безработных люмпенов и проблему надо срочно решать, но если убрать капитализм, то общество просто самоуничтожится, как это было с Древним Римом и Российской империей.
Я вас прекрасно понимаю и ни о чем не прошу. Идея действительно толковая и должна приносить монетизацию. Замечу, что я говорил не просто о кнопке "новый граф", а о смене концепции с отладчика на систему разработки, некое IDE. Спасибо за быстрый ответ и еще раз Удачи !
Очень интересная разработка. Я сейчас воюю над похожей задачей и тоже строю визуальные графы Web Audio API. К сожалению не видно ссылки на коды. Сделано ли это специально? Было бы интересно глянуть без прав использования и распространения. От себя могу дать совет сделать универсальную среду разработки не только мониторинга готовых аудио графов, но и создания новых, редактирования и записи графов популярных приложений и т.д.. Спасибо, хорошего кодинга и Удачи !
Разумно повторять биологическую эволюцию, совершенствующую живые организмы последовательно, строя контуры управления, уровень над уровнем. Хорошо проверенные, надежные решения переносятся в инстинкты. Далее идет самообучение и фиксация на генетическом уровне. ROS 2 со своими иерархиями идеально подходит для моделирования и реализации таких вещей. Удачи !