Спасибо! Ради таких комментариев и решил всё это публиковать. Честно скажу: самому страшно — ИИ-агент, который сейчас пишем, по сложности уже переплюнул весь проект. Черновик есть, но я там пока ничего не понимаю, кода в разы больше, чем во всём роботе. Тестировать будем, когда переедем на ESP32 и BLE. А пока жду доставку и параллельно прорабатываю железо новой платформы, едут моторы от гириков, линейные приводы, потшипники и алюминий, всегда на связи)
SLAM и Nav — просто примеры, не суть. Мысль не в том, чтобы отменить ROS «уже сегодня» или запретить его использовать. Просто теперь будут появляться решения, которые делают то же самое, но иначе — без жёсткой привязки к ROS как к единственному центру. Появятся порты лучших реализаций необходимого минимума или вовсе новая архитектура. Как Linux, Windows и macOS спокойно живут рядом — каждый под свои задачи. Выбор становится шире, и это нормально, что окажется эффективнее и масштабные покажет время
Вы правы: ROS не запрещает создавать агентные системы, ROS 2 активно развивается и.к. десятилетия специально под него пилили софт и моментально отказаться от того же качественного SLAM, выверенной асинхронности - значит начать "изобретать велосипед". Вопрос не в том, что на ROS нельзя построить такого робота, а в том, что мышление разработчика перестаёт быть завязано на ROS. Раньше, чтобы научить робота новому действию, ты писал новую ноду. Теперь ты описываешь действие словами, LLM его интерпретирует, а ROS (или что-то другое) просто исполняет. Моя мысль: ROS становится «транспортным слоем», а не архитектурным центром. Эпоха ROS как главного способа думать о роботах уходит. Но как инструмент — конечно, останется.
Спасибо за комментарий, согласен, ROS — мощный инструмент, и на нём можно собрать что угодно, включая агентные системы. Моя мысль скорее про то, что центр тяжести смещается: раньше разработчик вручную описывал поведение через ноды, а теперь это будет делать LLM, а ROS становится лишь транспортом. Как ассемблер — он никуда не делся, но мало кто пишет на нём бизнес-логику. Так и здесь: эпоха ROS как основного способа мышления уходит, уступая место агентным архитектурам. Но как инструмент — конечно, останется. Всё-таки десятки лет эта среда "затачивалась" под робототехнику
Это колоссальные объемы текста, а окна ИИ не приспособлены для удобной навигации (во всяком случае со смартфона)
Вы всёравно не поймёте ничего т.к. нужно мониторить все окна в реальном времени чтобы понять что там происходит, из какого окна данные в какое перетекают и где происходят изменения, а окна тестирования я удаляю после результата.
Единственное что я могу предложить: ссылка на очень раннюю версию с коротким диалогом где ещё небыло разделения на функциональные окна:
В целом я могу сделать "публичную ссылку", но я даже не знаю что именно показать. Там очень много текста. Есть "окно планирования" где обсуждается концепция - что нужно реализовать, что для этого использовать (софт, железо). Далее "окно разработки", в котором пишется код, исходя из ключевых решений, это окно видит все файлы проекта, предусматривает взаимодействие между ними. После генерации код чаще всего улетает в "окна тестирования" они создаются разово, под "допиливание" конкретного кода, у них нет общей картины, только файл тестируемого кода и файлы с которыми он взаимодействует
Отличная идея! В сообществе уже есть прошивки по типу "Valetudo". Вы можете пойти этим путём и не ошибётесь если такой робот будет конечным результатом.
Мы не пошли по этому пути потому что:
Часть робота остаётся "черным ящиком" и проще с нуля всё сделать чем пытаться прочитать по каким протоколам там происходит общение с драйверами моторов и лидаром в "родне"
Это может создать проблемы при попытке перенести проект на другое железо (как раз сейчас работаем над платформой 2.0 для улицы)
Но лидар от пылесоса действительно крут, и аналогов в этом бюджете просто нет, он уже есть в планах
Ну это уже продвинутый уровень, я недавно только узнал что такое ИИ агенты, лично для меня пазл сложился - роботы будущего это тела для LLM управляемые ИИ агентами, но ограниченные жестко прошитыми низкоуровневыми контроллерами в плане безопасности. Об этом, кстати, пишу статью сейчас. Ну и для своего проекта пишем ИИ агента для анимаций в файл стримера и простенькой автономности
Да, просто через боль! Вот у вас работает видеопоток и с апгрейдом версии - заглохло, начинаешь копать - всё верно. Код без ошибок как он заверяет. И только через час выясняется что в тот самый момент апгрейда он "дорисовал" путь на воображаемый STUN сервер из локальной сети без выхода в интернет.
Потому фраза "теперь внеси эти правки в исходный файл, сохраняя весь изначальный функционал, без каких-либо изменений, перепиши полный файл с адресом для nano" стал бессменной мантрой. И то, после этого проверяешь в новом окне на соответствие с исходным
Всё верно, и это скорее всего сработает для Вашего модема, однако в случае с моторами может сработать защита самого PowerBank, если не использовать мощных потребителей, можно рассматривать и такую версию, но нужно держать в голове что это может стать "узким местом", и ESP при движении может ребутиться
Т.к. пиковая нагрузка моторов может очень сильно разнится в зависимости от нагрузки (вплоть до полной принудительной невозможности провернуться), выдержит ли это триггер - вопрос, а вот BMS плата на 20A точно выдержит
Я не могу назвать себя разработчиком этого проекта т.к. я ничего бы не сделал без ИИ и без поддержки жены, потому говорю "мы".
STM32 предусмотрен в следующей версии на BLDC моторах, если кратко: у ESP32-S3 только 2(с натяжкой 3) аппаратных UART, мотора 4, хочется оставить ещё зазор для лидара от пылесоса сяоми + по минимому задействовать ресурсы ESP для высвобождения под логику "рефлексов" - TinyML. Так и появилась идея подключить STM32 для общения с драйверами, сбора данных, фасовки в удобные для ESP пакеты. К тому-же Deepseek пообещал продемонстрировать всю "индустриальную мощь STM32, что моторчики будут работать как швейцарские часы)))" поверим, проверим, и я поделюсь
Неужели Вам лучше было бы получить не структурированный ответ с ошибками Т9, когда я буду печатать держа в другой руке шлифмашинку (сейчас на работе) в пыли от грунта, спотыкаясь о дедлайн, ответ был моим, просто "причёсан".
Отлично, но скорость реализации не гарантирую, возможно это займёт около полугода т.к. действительно хочется уделить больше внимания воплощения механической части, стилизации компоновки. Почему-то принято что DIY проекты "на синей изоленте" и пластиковых редукторах на вазелине. Хочется развеять этот стереотип используя собственные навыки работы с металлом
peacemakerv, спасибо за важное дополнение! Вы абсолютно правы: ИИ — это не кнопка «сделать круто», а инструмент, который требует от человека упорства, умения задавать правильные вопросы и готовности разбираться в том, что он выдаёт, после ctrl-c/ctrl-v наступает тест и отладка, что может занять целые часы если ты забыл уточнить например что в вашей локальной сети нет доступа в интернет, или что сервер и стример запущены на одном устройстве. Очевидные вещи могут проскользнуть между пальцев и.к. текст это единственная информация ИИ о Вашем проекте. Грамотная речь тут действительно ключевая — если не можешь сформулировать задачу, ИИ не сможет помочь. Именно об этом я и хочу рассказать в следующих статьях: как выстраивать диалог, как учиться у ИИ и как не бояться залезать в те самые «технолоджии», которые он подсовывает. Спасибо, что подсветили этот момент!
Если честно - это самый ценный на данный момент для меня комментарий. Пожалуй ради этого я и решил опубликовать серию статей о процессе и доступности. Во второй статье я написал обо всех выявленных подводных камнях такого подхода, и как ИИ может стать тренером личностного роста и мотиватором помимо разработчика. Он просто не даст тебе свернуть с пути.
Но в нашем проекте речь идёт только об использовании моторов от гироскутеров (как мощных и доступных), а управлять ими мы планируем через отдельные качественные драйверы (например, на базе STM32 или готовые FOC-драйверы с обратной связью). Так что проблема «чёрного ящика» и отсутствия датчиков тока нас не касается
Отличный комментарий, спасибо! Вы точно попали в суть. Да, OpenBot от Intel — интересный проект, но он, по сути, так и остался «научной лабораторией»: смартфон там используется только как IP-камера, а дисплей вообще отвернули. Получился робот, который умеет то же, что и обычный пылесос, но за гораздо большие деньги.
Наш подход можно развивать дальше:
· Управлять анимациями глаз на дисплее (уже 25 сценариев) · В автономном режиме самому решать, как реагировать на события. · Постоянно развиваться — сейчас мы проектируем активную подвеску, чтобы робот мог перешагивать препятствия, а не просто объезжать их.
ИИ в этом процессе не заменяет поиск, а помогает не останавливаться. Поиск часто говорит: «это уже было, иди посмотри». ИИ говорит: «давай попробуем сделать лучше, я помогу с кодом, ты поможешь с железом». Именно это позволяет из старого смартфона и пары колёс вырастить проект, который уже сейчас вызывает живые дискуссии.
OpenBot никому не нужен, потому что он не даёт того, чего нет у других. А при самостоятельной постройке - только Вы задаёте следующий вектор развития.
Ещё раз спасибо за диалог. Такие комментарии помогают лучше сформулировать, что мы делаем и зачем.
Спасибо! Ради таких комментариев и решил всё это публиковать. Честно скажу: самому страшно — ИИ-агент, который сейчас пишем, по сложности уже переплюнул весь проект. Черновик есть, но я там пока ничего не понимаю, кода в разы больше, чем во всём роботе. Тестировать будем, когда переедем на ESP32 и BLE. А пока жду доставку и параллельно прорабатываю железо новой платформы, едут моторы от гириков, линейные приводы, потшипники и алюминий, всегда на связи)
SLAM и Nav — просто примеры, не суть. Мысль не в том, чтобы отменить ROS «уже сегодня» или запретить его использовать. Просто теперь будут появляться решения, которые делают то же самое, но иначе — без жёсткой привязки к ROS как к единственному центру. Появятся порты лучших реализаций необходимого минимума или вовсе новая архитектура. Как Linux, Windows и macOS спокойно живут рядом — каждый под свои задачи. Выбор становится шире, и это нормально, что окажется эффективнее и масштабные покажет время
Вы правы: ROS не запрещает создавать агентные системы, ROS 2 активно развивается и.к. десятилетия специально под него пилили софт и моментально отказаться от того же качественного SLAM, выверенной асинхронности - значит начать "изобретать велосипед". Вопрос не в том, что на ROS нельзя построить такого робота, а в том, что мышление разработчика перестаёт быть завязано на ROS. Раньше, чтобы научить робота новому действию, ты писал новую ноду. Теперь ты описываешь действие словами, LLM его интерпретирует, а ROS (или что-то другое) просто исполняет. Моя мысль: ROS становится «транспортным слоем», а не архитектурным центром. Эпоха ROS как главного способа думать о роботах уходит. Но как инструмент — конечно, останется.
Спасибо за комментарий, согласен, ROS — мощный инструмент, и на нём можно собрать что угодно, включая агентные системы. Моя мысль скорее про то, что центр тяжести смещается: раньше разработчик вручную описывал поведение через ноды, а теперь это будет делать LLM, а ROS становится лишь транспортом. Как ассемблер — он никуда не делся, но мало кто пишет на нём бизнес-логику. Так и здесь: эпоха ROS как основного способа мышления уходит, уступая место агентным архитектурам. Но как инструмент — конечно, останется. Всё-таки десятки лет эта среда "затачивалась" под робототехнику
Это не представляется возможным:
Это колоссальные объемы текста, а окна ИИ не приспособлены для удобной навигации (во всяком случае со смартфона)
Вы всёравно не поймёте ничего т.к. нужно мониторить все окна в реальном времени чтобы понять что там происходит, из какого окна данные в какое перетекают и где происходят изменения, а окна тестирования я удаляю после результата.
Единственное что я могу предложить: ссылка на очень раннюю версию с коротким диалогом где ещё небыло разделения на функциональные окна:
https://chat.deepseek.com/share/adq2obhj3apkj7y7im
В целом я могу сделать "публичную ссылку", но я даже не знаю что именно показать. Там очень много текста. Есть "окно планирования" где обсуждается концепция - что нужно реализовать, что для этого использовать (софт, железо). Далее "окно разработки", в котором пишется код, исходя из ключевых решений, это окно видит все файлы проекта, предусматривает взаимодействие между ними. После генерации код чаще всего улетает в "окна тестирования" они создаются разово, под "допиливание" конкретного кода, у них нет общей картины, только файл тестируемого кода и файлы с которыми он взаимодействует
Отличная идея! В сообществе уже есть прошивки по типу "Valetudo". Вы можете пойти этим путём и не ошибётесь если такой робот будет конечным результатом.
Мы не пошли по этому пути потому что:
Часть робота остаётся "черным ящиком" и проще с нуля всё сделать чем пытаться прочитать по каким протоколам там происходит общение с драйверами моторов и лидаром в "родне"
Это может создать проблемы при попытке перенести проект на другое железо (как раз сейчас работаем над платформой 2.0 для улицы)
Но лидар от пылесоса действительно крут, и аналогов в этом бюджете просто нет, он уже есть в планах
З.Ы. ответ от такого же не программиста)
Всем, кто спрашивал про код и схемы:
Первая статья была манифестом, технической части тут не было сознательно. Я хотел донести три вещи:
У людей без образования и опыта теперь есть шанс — не вместо профессионалов, а вне зоны их интересов, где раньше были лишь мечты.
Ты больше не привязан к железу — код можно адаптировать под любую плату за вечер. Проекты стали бессмертны.
«Волшебная таблетка» не убьёт кодинг — она отсеет копировщиков от творцов. Лишь копая вглубь можно добиться действительно знаковых свершений.
Но я слышу вас.
Вторая статья уже вышла. Там файлы, схемы, распиновка, карта минполя и инструкция «запусти за 5 минут».
👉 Ссылка на вторую статью
👉 Репозиторий: https://gitverse.ru/donnik_evgeniy/Smartphone_FPV_droid_local.git
Спасибо, что проявили интерес. Именно из-за вас я решил писать вторую часть.
Ну это уже продвинутый уровень, я недавно только узнал что такое ИИ агенты, лично для меня пазл сложился - роботы будущего это тела для LLM управляемые ИИ агентами, но ограниченные жестко прошитыми низкоуровневыми контроллерами в плане безопасности. Об этом, кстати, пишу статью сейчас. Ну и для своего проекта пишем ИИ агента для анимаций в файл стримера и простенькой автономности
Да, просто через боль! Вот у вас работает видеопоток и с апгрейдом версии - заглохло, начинаешь копать - всё верно. Код без ошибок как он заверяет. И только через час выясняется что в тот самый момент апгрейда он "дорисовал" путь на воображаемый STUN сервер из локальной сети без выхода в интернет.
Потому фраза "теперь внеси эти правки в исходный файл, сохраняя весь изначальный функционал, без каких-либо изменений, перепиши полный файл с адресом для nano" стал бессменной мантрой. И то, после этого проверяешь в новом окне на соответствие с исходным
Всё верно, и это скорее всего сработает для Вашего модема, однако в случае с моторами может сработать защита самого PowerBank, если не использовать мощных потребителей, можно рассматривать и такую версию, но нужно держать в голове что это может стать "узким местом", и ESP при движении может ребутиться
Т.к. пиковая нагрузка моторов может очень сильно разнится в зависимости от нагрузки (вплоть до полной принудительной невозможности провернуться), выдержит ли это триггер - вопрос, а вот BMS плата на 20A точно выдержит
Я не могу назвать себя разработчиком этого проекта т.к. я ничего бы не сделал без ИИ и без поддержки жены, потому говорю "мы".
STM32 предусмотрен в следующей версии на BLDC моторах, если кратко: у ESP32-S3 только 2(с натяжкой 3) аппаратных UART, мотора 4, хочется оставить ещё зазор для лидара от пылесоса сяоми + по минимому задействовать ресурсы ESP для высвобождения под логику "рефлексов" - TinyML. Так и появилась идея подключить STM32 для общения с драйверами, сбора данных, фасовки в удобные для ESP пакеты. К тому-же Deepseek пообещал продемонстрировать всю "индустриальную мощь STM32, что моторчики будут работать как швейцарские часы)))" поверим, проверим, и я поделюсь
Неужели Вам лучше было бы получить не структурированный ответ с ошибками Т9, когда я буду печатать держа в другой руке шлифмашинку (сейчас на работе) в пыли от грунта, спотыкаясь о дедлайн, ответ был моим, просто "причёсан".
Отлично, но скорость реализации не гарантирую, возможно это займёт около полугода т.к. действительно хочется уделить больше внимания воплощения механической части, стилизации компоновки. Почему-то принято что DIY проекты "на синей изоленте" и пластиковых редукторах на вазелине. Хочется развеять этот стереотип используя собственные навыки работы с металлом
peacemakerv, спасибо за важное дополнение! Вы абсолютно правы: ИИ — это не кнопка «сделать круто», а инструмент, который требует от человека упорства, умения задавать правильные вопросы и готовности разбираться в том, что он выдаёт, после ctrl-c/ctrl-v наступает тест и отладка, что может занять целые часы если ты забыл уточнить например что в вашей локальной сети нет доступа в интернет, или что сервер и стример запущены на одном устройстве. Очевидные вещи могут проскользнуть между пальцев и.к. текст это единственная информация ИИ о Вашем проекте. Грамотная речь тут действительно ключевая — если не можешь сформулировать задачу, ИИ не сможет помочь. Именно об этом я и хочу рассказать в следующих статьях: как выстраивать диалог, как учиться у ИИ и как не бояться залезать в те самые «технолоджии», которые он подсовывает. Спасибо, что подсветили этот момент!
Если честно - это самый ценный на данный момент для меня комментарий. Пожалуй ради этого я и решил опубликовать серию статей о процессе и доступности. Во второй статье я написал обо всех выявленных подводных камнях такого подхода, и как ИИ может стать тренером личностного роста и мотиватором помимо разработчика. Он просто не даст тебе свернуть с пути.
Вторая статья с файлами проекта и особенностях работы с ИИ уже написана, всё будет в открытом доступе
Но в нашем проекте речь идёт только об использовании моторов от гироскутеров (как мощных и доступных), а управлять ими мы планируем через отдельные качественные драйверы (например, на базе STM32 или готовые FOC-драйверы с обратной связью). Так что проблема «чёрного ящика» и отсутствия датчиков тока нас не касается
Отличный комментарий, спасибо! Вы точно попали в суть. Да, OpenBot от Intel — интересный проект, но он, по сути, так и остался «научной лабораторией»: смартфон там используется только как IP-камера, а дисплей вообще отвернули. Получился робот, который умеет то же, что и обычный пылесос, но за гораздо большие деньги.
Наш подход можно развивать дальше:
· Управлять анимациями глаз на дисплее (уже 25 сценариев)
· В автономном режиме самому решать, как реагировать на события.
· Постоянно развиваться — сейчас мы проектируем активную подвеску, чтобы робот мог перешагивать препятствия, а не просто объезжать их.
ИИ в этом процессе не заменяет поиск, а помогает не останавливаться. Поиск часто говорит: «это уже было, иди посмотри». ИИ говорит: «давай попробуем сделать лучше, я помогу с кодом, ты поможешь с железом». Именно это позволяет из старого смартфона и пары колёс вырастить проект, который уже сейчас вызывает живые дискуссии.
OpenBot никому не нужен, потому что он не даёт того, чего нет у других. А при самостоятельной постройке - только Вы задаёте следующий вектор развития.
Ещё раз спасибо за диалог. Такие комментарии помогают лучше сформулировать, что мы делаем и зачем.