Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 13
Закреплённые комментарии
UPD (17.04.2026) В репозиторий добавлены:
· VLADatasetCollector — во время работы робота автоматический сбор пресетов для обучения Multi-Sensor VLA (кадры камеры + семантика VLM + лидар + одометрия + reasoning + веса сенсоров). Формат совместим с LeRobot и Open X-Embodiment. · Файловые инструменты (write_file, read_file, list_files, apply_patch) — робот может сохранять калибровки, заметки и конфиги между сессиями. · CodeExecutionTool — безопасное выполнение Python-кода для самокалибровки и экспериментов.
Всё опционально, ядро не перегружено. Кому нужно — подключат за 15 минут.
UPD (21.04.2026): Режим «Инженера», прецизионное зрение и вайбкодинг
С момента публикации в проект добавлено несколько архитектурных изменений.
🧠 1. Разделение на «Пилота» и «Инженера»
Агент теперь работает в двух режимах, переключаясь по ключевым словам или командам:
· Пилот (локальная Vikhr или облачная YandexGPT): управление роботом в реальном времени, опора на сенсоры. · Инженер (облачная YandexGPT): изолированная сессия для правки кода и конфигов. Не видит поток сенсоров, но имеет доступ к файловой системе проекта, поиску в интернете и выполнению кода в песочнице.
👁️ 2. Прецизионный режим VLM и инструмент focus_on
VLM научилась фокусироваться на конкретном объекте. Новый инструмент focus_on(target) возвращает смещение в градусах, дистанцию и уверенность. Пригодится для «follow me», возврата на док-станцию по QR-коду или будущего захвата манипулятором.
☁️ 3. YandexGPT Client: стриминг и глубокий поиск
Облачный клиент обновлён:
· Потоковая генерация — позволяет писать длинный код без обрезания по токенам. · search_and_summarize — поиск в интернете с развёрнутым ответом (например, «найди драйвер ROS и адаптируй»).
📄 4. GRALL_SELF.md и вайбкодинг
В корне проекта лежит GRALL_SELF.md — описание платформы, сенсоров и доступных команд. Теперь добавление нового железа выглядит так:
Человек говорит: «Найди реализацию манипулятора в ROS и адаптируй под нашу платформу».
Агент переключается в режим Инженера.
YandexGPT ищет информацию, читает GRALL_SELF.md и через потоковую генерацию пишет код (новые файлы, патчи в конфиг).
Инженер сообщает: «Готово, перезапустите агента».
Весь процесс виден в дашборде и не блокирует работу робота.
💾 5. Автоматические бэкапы
Инструменты write_file и apply_patch перед изменением создают копию в .backups. Откат всегда возможен.
Один «мозг» управляет несколькими телами. Представьте: колёсная платформа подъезжает, с неё взлетает дрон, осматривает местность, передаёт данные, садится обратно. Один агент, один сервер
...один выстрел
С языка сняли. Сам смотрю в эту строну. Очень интересная тема...
Касательно проекта? Интересны Ваши мысли/дополнения
Ну я пока на этапе освоения esp32 и ROS2, сделал пока только тележку которая с телефона управляется. Я давно думаю о том как научить робота самостоятельно принимать решения с использованием llm.
Отлично, приглашаю к обсуждению https://vk.ru/id1068211259
А куда делись модели, которые вы рекомендуете установить? Там пусто. https://huggingface.co/Vikhr
Перепроверю после работы (вечером) на самом деле подойдёт любая дообученная на русском языке, запускаемая через Ollama, главное чтобы "железо" осилило адекватную скорость генерации, JSON - нативный язык для любой LLM. Нужно лишь изменить модель в конфиге.
З.Ы. возможно Вы подберёте ещё более подходящую модель, (рекомендую попробовать gemma, qwen, QVikhr-2.5-1.5B-Instruct-r)
UPD (17.04.2026) В репозиторий добавлены:
· VLADatasetCollector — во время работы робота автоматический сбор пресетов для обучения Multi-Sensor VLA (кадры камеры + семантика VLM + лидар + одометрия + reasoning + веса сенсоров). Формат совместим с LeRobot и Open X-Embodiment. · Файловые инструменты (write_file, read_file, list_files, apply_patch) — робот может сохранять калибровки, заметки и конфиги между сессиями. · CodeExecutionTool — безопасное выполнение Python-кода для самокалибровки и экспериментов.
Всё опционально, ядро не перегружено. Кому нужно — подключат за 15 минут.
UPD (21.04.2026): Режим «Инженера», прецизионное зрение и вайбкодинг
С момента публикации в проект добавлено несколько архитектурных изменений.
🧠 1. Разделение на «Пилота» и «Инженера»
Агент теперь работает в двух режимах, переключаясь по ключевым словам или командам:
· Пилот (локальная Vikhr или облачная YandexGPT): управление роботом в реальном времени, опора на сенсоры. · Инженер (облачная YandexGPT): изолированная сессия для правки кода и конфигов. Не видит поток сенсоров, но имеет доступ к файловой системе проекта, поиску в интернете и выполнению кода в песочнице.
👁️ 2. Прецизионный режим VLM и инструмент focus_on
VLM научилась фокусироваться на конкретном объекте. Новый инструмент focus_on(target) возвращает смещение в градусах, дистанцию и уверенность. Пригодится для «follow me», возврата на док-станцию по QR-коду или будущего захвата манипулятором.
☁️ 3. YandexGPT Client: стриминг и глубокий поиск
Облачный клиент обновлён:
· Потоковая генерация — позволяет писать длинный код без обрезания по токенам. · search_and_summarize — поиск в интернете с развёрнутым ответом (например, «найди драйвер ROS и адаптируй»).
📄 4. GRALL_SELF.md и вайбкодинг
В корне проекта лежит GRALL_SELF.md — описание платформы, сенсоров и доступных команд. Теперь добавление нового железа выглядит так:
Человек говорит: «Найди реализацию манипулятора в ROS и адаптируй под нашу платформу».
Агент переключается в режим Инженера.
YandexGPT ищет информацию, читает GRALL_SELF.md и через потоковую генерацию пишет код (новые файлы, патчи в конфиг).
Инженер сообщает: «Готово, перезапустите агента».
Весь процесс виден в дашборде и не блокирует работу робота.
💾 5. Автоматические бэкапы
Инструменты write_file и apply_patch перед изменением создают копию в .backups. Откат всегда возможен.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Максимально эффективная интеграция ИИ в робототехнику