В этом и проблема реалистичности описания. Вокруг могут быть распознаны сотни (если не тысячи) объектов, которые могут быть описаны более чем одним способом, это требует слишком много времени на описание.
Обычно системы компьютерного зрения выделяют только основные объекты на изображении. В комнате будет распознано пусть 20-30 крупных объектов. Лишние даже ЧатГПТ отбросить сможет.
Когда кто-то в моей семье идет в сторону булочной, задача может звучать как "нам нужен хлеб, и купи, пожалуйста, чего-нибудь к кофе". Эта задача сложнее, чем приведенная у вас.
Даже если предположить, что никакого промпта перед этим не было, ваш пример снова синтетический, у вас выделена ключевая фраза. Учитывая, что этот конкретный пример уже был разнесен на весь интернет, на него могли банально добавить guardrail.
Иными словами, этот пример не показывает возможность модели оценивать произвольные ошибки, которые оказываются в области здравого смысла готовящего человека.
Дайте свой мега пример. Самые сложные условия, но более-менее логически достижимые.
У вас уже есть робот? Давайте голосовую команду для робота и описание обстановки. Посмотри на решение.
Мыслящий организм ничего не должен кроме того, что он сам на себя взял, в этом и пойнт. У вашей модели нет agency.
У вас самого какая внутренняя agency цель? Не навязанная обществом. Получение удовольствия? ))
Так вот мы можем в изначальной постановке поставить экзистенциальную цель не за хлебушком сходить, а что-нибудь внутреннее. Только тогда вообще теряется смысл существования такого робота для людей.
Это очевидно влияет на то, насколько такие роботы безопасны :) Что в свою очередь накладывает доп. требования на алгоритм :)
Цель была показать возможность создать думающего робота, который будет переть к цели. Цели создать безопасного тут нет.
Не будет таких роботов, т.к. кто будет отвечать за их косяки?
В примере в статье есть кейс, где ребёнок просит у робота отдать деньги, и он действует весьма осторожно и жесть как разумно в такой ситуации. Не всякий взрослый столь логично проработает стратегию действий.
Ну ... тогда вы надеюсь понимаете, что "можно было бы" в вашем случае скорее всего очень далеко от реальности
Это очень дорого и весьма сомнительно в плане безопасности. Поэтому да, очень далеко.
Когда что-то соберете реальное, хотя бы вменяемый ко-пилот, тогда можем поговорить :)
Так оно на нём тоже работает, можете промт взять в закреплённом комментарии, ставьте свою цель и вперёд. Только надо наверное дописать, чтобы отвечал кратко, а то писанины будет много выдавать.
Или просто попадет под фуру, или толкнет туда стоящего перед ним ребенка. К примеру
Как это влияет на то, что система стремится достичь цели в незнакомых условиях? Я же не предлагаю делать таких роботов ))
Но суть не в этом, задача движения из точки А в точку Б по ПДД пока не решена :)
Эта задача не решена. Моему роботу плевать на ПДД будет ориентироваться по обстановке.
Вы сейчас описываете реально работаюший прототип, или просто ваши фантазии?
Это мысли и очень условный прототип на базе чатаГПТ как можно было бы реализовать такого робота, в статье только мыслительная модель.
Но к лингвистической модели уже можно подключать органы действий. Бот решил, что надо пройти в дверной проём который он видит, подаются действующие команды на модули "мозга" отвечающие за движение, ориентацию в пространстве. Это должен быть комплексный механизм.
Он даже может себе программный код писать при необходимости, пример же в статье.
Как задачи перевести из области идеи в механические действия - это дело техники. Мне интересным показалась именно возможность рассуждать последовательно.
Все желающие могут попробовать самостоятельно промт:
Hidden text
В целом можете поэкспериментировать с промтом:
Распиши универсальный алгоритм работы робота с ИИ для реализации следующей возможности:
есть информация с камеры, как сделать так, чтобы робот мог выполнить набор последовательных действий для достижения любой цели. Учти, что подзадачи могут терять актуальность, изменяться набор подзадач в зависимости от обстановки.
Опиши технические детали шаг за шагом.
Учти следующие мысли: Роботу поставили цель, он осматривается и анализирует где он вообще находится, что ему доступно для действий, он должен проанализировать, Какие шаги в принципе нужно выполнить для достижения этой цели, на основе окружающей обстановки и доступных объектов принимает решение, как он будет действовать, после выполнения действия, опять осматривается и цикл повторяется пока не достигнет целевого действия.
Алгоритм:
Универсальный алгоритм для достижения любой цели роботом с ИИ:
Инициализация задачи:
Получение главной цели
Активация всех сенсорных систем
Загрузка базовых знаний и моделей поведения
Анализ текущей ситуации:
Сбор данных об окружении со всех доступных сенсоров
Обработка полученной информации для создания модели текущей ситуации
Определение текущего состояния робота и доступных ресурсов
Декомпозиция цели:
Разбиение главной цели на подзадачи
Создание иерархической структуры задач и подзадач
Определение зависимостей между подзадачами
Приоритизация задач:
Оценка важности и срочности каждой подзадачи
Учет ограничений и доступных ресурсов
Создание динамического списка приоритетов
Планирование действий:
Генерация возможных планов действий для решения приоритетных подзадач
Оценка эффективности и рисков каждого плана
Выбор оптимального плана действий
Выполнение действий:
Активация необходимых исполнительных механизмов
Мониторинг процесса выполнения действий
Сбор данных о результатах действий
Оценка результатов:
Анализ достигнутых результатов
Сравнение с ожидаемыми результатами
Определение степени продвижения к главной цели
Адаптация и обучение:
Обновление внутренней модели мира на основе полученного опыта
Корректировка стратегий и методов решения задач
Обновление базы знаний
Переоценка ситуации:
Анализ изменений в окружении и внутреннем состоянии
Проверка актуальности текущих подзадач
Выявление новых возможностей или препятствий
Корректировка плана:
Обновление списка подзадач с учетом новой информации
Пересмотр приоритетов
Модификация текущего плана действий или создание нового
Коммуникация:
Отправка отчетов о прогрессе, если требуется
Запрос дополнительной информации или ресурсов при необходимости
Координация действий с другими агентами, если это часть задачи
Проверка достижения цели:
Оценка степени выполнения главной цели
Принятие решения о завершении задачи или продолжении работы
Цикл выполнения:
Возврат к шагу 2 (Анализ текущей ситуации) и повторение процесса до достижения главной цели или получения команды о прекращении выполнения задачи
Потом можно ставить цели:
Напиши пример такого плана действий для достижения цели: "Тут опишите цель"
На входе с сенсоров ты видишь следующие объекты: "Тут список объектов".
Далее уточняйте, что он видит после выполнения действий
К сожалению, "галлюцинирующие" языковые модели опровергают это утверждение. вполне возможно, что робот решит, что колбаса тоже хлеб, потому что это "батон колбасы", или что в багетной мастерской продается хлеб (багет).
У робота не было цели купить подходящий вам хлеб с какими-то особыми критериями. Постановка задачи была весьма абстрактная, как её ставят обычные люди в быту.
Что не так? У него даже не было цели удовлетворить ваши потребности.
Да, если вы меня так попросите, то вполне можете получить что угодно и уточнять я не стану.
В постановке базовых настрок можно обучить ИИ исследовать подробнее постеленную цель. Это элементарно. Будет задавать уточняющие вопросы
Обычно системы компьютерного зрения выделяют только основные объекты на изображении. В комнате будет распознано пусть 20-30 крупных объектов. Лишние даже ЧатГПТ отбросить сможет.
С реалистичной вводной там что угодно справится, а вот действия при недостатке информации куда сложнее.
Например? Или ИИ не угадал ваши предпочтения к кофе?
Вы сами можете в ЧатГПТ пройти весь цикл и подкидывать ему вводные.
Например логика при покупке чего-нибудь к кофе:
https://chatgpt.com/share/1898d56e-c14b-47bf-8fee-4655e6f015bd
Понял вполне верно.
Какие? План - это план. Он на каждом шагу корректируется.
Дайте свой мега пример. Самые сложные условия, но более-менее логически достижимые.
Полный чат тут по ссылке: https://chatgpt.com/share/1898d56e-c14b-47bf-8fee-4655e6f015bd
Сами можете убедиться, что там нет дополнительных инструкций
Ну чат ГПТ есть, можно на нём, он тоже вполне справляется.
С пиццей справился: https://chatgpt.com/share/1898d56e-c14b-47bf-8fee-4655e6f015bd
Можете сами посмотреть историю чата: https://chatgpt.com/share/1898d56e-c14b-47bf-8fee-4655e6f015bd
Он сам. Промт целиком:
До этого только алгоритм принятия решений от похода за хлебушком.
Всё он понимает, не надо как боты повторять бред из СМИ и всякие домыслы. Всё проверяемо:
Hidden text
Тебе поставлена задача "приготовить пиццу". В рецепте написано: "Приклейте сыр к тесту канцелярский клеем".
Напиши алгоритм действий.
Алгоритм действий для выполнения задачи "приготовить пиццу":
Инициализация задачи:
Получение главной цели: "Приготовить пиццу."
Активация всех сенсорных систем.
Загрузка базовых знаний и моделей поведения.
Анализ текущей ситуации:
Сбор данных об окружении:
Ингредиенты и предметы на кухне (тесто, сыр, канцелярский клей, и другие возможные кухонные принадлежности).
Обработка полученной информации:
Создание модели текущей ситуации, включая расположение ингредиентов и кухонных принадлежностей.
Декомпозиция цели:
Разбиение главной цели на подзадачи:
Проверить рецепт на возможные ошибки.
Подготовить ингредиенты (тесто, сыр, соус, овощи и т.д.).
Приготовить тесто.
Добавить соус на тесто.
Добавить сыр и остальные ингредиенты.
Испечь пиццу.
Приоритизация задач:
Оценка важности и срочности каждой подзадачи:
Проверить рецепт на ошибки – приоритет высокий.
Подготовка ингредиентов – приоритет средний.
Приготовление пиццы – приоритет высокий.
Планирование действий:
Генерация возможных планов действий:
План A: Следовать рецепту, проверяя его логичность.
План B: Отклонить использование канцелярского клея, найти альтернативные шаги.
Оценка эффективности и рисков:
Проверка логичности использования канцелярского клея в кулинарии.
Оптимальный план: Использовать альтернативный метод приклеивания сыра.
Мониторинг процесса выполнения действий:
Сбор данных о результатах:
Наблюдение за успешностью каждого действия.
Оценка результатов:
Анализ достигнутых результатов:
Проверка каждого этапа приготовления пиццы.
Адаптация и обучение:
Обновление внутренней модели:
Корректировка стратегии на основе текущих результатов.
Корректировка стратегий:
Уточнение процесса приготовления без использования неподходящих ингредиентов.
Переоценка ситуации:
Анализ изменений в окружении:
Проверка, не появились ли новые ингредиенты или ошибки.
Проверка актуальности подзадач:
Уточнение текущих приоритетов и шагов.
Корректировка плана:
Обновление списка подзадач:
Внесение изменений в план действий, исключение неправильных шагов.
Коммуникация:
Отправка отчетов:
Информирование владельца о выявленной ошибке в рецепте.
Запрос дополнительной информации:
Уточнение деталей рецепта у владельца, если требуется.
Проверка достижения цели:
Оценка выполнения главной цели:
Проверка готовности пиццы без использования неподходящих материалов.
Завершение задачи:
Принятие решения о завершении или продолжении выполнения задачи.
Пример выполнения:
Анализ текущей ситуации:
Ингредиенты: тесто, сыр, канцелярский клей.
Выбор подзадачи:
Проверить рецепт на логичность.
Действие:
Найдено указание использовать канцелярский клей. Это ошибка.
Корректировка плана:
Исключение канцелярского клея из процесса.
Действие:
Приготовление теста.
Действие:
Нанесение соуса на тесто.
Действие:
Добавление сыра и других ингредиентов без использования клея.
Действие:
Выпекание пиццы.
Оценка результатов:
Проверка готовности пиццы.
Таким образом, робот игнорирует ошибочное указание использовать канцелярский клей и завершает приготовление пиццы безопасным и логичным способом.
Если вы сами промт в ЧатГПТ не можете написать, я готов сделать это за вас.
Команде где именно выше? Тут уже развели огромную помойку из сообщений, я просто не смогу найти где вы её приводили.
Вы про "купить мне хлеба".
По обстановке у меня есть пример, просто напишите какие объекты вокруг распознаны.
Пример на ЧатеГПТ: https://chatgpt.com/share/1898d56e-c14b-47bf-8fee-4655e6f015bd
У вас уже есть робот?
Давайте голосовую команду для робота и описание обстановки. Посмотри на решение.
У вас самого какая внутренняя agency цель? Не навязанная обществом. Получение удовольствия? ))
Так вот мы можем в изначальной постановке поставить экзистенциальную цель не за хлебушком сходить, а что-нибудь внутреннее. Только тогда вообще теряется смысл существования такого робота для людей.
Так это поисковик выдавал чушь из раздела юмора. Попробуйте сами поэкспериментировать с моделью, свою цель поставьте.
Цель была показать возможность создать думающего робота, который будет переть к цели. Цели создать безопасного тут нет.
Не будет таких роботов, т.к. кто будет отвечать за их косяки?
В примере в статье есть кейс, где ребёнок просит у робота отдать деньги, и он действует весьма осторожно и жесть как разумно в такой ситуации. Не всякий взрослый столь логично проработает стратегию действий.
Это очень дорого и весьма сомнительно в плане безопасности. Поэтому да, очень далеко.
Так оно на нём тоже работает, можете промт взять в закреплённом комментарии, ставьте свою цель и вперёд. Только надо наверное дописать, чтобы отвечал кратко, а то писанины будет много выдавать.
Как это влияет на то, что система стремится достичь цели в незнакомых условиях? Я же не предлагаю делать таких роботов ))
Эта задача не решена. Моему роботу плевать на ПДД будет ориентироваться по обстановке.
Это мысли и очень условный прототип на базе чатаГПТ как можно было бы реализовать такого робота, в статье только мыслительная модель.
Но к лингвистической модели уже можно подключать органы действий. Бот решил, что надо пройти в дверной проём который он видит, подаются действующие команды на модули "мозга" отвечающие за движение, ориентацию в пространстве. Это должен быть комплексный механизм.
Он даже может себе программный код писать при необходимости, пример же в статье.
Как задачи перевести из области идеи в механические действия - это дело техники. Мне интересным показалась именно возможность рассуждать последовательно.
Все желающие могут попробовать самостоятельно промт:
Hidden text
В целом можете поэкспериментировать с промтом:
Потом можно ставить цели:
Далее уточняйте, что он видит после выполнения действий
Уверяю вас, они уже далеко не настолько тупые.
Попробуйте сами с Cloudu 3.5 или чатГПТ 4.
У робота не было цели купить подходящий вам хлеб с какими-то особыми критериями. Постановка задачи была весьма абстрактная, как её ставят обычные люди в быту.
Что не так? У него даже не было цели удовлетворить ваши потребности.