Comments 7
Эх, на самом интересном месте.
А что за конфигурация квартиры / bt-маяки / точность определения координат по ним? Уже делали какие-то вычисления и замеры или есть какая-то готовая система, доступная для DIY?
UPD: и по поводу корректности управления через промптинг для LLM (какой?) будет интересно почитать про результаты. LLM это все же не математический аппарат и точные расчеты проводить не умеет
Квартира самая тривиальная хрущевка. Прямоугольное пространство с препятствиями. LLM-ке я представлю его как массив нулей и единичек. 0 - ехать можно. 1 - нельзя.
Блютуз-маяки пока ХЗ какие. Но какие-то дома валяются. Еще не экспериментировал с этим. Хотелось бы верить, что работать это будет достаточно предсказуемо, по факту посмотрю.
LLM это все же не математический аппарат и точные расчеты проводить не умеет.
Эту гипотезу я тестировал. Суть была следующая: даю Чату-ГПТ массив нулей и единиц. Правила все те же: 0 - свободно, 1 - не проедешь.
Дал задачу достигнуть точки 5:3.
Просил у Чата-ГПТ ввод функции (вперед/назад/влево/вправо) + значение.
На вывод Чата-ГПТ двигал воображаемую "машину" по массиву.
Возвращал Чату-ГПТ его конечную точку в зависимости от предыдущего вывода.
Предварительно описал для себя правила, как будет меняться положение "машины" на плоскости в зависимости от "введенной функции"
И это таки заработало. Чат-ГПТ быстро понял как рулить, что просто повернуть колеса недостаточно, нужно еще нажать на газ.
Не с первого раза, но он научился добираться в указанную точку.
Идея использовать LLM (языковую модель) для управления движением по карте удивила. Думаю, какой-нибудь "A star" в данном случае будет куда меньше, проще, быстрее и надежнее.
Изобретение велосипедов - дело увлекательное, но с ROS можно получить результаты куда быстрей.
Идея с текстом не нова, не поленился нагуглил с десяток.
Google Indoor Maps от Google где они предоставляют решения для создания карт и навигации внутри зданий, используя бинарные карты, которые помогают пользователям находить свои пути в больших помещениях, таких как торговые центры, университеты и аэропорты. В некоторых случаях Google использует текстовые инструкции, чтобы направить пользователей к нужному месту, основываясь на их текущем положении.
Есть и другие проекты IndoorAtlas, NavVis, Navigine, RoboSense, learPath Robotics и т.д., все они используют бинарные карты для решения задач навигации внутри зданий и других ограниченных пространств, при этом создавая текстовые указания для пользователей или автоматических систем.
Подавляющая часть разрабов применяют iOS, Android с на базе NVIDIA Jetson, Intel NUC, Raspberry Pi и др.
Подозреваю, что маршрут там строится классическими алгоритмами, и только потом превращается в текстовые подсказки. Традиционные приложения для навигации по GPS уже лет 20 так работают.
Бинарные карты изначально несут на себе регион в XY в пределах ограниченных периметров, их точность задается плотностью бинарных значений в пределах N пикселей . Генерирования таких карт происходит на базе растровых или векторных изображений.
И да в алгоритме перемещения присутствует обратная связь для позиционирования коррекции углов поворота и т.п. На каких принципах строить обратную связь, решать разработчику, к слову их не так и много, как хотелось бы, собственно как и в целом методов взаимодействия с картами. Их так же, увы мало - растровая карта без связи с логикой (навигация GPS или маячки), бинарная, оптическое распознавание статических маркеров, магнитуда иногда их смешивают между собой.
Домашний Кей-Трак-доставщик по мотивам робота-доставщика Яндекса. Часть 1