Перевод подготовил автор канала Друг Опенсурса, приятного прочтения, заранее благодарю за подписку
Авторы:
Jianfei Wu1, Zhichun Wang1,2,3†, Zhensheng Wang1, Zhiyu He4
1 Школа искусственного интеллекта, Пекинский педагогический университет, Пекин 100875, Китай
2 Пекинская ключевая лаборатория искусственного интеллекта в образовании, Пекин 100875, Китай
3 Инженерно-исследовательский центр интеллектуальных технологий и образовательных приложений, Министерство образования, Пекин 100875, Китай
4 Колледж компьютерных наук и технологий, Национальный университет оборонных технологий, Чанша 410073, Китай
{jianfeiwu, jensenwang}@mail.bnu.edu.cn, zcwang@bnu.edu.cn, hezhiyu99@nudt.edu.cn
† Автор, ответственный за переписку
Анотация
Хотя большие языковые модели (LLM) демонстрируют выдающиеся способности к рассуждению, их потенциал для целенаправленного поиска в динамичных геопространственных средах остается малоизученным. Существующие бенчмарки для геопространственных вопросно-ответных систем (GSQA) в основном сосредоточены на статическом поиске информации, упуская из виду сложность реального планирования, которое включает динамическое местоположение пользователя и составные ограничения. Чтобы восполнить этот пробел, мы представляем EVGeoQA — новый бенчмарк, построенный на сценариях зарядки электромобилей (EV), который отличается уникальной привязкой к местоположению и наличием двух целевых условий. В частности, каждый запрос в EVGeoQA явно привязан к координатам пользователя в реальном времени и объединяет две цели: саму потребность в зарядке и предпочтения по совмещенной активности (рядом со станцией). Для систематической оценки моделей в таких сложных условиях мы также предлагаем GeoRover — общую систему оценки на основе архитектуры агента, дополненного инструментами, чтобы проверить способность LLM к динамическому многоцелевому пространственному исследованию. Наши эксперименты показывают, что, хотя LLM успешно используют инструменты для решения подзадач, они испытывают серьезные трудности с пространственным поиском на больших расстояниях. Примечательно, что мы обнаружили эмерджентную способность: LLM могут обобщать исторические траектории поиска для повышения его эффективности. Эти результаты делают EVGeoQA сложной тестовой площадкой для будущего геопространственного искусственного интеллекта. Датасет и промпты доступны по ссылке: https://github.com/Hapluckyy/EVGeoQA/.
1. Введение
(Рисунок 1: Иллюстративный запрос EVGeoQA. Определение оптимальной цели требует объединения семантического понимания с информацией о местоположении в реальном времени и точками интереса (POI).)
Стремительное развитие LLM дало толчок разработке автономных агентов, способных к сложному планированию и использованию инструментов (Yao et al., 2022; Schick et al., 2023; Xi et al., 2025). Хотя LLM отлично справляются с обработкой текстовых знаний, их интеграция в динамичные геопространственные среды представляет собой уникальную проблему, в первую очередь из-за присущей реалистичным пространственным сценариям сложности и огромного разнообразия (Mai et al., 2023). Недавние работы в области GSQA попытались преодолеть этот разрыв, однако большинство существующих бенчмарков по-прежнему ограничиваются статическим поиском (Feng et al., 2023; Li et al., 2025). Например, типичный запрос может звучать так: «Каково расстояние от аэропорта до центрального железнодорожного вокзала?». Такие задачи опираются исключительно на статическую пространственную топологию, игнорируя сложность реальной мобильности, где принятие решений ограничено динамическим местоположением пользователя и его комплексными запросами (Zheng et al., 2014).
Сфера зарядки электромобилей (EV) служит отличным примером такой сложности и является идеальной, хотя и недостаточно изученной, тестовой площадкой. Из-за длительного времени ожидания, связанного с зарядкой EV по сравнению с традиционной заправкой топливом (Philipsen et al., 2018), пользователи склонны совмещать эту услугу с второстепенными занятиями, чтобы провести время с пользой. Как показано на Рисунке 1, типичный запрос иллюстрирует это комбинированное требование: «Я хочу поехать зарядить машину и выпить кофе». Следовательно, оптимальное решение зависит не только от самой зарядной станции, но и от удовлетворения составной цели, включающей расположение станции относительно текущих координат пользователя и наличие подходящих точек интереса (POI) поблизости.
Для систематической оценки способностей LLM к геопространственному рассуждению в этих строгих условиях мы представляем EVGeoQA — бенчмарк, созданный на основе домена зарядки EV и предназначенный для целенаправленного геопространственного поиска. В отличие от традиционных наборов данных GSQA (Li et al., 2025; Kefalidis et al., 2023; Punjani et al., 2018), каждый запрос в EVGeoQA явно привязан к координатам пользователя в реальном времени и объединяет потребность в зарядке с предпочтением сопутствующей активности. Благодаря такому уникальному дизайну, EVGeoQA смещает фокус со статической проверки фактов на динамическое планирование.
Наш датасет охватывает три репрезентативных китайских города — Ханчжоу, Циндао и Линьи, представляющих собой иерархический градиент от крупного мегаполиса до развивающегося города. Кроме того, для генерации местоположений пользователей, вместо использования традиционной случайной выборки координат, мы предлагаем стратегию синтеза на основе кластеризации K-Means (Ahmed et al., 2020), которая интегрирует данные о плотности населения и дорожной сети. Взвешивая эти факторы, мы моделируем координаты пользователей, которые статистически соответствуют реальному пространственному распределению запросов, тем самым смягчая пространственное смещение, присущее случайной выборке.
Создав эту реалистичную тестовую среду, мы также предлагаем GeoRover — общую систему оценки на основе архитектуры агента с инструментами для исследования способностей LLM к геопространственному поиску. В частности, мы разработали четыре интерактивных геопространственных инструмента, позволяющих агенту итеративно исследовать среду, синтезировать исторические траектории перемещений и находить окончательные ответы.
Наши эксперименты показывают, что, хотя точность остается относительно высокой, когда ответ находится на небольшом расстоянии, она значительно ухудшается по мере увеличения радиуса поиска. Например, средние показатели Hits@2 падают примерно с 50% до 38% по мере расширения зоны исследования. Это снижение производительности подчеркивает критические ограничения LLM в пространственном поиске на больших дистанциях. Интересно, что мы наблюдаем спонтанный феномен: даже в отсутствие явных инструкций LLM активно обобщают историю своих перемещений, чтобы повысить эффективность поиска. Эти результаты делают EVGeoQA сложным бенчмарком для будущего геопространственного интеллекта.
Подводя итог, наши вклады заключаются в следующем:
Мы представляем EVGeoQA — первый GSQA-бенчмарк, разработанный для динамического многоцелевого геопространственного поиска. Он уникальным образом объединяет динамические местоположения пользователей с условиями двойной цели для оценки работы LLM в геопространственных задачах.
Мы предлагаем GeoRover — общую платформу оценки, использующую агента, оснащенного интерактивными геопространственными инструментами. Это позволяет проводить активный, многошаговый поиск, тем самым оценивая производительность LLM в этой распространенной, но ранее игнорируемой области многоцелевого геопространственного рассуждения.
Наша эмпирическая оценка показывает, что, хотя современные LLM с трудом справляются с пространственным анализом на больших расстояниях, они демонстрируют скрытую способность к обобщению исторических траекторий. Это позиционирует EVGeoQA как строгий бенчмарк для будущих исследований.
2. Связанные работы
2.1 Бенчмарки для GSQA
Ландшафт GSQA был сформирован такими фундаментальными бенчмарками, как GeoQA201 (Punjani et al., 2018), GeoQA1809 (Kefalidis et al., 2023), и последующими работами, такими как MapQA (Li et al., 2025) и GeoQAMap (Feng et al., 2023). Они в основном сосредоточены на статическом извлечении данных из автономных баз, игнорируя сложность реальных условий. Благодаря быстрому развитию воплощенного ИИ (Embodied AI), бенчмарки вроде OpenEQA (Majumdar et al., 2024), SQA3D (Ma et al., 2022) и ScanQA (Azuma et al., 2022) также стимулировали развитие области GSQA. Однако они в основном ограничены небольшими внутренними (indoor) сценариями со статичным представлением сцен. Для эффективного решения задач геопространственного поиска в больших масштабах LLM должны обладать синергией навыков планирования (Xie et al., 2024; Song et al., 2023), активного исследования (Zhou et al., 2024) и обобщения информации (Chen et al., 2023; Liang et al., 2023). Эти многогранные требования значительно повышают сложность задачи.
2.2 Применение LLM в области GSQA
Опираясь на исключительные способности к индуктивному рассуждению и синтезу информации, LLM широко применяются в самых разных практических задачах, включая финансовый анализ (Singh et al., 2024; Wang et al., 2025a), аннотацию данных (Wu et al., 2025; Wang et al., 2024) и интеллектуальное образование (Sun et al., 2024; Lu et al., 2026). Эти навыки управления сложными логическими задачами естественным образом распространяются на геопространственную область для решения проблем интерпретации географической информации. Чтобы справиться с уникальными пространственными ограничениями и разнородными данными, исследователи интегрируют LLM с проверенными фреймворками автономных агентов, такими как ReAct (Yao et al., 2022), Toolformer (Schick et al., 2023) и ToolLLM (Qin et al., 2023). Эти интеграции позволяют LLM функционировать в качестве автономных агентов, способных принимать самостоятельные решения и взаимодействовать с географическими средами с помощью инструментов. В этом контексте недавно появилось несколько специализированных работ. Например, Spatial-RAG (Yu et al., 2025) представляет систему генерации с дополненным пространственным поиском, которая использует стратегию двойного поиска для ответов на реальные вопросы пространственного мышления. CityGPT (Feng et al., 2025) фокусируется на улучшении пространственного восприятия в масштабах города путем внедрения структурных знаний об уличных сетях и функциональных зонах в параметры модели посредством специализированного тюнинга инструкций. Наш бенчмарк фундаментально опирается на эти значительные достижения и предлагает специализированную адаптацию для сценариев GSQA.
3. Датасет EVGeoQA
Город | Ханчжоу | Циндао | Линьи |
Станции | 258 | 165 | 157 |
Локации | 997 | 995 | 997 |
POI | 25 | 23 | 21 |
QA Пары | 19940 | 14162 | 14416 |
Таблица 1: Статистика датасета EVGeoQA.
3.1 Постановка задачи
Основная философия этой задачи динамического поиска отличается от традиционных GSQA-бенчмарков: она воплощает поведенческий паттерн «пойти в одно место, чтобы сделать два дела». Формально, в отличие от традиционных GSQA-запросов, зависящих только от геопространственного взаимодействия, запрос
в EVGeoQA явно привязан к координатам пользователя в реальном времени
. Цель состоит в том, чтобы найти целевую зарядную станцию $S$, которая одновременно удовлетворяет двум условиям:
Потребность в зарядке: Основная задача, при которой пользователю явно требуются услуги зарядки его электромобиля.
Совмещенная активность: Станция должна находиться в пределах пешей доступности от объекта POI $P$, который удовлетворяет второстепенное намерение пользователя.
3.2 Сбор и предварительная обработка данных
Чтобы обеспечить разнообразие городских масштабов, мы выбрали три репрезентативных города в Китае: Ханчжоу (столица провинции), Циндао (региональный экономический центр) и Линьи (город окружного значения). Для создания геопространственной основы QA-пар в этих регионах мы объединили записи о зарядных станциях от Государственной электросетевой корпорации Китая с данными о POI в радиусе 1 км от каждой станции, полученными через API Gaode. На Рисунке 2(b) представлено категориальное распределение этих контекстных POI.
3.3 Синтез местоположения пользователя путем слияния данных из нескольких источников
Для генерации реалистичных локаций пользователей мы синтезируем координаты, используя данные о потоках населения и дорожных сетях на основе тепловых карт Baidu, как показано на Рисунке 2(a). Формально мы рассматриваем исходное изображение тепловой карты как набор пикселей
, где каждый
представляет собой RGB-вектор
-го пикселя. Мы применяем алгоритм K-Means (Ahmed et al., 2020) для разделения этих пикселей на $K$ семантических кластеров
, представляющих различные уровни плотности населения и контуры дорог, минимизируя внутрикластерную сумму квадратов:
где
обозначает центроид кластера
. Затем, чтобы смоделировать реалистичное распределение людей, мы присваиваем каждому кластеру оценку плотности
на основе его семантической важности. После этого координаты пользователя выбираются из этих кластеров, причем вероятность
выборки локации из кластера определяется функцией Softmax:
Подробное описание назначения весов
приведено в Приложении A.1.
3.4 Генерация запросов с двумя целями
Вдохновляясь предыдущими работами по генерации вопросов и ответов (QA) на основе шаблонов (Johnson et al., 2017; Li et al., 2025; Wang et al., 2025b; Pampari et al., 2018), мы разработали шаблонный пайплайн для создания запросов на естественном языке, отражающих двойственную природу этой задачи
Сначала мы генерируем структурированные базовые запросы, заполняя заранее заданные шаблоны уточненным набором семантически значимых категорий POI (определенных в Разделе 3.2). Более подробно этот процесс описан в Приложении A.2.
Однако необработанным шаблонным базовым запросам часто не хватает языкового разнообразия и целенаправленного контекста. Для решения этой проблемы мы используем мощную LLM (qwen2.5-72B (QwenTeam, 2024)), применяя методы промптинга Few-Shot (Brown et al., 2020) и Chain-of-Thought (CoT) (Wei et al., 2022) для перефразирования этих основ. Важно отметить, что на этом этапе происходит функциональное сопоставление статических категорий POI с реалистичными намерениями. Например, слот шаблона, содержащий «Стадион», сопоставляется с такими активностями, как «бег» или «тренировка». Более подробно это функциональное отображение описано в Приложении A.5.
3.5 Генерация ответов и контроль качества
Для формирования эталонных ответов (ground truth) мы выполняем исчерпывающий поиск по всем зарядным станциям, чтобы выявить всех возможных кандидатов. Мы проверяем соответствие вторичному намерению, вычисляя косинусное сходство между слотом POI в запросе и реальными POI у станции с использованием модели эмбеддингов CoNAN, применяя строгий порог в 0.85 для минимизации ложных срабатываний.
Более того, понимая, что в реальном пространственном планировании часто бывает несколько оптимальных решений, мы ранжируем все семантически подходящие станции по расстоянию (на автомобиле) до локации пользователя и сохраняем до пяти различных станций в качестве эталонного набора.
Наконец, мы провели ручную проверку около 1000 QA-пар, отобранных по всем категориям POI, чтобы гарантировать лингвистическую естественность и логическую корректность датасета.
3.6 Масштабируемость и репрезентативность
Наш пайплайн генерации QA обладает высокой расширяемостью, что позволяет легко адаптировать его к более широким областям геопространственного поиска за пределами контекста зарядки EV. Кроме того, как показано в Приложении A.3, пространственное распределение зарядных станций охватывает широкий спектр плотности, что способствует оценке как тонкой детализации, так и поиска на больших расстояниях, обеспечивая тем самым высокую универсальность.
4. Фреймворк оценки GeoRover
Хотя EVGeoQA закладывает основу для многоцелевого геопространственного поиска, эффективная оценка LLM в этой области требует специализированного фреймворка. В этом разделе мы представляем GeoRover — общую систему оценки на основе архитектуры агента с инструментами, предназначенную для систематического изучения возможностей геопространственного поиска LLM.
4.1 Определение набора геопространственных инструментов
Мы отдаем приоритет оценке способностей LLM именно к геопространственному исследованию, а не простому извлечению информации (Lewis et al., 2020; Fan et al., 2024). Следовательно, чтобы создать реалистичные условия частичной наблюдаемости (partial observability), мы разработали четыре атомарных инструмента, которые ограничивают агента получением только локальной информации за каждое взаимодействие. Такая конфигурация заставляет агента выполнять итеративные рассуждения для выполнения запроса. Определения этих инструментов таковы:
Инструмент SearchStations: Решение задачи пользователя по зарядке EV является фундаментальным шагом. Агент должен изучить среду, чтобы найти зарядные станции рядом с пользователем. Для этого мы создали инструмент
SearchStations, который позволяет агенту оценивать распределение зарядных станций в локальном радиусе 5 км вокруг заданных координат.Инструмент SearchPOIs: Для проверки условий совмещенной активности агент должен изучить локальный контекст станций-кандидатов. Инструмент
SearchPOIsпозволяет агенту осматривать POI-окружение конкретных координат, извлекая объекты в пределах 1 км пешей доступности.Инструмент ChangeLocation: Этот инструмент выступает основным механизмом нашего фреймворка, позволяя агенту активно перемещаться по среде для сбора данных с более широкой площади. В частности, он позволяет агенту сдвигаться от текущих координат в одном из четырех направлений по сторонам света на произвольное расстояние. После выполнения он возвращает новые координаты, которые служат базой для дальнейших решений агента. Используя новую позицию для повторного вызова
SearchStationsиSearchPOIs, агент расширяет свой радиус восприятия, добиваясь автономного пространственного исследования.Инструмент CalculateDistance: Чтобы упростить количественный пространственный анализ, мы снабдили агента инструментом
CalculateDistance. Он вычисляет точное расстояние пути на автомобиле между двумя точками, помогая агенту точнее оценивать экономическую эффективность станций-кандидатов.
Как показано на Рисунке 3, важно подчеркнуть, что последовательность и частота вызовов этих четырех инструментов не предопределены, а динамически решаются самим агентом. Агент автономно направляет исследование, синтезируя историю наблюдений, чтобы оценить достаточность информации и решить, когда пора остановиться.
Для дальнейшего улучшения понимания задачи и стабильности рассуждений агента мы используем методы Few-Shot (Brown et al., 2020) и Chain-of-Thought (CoT) (Wei et al., 2022). С точки зрения реализации, все API разработаны на платформе Gaode. Для обеспечения строгости экспериментов мы применяем жесткие механизмы фильтрации сырых данных от API. Этот процесс устраняет нерелевантный шум и согласовывает извлеченные данные с эталонным распределением EVGeoQA, максимизируя точность результатов оценки.
5. Эксперимент
5.1 Выбор LLM
Для всесторонней оценки способностей геопространственного поиска LLM с использованием бенчмарка EVGeoQA мы выбрали разнообразный набор моделей, представляющих различные масштабы параметров и парадигмы рассуждений. В частности, мы включили серию Qwen (Qwen3-8B, Qwen3-30B-a3b и Qwen2.5-72B) (QwenTeam, 2024, 2025), серию GPT-OSS (20B и 120B) (OpenAI, 2025) и семейство Gemini-2.5 (Flash и Pro) (Comanici et al., 2025). Кроме того, чтобы изучить конкретное влияние явного логического вывода на эту задачу, мы протестировали варианты с режимом «Thinking» (размышления) для части этих моделей, включая Qwen3-8B, Qwen3-30B-a3b, GPT-OSS-20B, GPT-OSS-120B и Gemini-2.5-Pro.
5.2 Метрики оценки
Учитывая природу множественных решений в реальном пространственном планировании, в качестве основной метрики точности рекомендованных зарядных станций мы используем Hits@K (
). Предсказание считается корректным «попаданием» (hit), если оно совпадает с любой станцией из набора эталонных ответов. Для систематического анализа производительности на разных пространственных масштабах мы разбиваем набор данных по геодезическому расстоянию между локацией пользователя и оптимальной целевой станцией на три уровня сложности:
< 10 км (удвоенный радиус поиска инструмента SearchStations): Сценарии, где цель находится в пределах небольшого радиуса езды.
< 20 км (учетверенный радиус поиска): Сценарии, требующие планирования на средние дистанции.
No Limit (Без ограничений): Наиболее сложная настройка без ограничений по дистанции.
5.3 Основные результаты и их анализ
Город | Модель | <10km Hits@1 | <10km Hits@2 | <10km Hits@3 | <20km Hits@1 | <20km Hits@2 | <20km Hits@3 | No Limit Hits@1 | No Limit Hits@2 | No Limit Hits@3 |
Ханчжоу | Qwen3-8B | 0.3663 | 0.4916 | 0.5381 | 0.2469 | 0.3421 | 0.3867 | 0.2061 | 0.2889 | 0.3295 |
Qwen3-8B* | 0.3965 | 0.4909 | 0.5011 | 0.3076 | 0.3972 | 0.4513 | 0.2637 | 0.3452 | 0.4375 | |
Qwen3-30B-a3b | 0.3445 | 0.5251 | 0.5810 | 0.2718 | 0.3717 | 0.4012 | 0.2339 | 0.2942 | 0.3133 | |
Qwen3-30B-a3b* | 0.3906 | 0.5396 | 0.5667 | 0.2804 | 0.3979 | 0.4285 | 0.2283 | 0.3215 | 0.3418 | |
Qwen25-72b | 0.4833 | 0.6379 | 0.7073 | 0.3827 | 0.5479 | 0.6037 | 0.3333 | 0.4878 | 0.5614 | |
GPT-OSS-20B* | 0.3906 | 0.5322 | 0.6379 | 0.3085 | 0.4302 | 0.5121 | 0.2612 | 0.3762 | 0.4479 | |
GPT-OSS-120B* | 0.3417 | 0.4484 | 0.4828 | 0.3075 | 0.3432 | 0.3973 | 0.1842 | 0.2187 | 0.2415 | |
Gemini-2.5-Flash | 0.4648 | 0.5214 | 0.6890 | 0.4121 | 0.4713 | 0.6147 | 0.3513 | 0.4114 | 0.5110 | |
Gemini-2.5-Pro* | 0.4871 | 0.5398 | 0.7173 | 0.4034 | 0.4812 | 0.6373 | 0.3616 | 0.4304 | 0.5921 | |
Average | 0.4073 | 0.5252 | 0.6024 | 0.3245 | 0.4203 | 0.4925 | 0.2693 | 0.3527 | 0.4196 | |
Циндао | Qwen3-8B | 0.2687 | 0.4250 | 0.4875 | 0.2461 | 0.3423 | 0.3807 | 0.2132 | 0.2773 | 0.3161 |
Qwen3-8B* | 0.2361 | 0.3770 | 0.5245 | 0.2056 | 0.3295 | 0.4318 | 0.1401 | 0.2424 | 0.3129 | |
Qwen3-30B-a3b | 0.2705 | 0.4176 | 0.4664 | 0.1653 | 0.2615 | 0.3012 | 0.1038 | 0.1872 | 0.2755 | |
Qwen3-30B-a3b* | 0.2236 | 0.3802 | 0.4705 | 0.1891 | 0.3076 | 0.3663 | 0.1235 | 0.2125 | 0.2565 | |
Qwen25-72b | 0.2638 | 0.5625 | 0.6206 | 0.2286 | 0.4555 | 0.4875 | 0.1678 | 0.3385 | 0.3805 | |
GPT-OSS-20B* | 0.2712 | 0.4133 | 0.5894 | 0.2124 | 0.2996 | 0.3723 | 0.1513 | 0.2012 | 0.2819 | |
GPT-OSS-120B* | 0.2254 | 0.3521 | 0.4703 | 0.2014 | 0.2477 | 0.3934 | 0.1433 | 0.2310 | 0.3173 | |
Gemini-2.5-Flash | 0.3073 | 0.3974 | 0.4673 | 0.2857 | 0.3911 | 0.4198 | 0.2673 | 0.3350 | 0.3789 | |
Gemini-2.5-Pro* | 0.3590 | 0.4218 | 0.5383 | 0.3106 | 0.3583 | 0.4467 | 0.2588 | 0.2738 | 0.3191 | |
Average | 0.2695 | 0.4163 | 0.5150 | 0.2272 | 0.3326 | 0.4000 | 0.1743 | 0.2554 | 0.3154 | |
Линьи | Qwen3-8B | 0.3043 | 0.4637 | 0.5362 | 0.2376 | 0.3564 | 0.4257 | 0.1846 | 0.2923 | 0.3461 |
Qwen3-8B* | 0.4216 | 0.5929 | 0.6866 | 0.3325 | 0.4828 | 0.5674 | 0.3157 | 0.4416 | 0.5434 | |
Qwen3-30B-a3b | 0.2899 | 0.4927 | 0.5507 | 0.2277 | 0.3861 | 0.4455 | 0.1769 | 0.3153 | 0.3615 | |
Qwen3-30B-a3b* | 0.4512 | 0.5487 | 0.6671 | 0.3703 | 0.4537 | 0.5660 | 0.3253 | 0.4047 | 0.5161 | |
Qwen25-72b | 0.4578 | 0.5122 | 0.6582 | 0.3669 | 0.4205 | 0.5773 | 0.3253 | 0.3821 | 0.5357 | |
GPT-OSS-20B* | 0.3557 | 0.4496 | 0.4931 | 0.2810 | 0.3987 | 0.4407 | 0.2365 | 0.3494 | 0.3837 | |
GPT-OSS-120B* | 0.3653 | 0.4722 | 0.4763 | 0.3121 | 0.4114 | 0.4218 | 0.2411 | 0.3414 | 0.3619 | |
Gemini-2.5-Flash | 0.3993 | 0.5164 | 0.5778 | 0.3333 | 0.4173 | 0.4667 | 0.2962 | 0.3713 | 0.4225 | |
Gemini-2.5-Pro* | 0.4887 | 0.5867 | 0.6989 | 0.3975 | 0.4898 | 0.6113 | 0.3827 | 0.4404 | 0.4985 | |
Average | 0.3926 | 0.5150 | 0.5939 | 0.3177 | 0.4241 | 0.5025 | 0.2760 | 0.3709 | 0.4410 |
Таблица 2: Результаты экспериментов на датасете EVGeoQA (лучшие результаты выделены жирным). LLM, использующие механизм Thinking, отмечены символом *
Как показано в Таблице 2, несмотря на то что крупномасштабные модели работают относительно неплохо в сценариях ближнего радиуса, их производительность резко падает с увеличением дистанции поиска. Очевидно, что существует явный разрыв между текущей производительностью моделей и требованиями к надежным геопространственным агентам. Мы резюмируем три основных вывода ниже:
«Лень» LLM приводит к недостаточному исследованию и снижению производительности. Во всех LLM наблюдается последовательное и выраженное снижение производительности по мере расширения радиуса поиска. Например, в Ханчжоу средний показатель Hits@2 падает с 0.5252 до 0.3527 при переходе от локального поиска к режиму No Limit. Мы связываем это падение в первую очередь с широко распространенным явлением «лени»: сталкиваясь с необходимостью пространственного поиска на большие расстояния, LLM часто преждевременно прекращают процесс исследования. Вместо проведения тщательного поиска они склонны выдумывать правдоподобные ответы на основе ограниченной информации, полученной на предыдущих шагах.
Механизмы «размышления» (Thinking) увеличивают глубину поиска за счет ретроспективной рефлексии. Мы обнаружили, что LLM, оснащенные явными режимами размышления (Thinking), неизменно превосходят свои стандартные аналоги. Например, в Ханчжоу в режиме No Limit Qwen3-8B-thinking* достигает оценки Hits@2 в 0.3452, демонстрируя явное преимущество перед стандартной Qwen3-8B (0.2889). Мы связываем эту эффективность со способностью модели анализировать свои исторические траектории поиска. В отличие от стандартных моделей, склонных к преждевременному завершению, «думающие» модели активно оценивают достаточность собранной информации на соответствие двойным условиям и предпринимают дополнительные шаги поиска, если данных недостаточно. Мы количественно анализируем это явление в Разделе 5.4.
Закон масштабирования (Scaling Law) работает и в задачах геопространственного поиска. Крупные базовые модели, такие как Qwen2.5-72B и Gemini-2.5-Pro, неизменно доминируют по всем метрикам. Напротив, модели меньшего размера (например, Qwen3-8B) демонстрируют более резкое падение производительности при увеличении сложности задачи. Это говорит о том, что ограниченное количество параметров сужает их способность обрабатывать высоконагруженные пространственные контексты, характерные для плотной городской застройки.
5.4 Анализ использования инструмента ChangeLocation
Город | Модель | <10km | <20km | No Limit |
Линьи | Qwen3-8b | 0.35 | 1.36 | 2.12 |
Qwen3-8b* | 0.79 | 2.11 | 4.03 | |
Qwen3-30b-a3b | 0.37 | 1.13 | 3.26 | |
Qwen3-30b-a3b* | 0.42 | 1.72 | 3.74 | |
Gemini-2.5-Flash | 0.40 | 2.77 | 3.91 | |
Gemini-2.5-Pro* | 1.12 | 3.31 | 5.62 | |
Average | 0.58 | 2.07 | 3.78 |
Таблица 3: Средняя частота вызова инструмента ChangeLocation на разных уровнях дистанции в Линьи.
Как обсуждалось в Разделе 4, инструмент ChangeLocation является основным механизмом для расширения зоны поиска. Чтобы количественно оценить, как LLM используют эту возможность, мы фиксируем среднюю частоту его вызова на разных уровнях сложности в Линьи. Данная метрика определяется как среднее количество вызовов ChangeLocation агентом в течение одного эпизода исследования.
Результаты в Таблице 3 показывают, что частота вызовов значительно ниже ожидаемой, особенно в задачах на дальние расстояния. Мы связываем это с двумя основными факторами. Во-первых, в соответствии с упомянутым узким местом «лени», агенты часто прекращают поиск преждевременно, не исследуя среду досконально. Во-вторых, у продвинутых моделей наблюдается эмерджентная способность синтезировать пространственные контексты из истории взаимодействий и определять новые координаты без прямого использования инструмента.
Несмотря на эти нюансы, существует четкая положительная корреляция между частотой использования инструмента и производительностью агента в сложных сценариях. Усиление активного поиска напрямую совпадает с более высокой точностью, отраженной в наших основных результатах в Таблице 2, что подтверждает: активное исследование является определяющим фактором успеха в крупномасштабных задачах пространственного планирования.
5.5 Анализ ошибок
Как показано на Рисунке 4, значительная часть сбоев проистекает из недостаточного исследования среды. Все агенты на базе LLM демонстрируют существенную степень «лени» при столкновении со сложными задачами планирования. Это свидетельствует о том, что современным LLM не хватает способности поддерживать долгосрочную стратегию поиска без явного руководства или подкрепления.
Кроме того, мы наблюдаем, что интеграция разнородных данных (траекторий поиска, зарядных станций и деталей POI) провоцирует феномен «потери в середине» (Lost in the Middle) (Liu et al., 2024; Li et al., 2024). Агенты часто путают атрибуты в этих сложных длинных контекстах, генерируя лингвистически беглые, но фактически ошибочные ответы.
Наконец, за исключением Gemini2.5-Pro, все оцениваемые LLM в той или иной степени сталкиваются с ошибками, связанными с аргументами вызовов. Это указывает на то, что эффективное использование геопространственных инструментов остается серьезной проблемой.
Подробные определения и настройки для этих категорий ошибок приведены в Приложении A.4.
5.6 Анализ конкретного примера (Case Study)
Мы также провели качественный анализ того, как агенты ориентируются и рассуждают в этих сложных геопространственных средах. Как показано на Рисунке 5, высокопроизводительные LLM могут активно обобщать исторические траектории перемещений для оптимизации будущих шагов поиска.
В частности, сначала агент выполняет локальный поиск вокруг координат запроса пользователя (Шаги 1–4). Определив, что в близлежащем районе нет зарядных станций, удовлетворяющих двум условиям, агент автономно совершает пространственные переходы на большие расстояния (Шаг 5 и 9), чтобы расширить область обзора. Хотя дизайн нашего промпта не задает никаких заранее определенных правил навигации, агент, по-видимому, синтезирует свою историческую траекторию, выбирая новые опорные точки, которые максимизируют пространственный охват и позволяют избежать избыточного поиска в уже проверенных местах. В конце агент использует инструмент CalculateDistance для получения точных метрик расстояния, синтезируя все накопленные наблюдения для формулирования итоговой рекомендации.
Это эмерджентное поведение подчеркивает потенциал LLM к пониманию пространственных планировок и проведению целенаправленного поиска. Однако процесс исследования агента имеет определенные ограничения. Как видно в левом квадранте Рисунка 5, подходящая зарядная станция, расположенная ближе к начальной позиции, игнорируется в процессе поиска. Это упущение коррелирует с явлением «лени», обсуждавшимся в Разделе 5.3. Это говорит о том, что хотя LLM и обладают потенциалом пространственного мышления, их способность гарантировать глобальную оптимальность при геопространственном поиске остается критическим узким местом, требующим будущей оптимизации.
6. Заключение и обсуждение
В этой статье мы представили EVGeoQA — первый бенчмарк, предназначенный для оценки возможностей целенаправленного поиска LLM в динамичных геопространственных средах. Чтобы облегчить систематическую оценку, мы также предложили GeoRover, общую систему оценки, использующую архитектуру агента с инструментами для исследования возможностей LLM в области пространственного поиска.
Наши экспериментальные результаты показывают, что, хотя LLM эффективно работают в локализованных сценариях на малых расстояниях, они страдают от выраженного падения производительности в задачах на большие расстояния. Хотя между текущей производительностью моделей и требованиями к надежным геопространственным агентам существует явный разрыв, скрытая способность к обобщению траекторий подчеркивает значительный потенциал сложного геопространственного мышления на базе LLM.
Выявляя ключевые узкие места, такие как недостаточный поиск и путаница в атрибутах, EVGeoQA служит строгой тестовой площадкой для создания более надежных и стратегически подкованных геопространственных агентов для задач в открытом мире.
Ограничения
Бенчмарк EVGeoQA построен на основе городских данных из трех различных китайских городов разного масштаба, а пары вопросов-ответов преимущественно представлены на китайском языке. Эта языковая специфика может привносить внутренние смещения (bias). В будущей работе мы планируем смягчить эту проблему путем добавления многоязычных данных и более широкого круга городов мира.
Кроме того, наша текущая оценка в первую очередь измеряет внутренние (базовые) способности LLM к рассуждениям. Мы признаем, что передовые методы, такие как предметно-ориентированное дообучение (SFT) (Gururangan et al., 2020; Zheng et al., 2024; Hu et al., 2022), обладают значительным потенциалом для повышения производительности моделей в специализированных пространственных задачах, и исследование целесообразности и эффективности таких стратегий оптимизации является ключевым направлением наших последующих исследований. Двигаясь вперед, мы остаемся привержены области геопространственного поиска, стремясь совершенствовать наши бенчмарки и фреймворки для дальнейшего развития воплощенного пространственного интеллекта.
Перевод подготовил автор канала Друг Опенсурса, заранее благодарю за подписку
