让 LLM 调用 GIS 工具能生成脚本、执行缓冲区、叠加和统计，但“看起来走完流程”不等于空间结果正确。GISAgentBench 从真实从业者问题出发，为每个任务提供可执行参考轨迹和精确输出文件，强调应以可复现的空间产物验收智能体，而不是只让另一个模型评判语言或代码相似度。
可核查事实
GISAgentBench 于 2026 年 8 月 3 日提交 arXiv。论文面向城市规划、灾害响应和环境监测中的多步 GIS 工作流，指出这类工作既耗时又容易出错，而带工具的 LLM 智能体能否完成真实 GIS 流程仍缺少充分检验。
基准包含 349 个多步 GIS 任务，来源于 GIS Stack Exchange，并在 6 个选定地理区域的真实公共数据上实例化。相比教科书、教程或 LLM 生成种子，这一来源更接近从业者实际提出的分析需求，但不代表它覆盖所有机构的数据权限、软件版本和治理流程。
每个任务都附带可执行参考轨迹与一份精确的 ground truth 输出文件。评估采用严格、确定性、容差感知的输出匹配，可检验最终空间产物，而不只比较脚本、行动序列或语言解释。
论文批评传统 GIS agent 评测常缺乏真值输出，只能依赖代码相似度、轨迹匹配、LLM judge 或 VLM judge；这些替代信号可能把“流程很像”误判为“任务正确”。空间分析中，同一缓冲、投影、连接或栅格处理顺序的小差异都可能让最终要素、面积和统计结果改变。
对 6 个LLM 模型的评测表明，严格容差评分下最优智能体只完成 32.7% 任务；论文同时称多数模型输出接近真值。这一差距说明近似产物不能自动视为可交付成果，应根据业务的距离、面积、属性和拓扑容差分别判断。
核心机制
GIS 智能体评测应分为“轨迹是否可执行”和“输出是否正确”两层。参考轨迹帮助定位失败发生在数据发现、投影、工具参数、连接、空间谓词还是导出；真值文件与容差匹配检验最终几何与属性。二者结合，才能将模型语言能力与空间分析正确性分开。
GIS 场景
可用于评估自然资源、应急、规划或企业 GIS 助手。每个业务任务需固定输入数据快照、坐标参考、工具版本、允许操作、预期图层、属性字段、容差和审核人。智能体的中间脚本与最终产物都应保存；没有满足输出合同的结果只能进入候选或测试环境，不应写回权威数据库。
技术路径
- 从真实工作单提炼任务目标、输入图层、空间关系、输出模式和不可触碰的数据边界。
- 为每项任务制作可执行参考流程和权威输出快照，明确几何、属性、统计和拓扑的容差。
- 在隔离环境运行智能体，保存工具调用、参数、日志、中间图层和失败原因。
- 先做确定性输出比对，再让专家审查近似但未通过容差的结果；不要反过来用 LLM judge 放行。
- 按任务类型、数据来源、空间尺度和错误类别公布通过率，持续补充失败回归集。
检查清单
- 是否有版本化的真实输入和精确期望输出。
- 是否明确几何、属性、统计和拓扑的容差。
- 是否保存可执行参考轨迹及智能体实际轨迹。
- 是否将代码/语言相似度与最终空间产物正确性分开。
- 是否禁止未通过输出合同的结果写回正式空间资产。
风险边界
349 个任务与 6 个地理区域仍不能代表全部 GIS 工作。真值文件也会随数据更新、许可、软件算法和业务规则变动；容差设得过松会掩盖错误，过严会拒绝业务可接受结果。应由任务负责人定义容差、保留版本，并对高影响结果实施人工复核。
结论
GIS 智能体需要证明的不只是会调用工具，而是能在确定的数据与容差条件下交付正确空间产物。用参考轨迹定位问题、用真值输出决定是否通过，才是把智能体接入真实 GIS 工作流的最低验收线。