在高空无人机影像中,“向左”“靠近道路旁建筑”这类指令看似清楚,实际会受尺度、视角和目标相似性影响。直接让多模态大模型输出下一步,容易缺少可回读的方向依据和长程空间记忆。PSC-AVDN 的研究把语言解析、目标搜索、局部确认与结构化空间记忆拆开,为遥感巡查、应急搜寻和任务规划提供了可审核的流程。

可核查事实

Parse, Search, and Confirmation2026 年 7 月 13 日提交 arXiv,论文注明已被 CVPR 2026 接收,会议论文页码为 23859—23868。研究聚焦 Aerial Vision-and-Dialog Navigation(AVDN)的训练免调优设定,面向资源受限的高空无人机导航。

作者指出,直接使用 MLLM 会因方向落地不稳和缺少显式空间记忆而产生不可靠导航。提出的 PSC-AVDN 将流程分为 Parsing、Search、Confirmation 三阶段:先将模糊对话转成稳定的几何方向和目的地线索,再进行逐步目标探索,最后在候选区附近细粒度确认。

Parsing 阶段使用 LLM 处理歧义语言;Search Chain-of-Thought(S-CoT)在高空观测下做逐步探索;Confirmation Chain-of-Thought(C-CoT)围绕候选区域验证,以减少视觉相似目标造成的误判。三段推理分别对应指令解释、广域检索和局部证实,不能由最终一句“已找到”替代。

Structured Spatial Memory(SSM)整合 3 类空间线索:多尺度视觉观测、空间视觉记忆和结构化几何记忆,为全局上下文与长程一致性提供支撑。论文在 ANDH 和 ANDH-Full 上评估,报告该训练免调优方法在该设置下建立新 SOTA,并匹配或超过若干微调方法。

代码计划在 PSC-AVDN GitHub 仓库公开。论文结果属于两个基准、其方向表达与评价规则,不能直接推为真实空域、动态障碍、通信中断或飞行安全的保证。

核心机制

可靠导航不是单轮语言生成,而是将每个动作拆成可检查的证据链:指令被解析为方向和目的地约束,搜索阶段积累候选区域,确认阶段检查局部视觉证据,空间记忆记录已观察区域与几何关系。若方向、坐标系、尺度或记忆版本任一项缺失,系统就难以判断是模型推理错误、影像歧义还是飞行执行偏差。

GIS 场景

可用于灾害巡查、山火观察、基础设施初筛或农业航测中的“找目标”任务。系统输出应是带影像时相、地图基准、飞行高度、方向约束、候选区域、确认截图、置信度和操作员结论的任务候选包。高风险行动仍需符合飞行法规、地理围栏、通信冗余和人工接管规则,语言或视觉模型不能单独授权航线。

技术路径

  1. 将任务语言规范为方向、距离、相对关系、目标类别和禁止区域,并绑定坐标参考。
  2. 记录 Parsing 产生的结构化约束及其置信度,歧义指令要求重述或人工确认。
  3. 在 Search 阶段保存每次观测、候选区域、已覆盖范围和空间记忆版本。
  4. 在 Confirmation 阶段使用更细尺度影像或二次观测验证目标,记录拒绝候选的理由。
  5. 将飞行日志、地理围栏、模型/提示版本和人工接管事件一并归档,复盘失败路径。

检查清单

  • 是否将自然语言转成可查看的方向与目的地约束。
  • 是否分别保留广域搜索与局部确认的证据。
  • 是否记录多尺度观测、空间记忆和几何参考版本。
  • 是否对相似目标、缺失观测和低置信结果设置人工接管。
  • 是否将导航候选与实际飞行许可、空域规则和安全决策分开。

风险边界

基准中的静态或受控观测不等于实际飞行环境。风、遮挡、GNSS 偏差、相机畸变、通信延迟和动态目标都会改变方向与确认可靠性。论文中的链式推理应被视为可审计任务辅助,不能用于绕过飞行员责任、监管要求或安全冗余。

结论

高空无人机导航的可信度来自可回读的方向、搜索、确认与空间记忆,而不是一段流畅的模型解释。把这些中间证据纳入 GIS 任务包,才能在复杂影像中安全地使用对话式导航辅助。

资料来源