把两景卫星影像送入基础模型,得到相似的特征图,常被当作“可以做三维”的信号。但屋顶、道路和停车场会产生大量相似纹理;在卫星成像中,真实对应位置还受传感器 RPC、地物高度与观测几何共同约束。特征很像,不代表匹配峰值足够尖锐,也不代表这个像素对落在物理可行的位置。
《Geometric Consistency Protocol for Foundation Model Features in Multi-View Satellite Imagery》 于 2026 年 6 月 16 日提交 arXiv。论文针对带 Rational Function Model(RFM)相机的卫星多视影像提出可复现的评测协议。作者的核心提醒是:RPC 所描述的极线几何是曲线且与高度相关,二维平面中的全局最大相似度搜索会允许大量物理上不可能的候选。
RPC 几何一致性评测流程
图:论文提出的卫星多视特征评测流程与指标,来源:论文 HTML 全文。
可核查事实
- 协议将 RPC 投影三维特征一致性与几何约束稠密匹配代理一起报告。
- 前者在同一三维点投影到各视图后计算类别加权余弦相似度;后者报告类别加权 EPE 和 PCK@10。
- 评测采用带 RFM 相机和真值 DSM 的 DFC2019 多视卫星影像,在 Jacksonville 与 Omaha 的超过 100 个 AOI 上测试。
- 统一类别权重为建筑 0.7、地面 0.3,并在实际存在类别上重新归一化。
- 发布配置使用 512×512 输入和 4 个视图;每个 tile 的一致性测试最多取 128 个三维点,至少要在 3 个视图可见。
- 匹配脚本每样本评估 512 个对应关系;DSM 约束固定点求解最多 8 次迭代,停止阈值 0.5 米,对称 DSM 检查容差 2 米。
- 作者报告,从全局搜索改为 ±4 像素极线带搜索后,各方法均明显改善。
- 在相同 RPC 一致协议下,强二维骨干仍有竞争力;三维或多视训练带来的语义一致性不必然转化为更精确的定位。
**关键词:**卫星立体、RFM、RPC、DSM、基础模型、特征匹配、三维重建、几何一致性、极线约束、PCK、EPE。
核心机制:一致性与可匹配性是两件事
第一个指标问的是:已知同一个三维地面点,用 RPC 和 DSM 投影到另一视图后,两个位置的特征是否接近。它检验跨视图的语义稳定性。第二个指标问的是:若从参考像素出发、在物理可行的候选带内寻找最佳匹配,响应是否集中在真值附近。它检验特征是否具有用于对应关系的区分度。
两项一起看,才能避免一个常见误判:模型把一整片相似屋顶或道路表示得很一致,余弦相似度很高,但峰值宽而不唯一,最终仍无法可靠落到正确像素。论文也指出,卫星影像中的长基线、辐射差异、重复结构和真实地表变化都会放大这种差异。
GIS 场景:把 RPC 与 DSM 放入模型验收门
接入基础模型特征做立体重建、跨时相配准或变化前后对应时,先冻结模型权重与预处理,再以可信 RPC、DSM 和留出影像建立候选对应。不要只汇报全局最近邻命中率:同时计算投影后的特征一致性、极线带内 EPE/PCK、无效点比例以及建筑、地面等类别分层结果。
若极线带内表现优于全局搜索,说明几何约束正在排除不可能的假匹配;若两者仍很差,应先审查 RPC、DSM、时间差、遮挡和辐射校正,而不是直接更换模型。若一致性高但 EPE 或 PCK 差,应把该特征限制为检索或语义辅助,不能直接进入稠密对应或 DSM 更新链路。
技术路径
- 为每次测试锁定影像版本、RPC、DSM、坐标系、裁剪窗口和模型特征层。
- 以 DSM 约束的反投影与正投影生成同一三维点的多视对应,丢弃不可见、越界或 DSM 查找失败的点。
- 分别计算投影点余弦相似度和极线带内的 EPE、PCK@10,并报告有效样本数。
- 设立全局搜索与极线带搜索的并列基线,检查几何约束是否真正改善结果。
- 按建筑、地面、低纹理区、重复结构和跨时相变化区切片,保留失败样本图。
- 只有当几何定位指标、无效率和人工复核同时通过阈值,才将特征用于自动对应。
风险边界
该论文的协议和数值来自 DFC2019 的 Jacksonville、Omaha 两个区域,不能直接外推为所有卫星、所有城市或所有 DSM 的生产精度。RPC 元数据错误、DSM 过期、真实变化、阴影或遮挡都会令正确特征看起来不一致。反过来,较高相似度也可能只是重复结构产生的假峰值。
结论
卫星多视基础模型的验收不能停在“特征相似”。把同一三维点的一致性、受 RPC/DSM 约束的定位误差和跨区域切片同时纳入门槛,才能判断模型特征究竟适合检索、语义辅助,还是足以进入精确三维生产。