遥感基础模型别只报准确率：云、噪声和偏移下还要验收“知道自己会错”
标准基准上的平均准确率适合比较模型，但不能说明模型在云层、噪声、季节变化或传感器差异下是否值得信任。对于灾害监测、农业巡查和环境告警，风险往往来自“高置信的错误”，而不是低置信的未知。关于 GeoFM 校准与分布偏移的一项研究提醒我们：模型选型要同时看正确率、置信度与错误是否同步变化。
可核查事实
- 论文《Beyond Accuracy: Assessing Calibration of Geospatial Foundation Models and Their Sensitivity to Distribution Shifts》于 2026 年 8 月 17 日提交 arXiv。
- 研究评估 16 个冻结编码器、4 个分类数据集和 5 个分割数据集。
- 实验使用两条正交压力轴；随着扰动加强，每个编码器的表现都会下降，模型排名也会变化。
- 在四个分类基准的干净条件下，EO 预训练与 ImageNet 预训练编码器的准确率和校准表现没有显著区别。
- 在分布偏移下，EO 预训练编码器并未比 ImageNet 预训练编码器更稳定，并且在每个扰动等级和每个扰动族中都更趋向过度自信。
- CKA 表征分析显示，EO 预训练嵌入在扰动下移动较少，但仍损失同样多的任务信息，并保持过度自信。
- 温度缩放和深度集成不能抵消退化；高斯过程探针可在严重云扰动下将 ECE 约减半，却会使干净条件的 ECE 约增至三倍。
- 选择性预测实验发现，仅按置信度拒答无法绕开“自信但错误”的预测。
核心机制
校准衡量的是模型置信度与实际正确率是否一致。若模型给出 90% 的置信度，长期来看类似预测应大约有九成正确。准确率可能不变而校准变差：模型仍能答对不少样本，却把错误答案说得过于确定。
分布偏移会由云、噪声、阴影、传感器、季节、观测角度和区域差异触发。论文的结果说明，表征在特征空间中“移动得少”并不自动表示鲁棒；它可能只是对变化反应不足，同时继续给出高置信判断。后处理式不确定性方法也有代价，因此不能将一个 ECE 数字当作万能安全阀。
GIS 场景
将模型用于洪涝、作物、火灾、土地覆盖或变化线索时，应把预测概率作为需要核查的属性，而不是直接作为结论。地图产品至少应携带输入影像时间、传感器、云量或质量掩膜、模型版本、概率、适用条件和人工审核状态。
例如云扰动时可把高置信预测与影像质量标记交叉检查；若二者矛盾，则进入人工或多时相复核队列。这样做不会消除模型误差，却能避免把高置信像元自动写进权威图层。
技术路径
- 在干净、云/阴影、噪声、跨区域、跨季节和跨传感器条件下分别建立独立测试集。
- 同时报准确率、F1/IoU、校准曲线、ECE、Brier 分数、按置信度分桶的错误率和拒答后的覆盖率。
- 将阈值、温度缩放、集成或探针等校准方法仅在验证集上拟合，并独立检查其在干净与偏移条件下的双向代价。
- 制定“影像质量差 + 高置信”以及“模型间分歧 + 高影响对象”的优先复核规则。
- 记录研究区、时相、传感器、扰动条件、模型版本和审核结论，并定期以新事件样本回测。
检查清单
- 是否报告干净数据之外的云、噪声、时相、区域和传感器偏移结果？
- 是否同时报告准确率和校准，而不只给平均排名？
- 高置信低正确率样本是否被单独定位、抽检和归因？
- 校准方法是否在独立验证集上选择，并说明对干净条件的损失？
- 拒答/低置信策略是否能识别自信但错误的样本，还是只过滤明显不确定样本？
- 高影响图斑是否有多时相、其他传感器或人工复核出口？
风险边界
论文的 16 个编码器和指定数据集不能覆盖所有传感器、任务与地理环境；其结论不是说 EO 预训练没有价值，而是反对把干净基准排名当作部署可靠性的充分证据。ECE 的变化也必须与任务后果、空间聚合方式和人工处置能力一起解释。任何用于监管、预警或资源分配的结果都需要独立验证。
资料依据
本文依据 Lehmann 等人的 arXiv 论文《Beyond Accuracy: Assessing Calibration of Geospatial Foundation Models and Their Sensitivity to Distribution Shifts》v1 撰写。16 个编码器、4 个分类与 5 个分割数据集、偏移结论、CKA 分析及三类不确定性方法的结果均来自该论文；本文的 GIS 分层测试、审核队列和产品属性建议为部署建议。
结论
GeoFM 的准确率只回答“在某组样本上答对多少”，校准还要回答“它是否知道自己什么时候会错”。把偏移测试、置信度误差、影像质量和人工复核放到同一条 GIS 验收链，才能把模型分数变成可负责任使用的空间产品。