界定观察和决定
模型分数,选票分数和校准概率是不同的量. 在不熟悉的条件下,高分仍然可能是错误的。 因此,信任图应说明数字代表什么,如何评价其可靠性。
对于模型概率和不确定性层,首先要提出一个精确的问题. 在比较软件设置之前, 请说明决定和数量 。 确定谁将使用结果、他们所认识的地理单位以及哪些证据会改变检查或分析。 写下目标条件和可行的其他解释 这使得可以判断该方法的实际观察是否能够回答问题. 当输出代表着一个不同含义的代词时,细微的映射图是不够的. 保留一个简短的假设登记册,以便以后的审查者能够区分所计量的投入、模型选择和解释。
匹配数据支持到方法
模型概率和不确定性的衡量基础在整个解释过程中都很重要。 卫星模型在取样条件下学习了确定的投入和参考目标之间的关系。 它不会自动生成传感器中缺失的信息或纠正不一致的标签. 在选择算法之前定义类意义或连续目标单位. 匹配图像时间和空间支持的训练参考,并在标签中记录不确定性或分歧. 确定预定部署区域、季节和购置条件。 这些选择决定了应测试何种通用性,防止将令人印象深刻的发展成果误认为模型已准备好为不同的业务环境准备的证据。
编写一份可追踪分析
必要时使用独立的参考数据和适当的校准方法评估分数可靠性。 保持校准与最后评价分开。 保留一个域外或不支持的数据旗,并附带概率。
模型概率和不确定性层的准备工作应当保留下列证据。 编制可复制的预测器清单,其中列出源日期、频段顺序、单位、口罩和预处理。 在特性选择,缩放,调制或补丁提取之前进行单独评价,可以将信息泄露到整个分割处. 使用适合部署的地理或时间分区,并比较一个简单的基线。 保存模型参数,在适用的情况下随机种子和软件版本. 测试现实的缺失数据及困难的图像条件. 一次集中或完成的培训只是技术步骤之一;其产出仍必须根据独立证据和预期决定的后果加以评价。
测试具有代表性的飞行员
模型概率和不确定性层的试点应处理实际收到的工作流程。 首先是一个具有代表性的飞行员,其中包含普通条件和困难的例外。 包括相关边界,混杂表面,缺失的观测和已知的参考位置. 将一些手动检查的数字示例与源元数据一起保存 。 将结果与独立读者或计算结果进行实际比较. 飞行员应当通过导出测试从源选择的完整路径,因为正确的公式仍然可能被错误的单位,带令或有效性处理破坏. 一旦对试点的理解得到保留,作为日后修订的一个参考。
承认特定专题的解释风险
自信模型在传感器或季节性转变后可能会系统失效. 一种流行制度的校准可能不会转移。 如果未测量可靠性,显示许多小数位就会产生精确性,而无需证据。
在计算完成之后,应继续审查模型概率和不确定性层。 评定总分超过一个. 报告分类或偏差的分类特定混淆和回归的错误模式,并附有样本支持和地理或时间范围。 故意评估困难和罕见的目标。 保持模型分数与校准概率的区别,并酌情保留一个不支持域旗. 检查代表性错误,比较假警报造成的操作审查负担. 在转让或更新一个模型时,用未受影响的数据评价候选人,并保留上一个版本。 只有在审查不断变化的投入和结果时,而不是假定初步业绩无限期地持续下去时,监测才仍然可靠。
通过一个示例开展工作
想象一下一个说明性分类器给许多像素分配0.95,但只有70%的类似得分的独立例子是正确的. 在这一评价背景下,得分过重。
模型概率和不确定性层的推理例子,有刻意限制的作用. 本条中的例子具有说明性,不是所报告的项目结果、准确性索赔或履约保证。 在实际使用推理之前,用已计量的项目值取代其假设。 保持单位,观测日期和相关分母的可见性. 如果合理的替代面具、参考物或参数改变决定,报告这种敏感性,并在可行的情况下获得更好的证据。 额外小数位并不能解决所观察到的不确定性。 明确保留未结案件,而不是选择产生最有说服力的说明的参数。
对照独立证据进行评估
采用可靠性总结,分类特定检查和独立转移测试. 考察困难地区和缺投入条件. 利用错误和业务后果来比较门槛决定。
独立评估应代表成果实际使用的人群或区域及其条件。用于选择参数或训练模型的观测，应与用于评估性能的观测分开。除明显目标外，还应包括难以区分的非目标案例，并保留缺测或无法观测区域的信息。应尽可能匹配参考数据的时间和空间覆盖范围。出现不一致时，应同时检查分析结果与参考证据。参考测量本身也可能存在不确定性，因此强行使其符合地图并不是有效的纠正方法。
报告有用尺度的不确定性
对于模型概率和不确定性层,结果必须保留其已显示的范围。 审查所要决定的规模上的不确定性。 像素间隔,有效的传感器支持,处理邻里和管理单位可以有很大的不同. 许多重印的像素并不创建许多独立的观测. 对于一个区域摘要,保留有效的覆盖面和排除;对于一个候选特征,保留检测信心和源日期。 在证据允许的情况下,将系统效应与本地变化分开。 小小的平均误差不排除在罕见的类别、特定物质或代表性不足的区域出现相应的偏差。 报告评价所显示的范围。
提供可用GIS和分析证据
出口分数定义,校准出处和适用性限制. ITSensing分析应区分预测的类别、概率和观测质量,而不是将它们合并为一个确定性标签。
模型概率和不确定性层的交接,在作者环境之外仍应可以理解。 提供无障碍概览,同时提供相关地理空间数据和简明数据词典。 保留稳定的识别资料,源参考文献,观测日期,处理版本,协调参考文献和质量字段. 解释未知区域, 并在例外记录中解释下一个有用的检查 。 要求接收分析师找到样本物品,鉴定其证据,并解释其局限性. 这一实际审查可能揭示出文件完整性检查无法发现的缺失上下文。 保留修改的理由,以便以后的修改可以追溯到新的观察或改变的方法.
用实际投入评估ITSensing 工作流程
在评估云遥感软件用于模型概率和不确定性层时,使用一个有文件记载的飞行员. 利用产品比较法测试一个完整的工作流程与代表性数据. ITSensing介绍了卫星发现、光栅和光谱分析的云工作空间,机器学习、GeoAI、模型建筑和Python基工作。 这些广泛能力并不能确定本文所述的每一种专门方法都是本地按钮,或每个外部服务直接连接。 检查实际的文档工具, 支持的输入和导出路径 。 在选择反复发生的工作流程之前,保留试点证据和独立验证. 产品链接是评价的切入点,而科学解释仍然与数据和方法挂钩。
