界定观察和决定
空间交叉验证根据地理或业务单位将培训和评价分开。 它降低了两组中出现空间相似样品的乐观效果. 拆分应代表预定的部署距离和景观变化。
对于地域独立的模型评价,首先要提出一个精确的问题。 在比较软件设置之前, 请说明决定和数量 。 确定谁将使用结果、他们所认识的地理单位以及哪些证据会改变检查或分析。 写下目标条件和可行的其他解释 这使得可以判断该方法的实际观察是否能够回答问题. 当输出代表着一个不同含义的代词时,细微的映射图是不够的. 保留一个简短的假设登记册,以便以后的审查者能够区分所计量的投入、模型选择和解释。
匹配数据支持到方法
整个解释过程中,地域独立模型评价的衡量基础都很重要。 卫星模型在取样条件下学习了确定的投入和参考目标之间的关系。 它不会自动生成传感器中缺失的信息或纠正不一致的标签. 在选择算法之前定义类意义或连续目标单位. 匹配图像时间和空间支持的训练参考,并在标签中记录不确定性或分歧. 确定预定部署区域、季节和购置条件。 这些选择决定了应测试何种通用性,防止将令人印象深刻的发展成果误认为模型已准备好为不同的业务环境准备的证据。
编写一份可追踪分析
根据应用和空间依赖性选择块,字段或区域. 在每个训练分区内保持特性选择、缩放和调试。 文件重复了物体和时间观察的规则。
编制地域独立的模型评价应保留下列证据。 编制可复制的预测器清单,其中列出源日期、频段顺序、单位、口罩和预处理。 在特性选择,缩放,调制或补丁提取之前进行单独评价,可以将信息泄露到整个分割处. 使用适合部署的地理或时间分区,并比较一个简单的基线。 保存模型参数,在适用的情况下随机种子和软件版本. 测试现实的缺失数据及困难的图像条件. 一次集中或完成的培训只是技术步骤之一;其产出仍必须根据独立证据和预期决定的后果加以评价。
测试具有代表性的飞行员
地域独立模式评价试点应针对实际收到的工作流程项。 首先是一个具有代表性的飞行员,其中包含普通条件和困难的例外。 包括相关边界,混杂表面,缺失的观测和已知的参考位置. 将一些手动检查的数字示例与源元数据一起保存 。 将结果与独立读者或计算结果进行实际比较. 飞行员应当通过导出测试从源选择的完整路径,因为正确的公式仍然可能被错误的单位,带令或有效性处理破坏. 一旦对试点的理解得到保留,作为日后修订的一个参考。
承认特定专题的解释风险
邻近的小块块可能仍然具有强烈的依赖性。 非常遥远的块可以测试一个比预期的更难的转移问题. 报告一个分数而不分几何,就很难判断究竟评估了什么概括.
在计算完成之后,应继续审查地域上独立的模型评价。 评定总分超过一个. 报告分类或偏差的分类特定混淆和回归的错误模式,并附有样本支持和地理或时间范围。 故意评估困难和罕见的目标。 保持模型分数与校准概率的区别,并酌情保留一个不支持域旗. 检查代表性错误,比较假警报造成的操作审查负担. 在转让或更新一个模型时,用未受影响的数据评价候选人,并保留上一个版本。 只有在审查不断变化的投入和结果时,而不是假定初步业绩无限期地持续下去时,监测才仍然可靠。
通过一个示例开展工作
设想一下为新区设计的示范性区域分类器。 持有随机的像素测试在已知地区之间的插值,同时持有地区测试更相关的转移.
地域独立模型评价的推理例子有意发挥有限的作用。 本条中的例子具有说明性,不是所报告的项目结果、准确性索赔或履约保证。 在实际使用推理之前,用已计量的项目值取代其假设。 保持单位,观测日期和相关分母的可见性. 如果合理的替代面具、参考物或参数改变决定,报告这种敏感性,并在可行的情况下获得更好的证据。 额外小数位并不能解决所观察到的不确定性。 明确保留未结案件,而不是选择产生最有说服力的说明的参数。
对照独立证据进行评估
比较拆分设计,检查按区域划分的错误分布. 保持各种折叠和困难阶层的不确定性。 使用最后的未受影响的评价,在其中将出现许多模型中的相应选择。
独立评估应代表成果实际使用的人群或区域及其条件。用于选择参数或训练模型的观测，应与用于评估性能的观测分开。除明显目标外，还应包括难以区分的非目标案例，并保留缺测或无法观测区域的信息。应尽可能匹配参考数据的时间和空间覆盖范围。出现不一致时，应同时检查分析结果与参考证据。参考测量本身也可能存在不确定性，因此强行使其符合地图并不是有效的纠正方法。
报告有用尺度的不确定性
对于地域独立的评价模式,结果必须保留其已显示的范围。 审查所要决定的规模上的不确定性。 像素间隔,有效的传感器支持,处理邻里和管理单位可以有很大的不同. 许多重印的像素并不创建许多独立的观测. 对于一个区域摘要,保留有效的覆盖面和排除;对于一个候选特征,保留检测信心和源日期。 在证据允许的情况下,将系统效应与本地变化分开。 小小的平均误差不排除在罕见的类别、特定物质或代表性不足的区域出现相应的偏差。 报告评价所显示的范围。
提供可用GIS和分析证据
提供分解地图、样本识别符和完整的培训程序。 ITSensing模型评估应使用适合部署的设计,而不是依赖自动方便的随机分割.
移交在地理上独立的模型评价,在撰写文件的环境之外,仍应可以理解。 提供无障碍概览,同时提供相关地理空间数据和简明数据词典。 保留稳定的识别资料,源参考文献,观测日期,处理版本,协调参考文献和质量字段. 解释未知区域, 并在例外记录中解释下一个有用的检查 。 要求接收分析师找到样本物品,鉴定其证据,并解释其局限性. 这一实际审查可能揭示出文件完整性检查无法发现的缺失上下文。 保留修改的理由,以便以后的修改可以追溯到新的观察或改变的方法.
用实际投入评估ITSensing 工作流程
在评估云遥感软件进行地域独立模型评价时,使用有文件记载的试点. 利用产品比较法测试一个完整的工作流程与代表性数据. ITSensing介绍了卫星发现、光栅和光谱分析的云工作空间,机器学习、GeoAI、模型建筑和Python基工作。 这些广泛能力并不能确定本文所述的每一种专门方法都是本地按钮,或每个外部服务直接连接。 检查实际的文档工具, 支持的输入和导出路径 。 在选择反复发生的工作流程之前,保留试点证据和独立验证. 产品链接是评价的切入点,而科学解释仍然与数据和方法挂钩。
