1. 项目概述当AI飞上太空守护那片蔚蓝海洋这颗蓝色星球的生命摇篮正面临着日益严峻的环境挑战。从突如其来的溢油事故到悄然蔓延的有害藻华从陆源输入的沉积物泛滥到难以追踪的塑料垃圾这些威胁不仅破坏着脆弱的海洋生态系统也直接影响着全球数十亿人的生计与福祉。传统的卫星监测依赖于地面站接收数据后再进行处理分析从成像到发出警报往往存在数小时甚至更长的延迟这对于需要快速响应的环境事件而言无疑是致命的短板。近年来随着商业航天与人工智能技术的交叉融合“星上智能处理”或“在轨边缘计算”成为了一个激动人心的前沿方向。其核心思想很简单为何不把一部分数据处理能力直接搬到卫星上去让卫星在拍摄图像的瞬间就能自行判断画面中是否存在异常并优先下传这些“有问题”的图像甚至直接向地面发送警报。这不仅能将响应时间从小时级压缩到分钟甚至秒级还能极大缓解星地之间宝贵的数据下行带宽压力。然而将AI送上太空谈何容易。星载计算平台受限于严格的功耗、体积、重量和抗辐射要求其计算能力与地面数据中心相比可谓天壤之别。同时太空任务对算法的鲁棒性、泛化能力以及数据效率提出了近乎苛刻的要求算法必须能在全球不同海域、不同光照条件下稳定工作由于无法预知所有类型的污染事件它需要具备检测“未知异常”的能力在轨卫星也难以获得大量精确标注的数据来进行模型训练和更新。正是在这样的背景下我们团队为欧洲空间局ESA的Φsat-2和IMAGIN-e两项在轨AI验证任务设计并实现了一套完整的星载海洋异常检测技术方案。这套方案的核心是一个巧妙融合了自监督学习与轻量化AI模型的混合处理流水线。它不试图去识别每一种具体的污染物而是反其道而行之先让AI学会“正常”的海洋应该是什么样子。任何偏离这种“常态”的光谱或纹理特征都会被标记为需要关注的异常。这种方法就像一位经验丰富的瞭望员他可能说不清远处海面上漂浮的究竟是什么但他能一眼看出那片区域的“颜色”或“状态”与往常不同从而发出预警。提示本文所探讨的技术方案源于一项真实的航天AI竞赛项目其设计思路平衡了算法先进性、工程可行性与星载约束为同类边缘AI应用提供了一个极具参考价值的范本。2. 核心思路与架构设计为何选择“学习常态”而非“识别异常”面对星载海洋监测的复杂需求我们首先需要回答一个根本性问题应该让AI学习什么是去记忆成百上千种污染物的具体特征还是去掌握浩瀚海洋在无干扰状态下的普遍规律我们的选择是后者。这背后是一系列深刻的工程权衡。2.1 从监督学习到自监督学习的范式转变传统的遥感图像分析无论是检测溢油还是识别藻华大多采用监督学习范式。这需要研究人员收集大量包含目标物的图像并耗费巨大人力对图像中的每个像素或区域进行精确标注例如用多边形框出油膜范围。这种方法存在几个固有瓶颈标注成本高昂海洋异常事件本身具有突发性、随机性构建一个大规模、高质量、覆盖全球各类事件的标注数据集极其困难。泛化能力受限一个在特定海域、特定传感器数据上训练好的溢油检测模型很可能无法直接应用于另一颗卫星或另一片海域因为光照条件、海水成分、传感器特性都存在差异。无法应对未知威胁模型只能检测它“见过”的异常类型。对于未曾纳入训练集的新型污染或罕见现象模型会视而不见。我们的方案采用了自监督学习作为特征提取的核心。具体来说我们使用了SimCLR框架。它的训练过程非常巧妙我们不需要任何人工标注。只需向模型输入大量无标签的海洋场景图像块模型通过对比学习自动学会将语义相似的图像块例如都是清澈的深海水域在特征空间里拉近同时将不相似的图像块例如深海水域与近岸泥沙水域推远。经过这种训练模型编码器就能将原始的、高维的、冗余的多光谱或高光谱数据映射到一个低维、紧凑且语义信息丰富的“特征空间”。在这个空间里“正常”的海洋状态会聚集在某个区域。2.2 混合流水线分而治之的工程智慧直接用一个庞大的端到端网络完成从像素到警报的所有任务在星载环境下是不现实的。因此我们设计了一个模块化、可配置的流水线将复杂任务分解为多个轻量级子任务如图1所示。这种“分而治之”的策略带来了多重好处模型更易训练、调试和更新可以根据任务需求灵活启用或关闭某些模块更重要的是可以将计算负载最大的部分分配给硬件加速器其余部分运行在通用CPU上实现资源的最优配置。我们的流水线主要包含三个阶段海洋区域分割与过滤卫星拍摄的图像包含陆地、云层和海洋。首先我们需要一个快速、准确的模型将海洋区域筛选出来只对这部分数据进行后续昂贵的异常分析。我们采用了一个基于符号回归的轻量级模型来完成此任务。基于“常态”分布的异常检测这是流水线的核心。利用自监督编码器将海洋图像块转换为特征向量然后使用一个高斯混合模型来拟合“正常”海洋特征在空间中的概率分布。对于一个新的图像块计算它属于这个“常态”分布的概率似然值。概率越低说明它越“不正常”其异常得分就越高。异常类型精细分类对于被标记为异常的区域我们有时需要知道它具体是什么。例如是溢油需要立即报警还是藻华需要持续监测我们引入了第二个轻量级分类模型对异常区域内的像素进行精细分类识别出溢油、藻华、沉积物等特定类型。表1技术选型对比与决策依据候选方法用例泛化性任务泛化性标签依赖性计算资源需求是否适合星载光谱指数法低针对特定现象低依赖特定波段极低极低是但功能单一传统机器学习中中中需特征工程低是监督深度学习中限于训练集类别高高需大量强标签高通常否图像重建法高高无很高编解码结构否自监督学习轻量检测器高高低仅需正常样本中是我们的选择如表1所示通过系统性的文献调研和评估我们认定“自监督学习轻量级异常检测器”的组合在用例泛化性能检测未知事件、任务泛化性适应不同传感器、数据效率低标签依赖和计算效率之间取得了最佳平衡是应对星载场景不确定性的最优解。3. 模型详解从算法原理到轻量化实现3.1 特征学习引擎四层卷积的SimCLR编码器自监督学习的威力在于它能从海量无标签数据中自动学习有用的特征表示。我们选择了SimCLR框架但对其网络结构进行了极致的轻量化裁剪。原始架构与我们的改动经典的SimCLR通常使用ResNet-18或更深的网络作为编码器。但在星载芯片上即使是ResNet-18也显得过于庞大。我们设计了一个仅包含4个卷积层的微型编码器参数量约100万不到ResNet-18的十分之一。网络结构详情输入32x32像素的图像块通道数为传感器波段数Φsat-2为8IMAGIN-e为50。层1卷积层3x3内核32个滤波器批归一化ReLU激活2x2最大池化。层2卷积层3x3内核64个滤波器批归一化ReLU激活2x2最大池化。层3卷积层3x3内核128个滤波器批归一化ReLU激活。层4卷积层3x3内核256个滤波器批归一化ReLU激活。输出全局平均池化后连接一个全连接层输出512维的特征向量。训练技巧我们使用约1万个随机图像块进行训练。通过随机裁剪、颜色抖动等数据增强手段为同一图像块生成两个不同的“视图”模型的目标是让这两个视图的特征在对比损失函数下尽可能相似。训练在4核CPU上仅需约1小时即可收敛。如图6的t-SNE可视化所示这个轻量编码器学到的特征空间已经能将“植被”、“裸土”、“云”、“水”等不同语义类别清晰地区分开来证明了其有效性。实操心得在资源受限场景下不要盲目追求SOTA模型的复杂度。一个为任务量身定制的、极其精简的网络配合恰当的自监督训练往往能以极小的计算代价获得足够好的特征表示。关键在于设计合适的数据增强策略这对于遥感图像尤为重要如模拟不同太阳高度角、轻微光谱变化等。3.2 异常检测器高斯混合模型得到特征向量后如何定义“异常”我们采用了概率统计的方法——高斯混合模型。GMM假设所有“正常”海洋图像块的特征向量服从一个由多个高斯分布叠加而成的概率分布。训练过程我们从数据集中筛选出约7000个确认无任何异常的海域图像块通过编码器得到它们的特征向量集合{z_normal}。使用期望最大化算法拟合一个包含10个高斯分量的GMM模型。这个模型学会了{z_normal}在512维空间中的分布形态。训练完成后GMM模型就成为了“海洋常态”的概率密度函数p(z)。推理与评分 对于一个新的图像块特征z_new我们计算它在这个“常态”分布下的对数似然值log p(z_new)。这个值越高说明该图像块越“正常”。我们将其归一化并取反得到一个0到1之间的异常得分。得分越接近1异常可能性越高。阈值选择这是一个关键的工程参数。在Φsat-2任务中我们设定阈值为0.4在IMAGIN-e任务中阈值为0.25。阈值的选择需要在误报将正常区域判为异常和漏报漏掉真实异常之间取得平衡可根据任务对及时性或准确性的侧重进行调整。3.3 分割与分类利器符号回归模型对于海洋分割和异常分类这两个需要明确输出类别标签的任务我们选择了Zoetrope Genetic Programming模型。这是一种基于遗传编程的符号回归方法其最终产出不是一个“黑箱”神经网络而是一个可读的、简单的数学公式。工作原理ZGP算法将模型视为由数学表达式如 , -, ×, ÷, log, sin构成的“个体”通过模拟生物进化中的选择、交叉重组、变异等过程在数百代迭代中寻找能最佳拟合输入光谱波段值与输出类别标签之间关系的数学公式。为何选择ZGP极致轻量推理时只需按公式计算计算量远小于神经网络前向传播。数据高效每个类别仅需约1000个标注像素即可训练出有效模型非常适合标注数据稀缺的航天场景。可解释性生成的公式在一定程度上揭示了哪些光谱波段或波段组合对于区分地物或异常类型最为关键这比神经网络更具可解释性。在我们的流水线中第一个ZGP模型接收原始像素的多光谱值输出该像素属于“陆地”、“海洋”或“云”的概率用于快速分割。第二个ZGP模型接收被判定为异常的图像块对其每个像素进行分类输出“溢油”、“藻华”、“沉积物”或“其他/正常”的标签。4. 数据工程构建与模拟打通天地链路在轨AI模型的性能高度依赖于训练数据的质量与代表性。我们的数据工作流面临两大挑战一是获取足够多且涵盖“正常”与各类“异常”场景的卫星数据二是这些数据必须精确模拟未来在轨卫星Φsat-2和IMAGIN-e的成像特性。4.1 数据来源与构建我们的数据主要来自两大块挑战赛提供数据集ESA提供了模拟Φsat-28个波段5米分辨率和IMAGIN-e50个波段50米分辨率传感器的图像数据这些数据由Sentinel-2 L1C级数据经过光谱和空间重采样、模拟传感器调制传递函数和信噪比等过程生成。这部分数据量巨大数百万个图像块主要用于无监督训练编码器和定义“海洋常态”。自定义异常数据集为了评估异常检测和分类性能我们必须构建包含真实污染事件的数据。我们团队像侦探一样从科学文献、专家报告和新闻中搜集了全球范围内有记录的溢油、藻华、沉积物泛滥等事件的时间与地点如表III所示。然后利用ESA提供的模拟器生成对应时间和地点的、模拟Φsat-2/IMAGIN-e传感器特性的图像。最后由图像处理专家对这些图像中的异常区域进行像素级的手工标注形成宝贵的“金标准”测试集。4.2 传感器模拟器在发射前预见未来ESA提供的模拟器是整个项目的地基验证关键。它不仅仅是一个简单的重采样工具而是尽可能真实地复现了星上处理链。以Sentinel-2数据为输入模拟器会依次进行以下操作流程见图4数据下载与预处理获取指定时空范围的Sentinel-2 L1C数据并将其转换为大气层顶辐射亮度值。光谱重采样将Sentinel-2的波段响应函数卷积到目标传感器IMAGIN-e的50个波段的光谱响应曲线上。空间重采样使用双线性或双三次插值将空间分辨率调整至目标值Φsat-2为5米IMAGIN-e为50米。波段配准误差模拟模拟高光谱传感器各波段间存在的亚像素级偏移这对于L1A级未校正数据尤为重要。传感器噪声模拟根据各波段的信噪比指标加入高斯噪声。光学系统退化模拟通过调制传递函数模拟镜头带来的图像模糊效应。辐射定标可选择输出L1C级的大气层顶反射率数据。注意事项使用模拟数据训练模型存在“模拟到真实”的域适应问题。尽管模拟器尽力还原但真实在轨数据仍会存在未建模的误差。因此在轨模型上线初期需要有一个“在轨微调”阶段利用真实下传的少量数据对模型特别是GMM的“常态”分布进行校准这对保证任务成功至关重要。5. 全流程实现与性能评估5.1 端到端处理流程结合图2的架构一个完整的图像处理流程如下图像分块输入的全景卫星图像被切割成不重叠的32x32像素小块。海洋分割每个小块送入第一个ZGP模型快速判断其中“海洋”像素的比例。只有海洋像素占比超过80%的小块才会进入后续流程有效过滤了陆地和云层。特征提取海洋小块被送入轻量级SimCLR编码器转换为512维的特征向量。异常评分特征向量输入GMM计算其属于“常态”的似然值并转化为异常得分。得分高于阈值的小块被标记为“异常候选区”。异常分类所有“异常候选区”小块被送入第二个ZGP模型进行像素级的精细分类识别出具体的异常类型油、藻、沙等。结果重组与输出Mosaic‘er模块将上述所有步骤的输出重新拼接成与输入图像对应的结果图包括海陆云分割图、异常热力图以颜色深浅表示异常得分、异常类型分类图。5.2 算法性能验证我们采用视觉验证和定量指标相结合的方式评估系统。视觉验证如图5和图7所示系统在模拟的Φsat-2和IMAGIN-e数据上能够清晰地检测出藻华、溢油等事件并正确分类。异常热力图能高亮显示异常区域而分类图则给出了更具体的信息。定量评估我们在4张已标注的测试图像共约3560万个像素上计算了精确率、召回率、F1分数和AUROC等指标见表IV。海陆云分割ZGP对“海洋”类的分割精确率和召回率均超过97%性能优异为后续流程奠定了可靠基础。异常检测GMM平均精确率和召回率在40%左右。这个数值需要结合场景理解首先我们使用了“80%海洋像素”的过滤条件海岸线附近混合像元会导致误判其次GMM是在图像块级别做判断而标注是像素级的对于像溢油这种小目标块级判断自然会损失精度。但对于星上图像优先级排序这一核心应用而言我们不需要100%的精确检测只需要可靠地将最可疑的、最可能包含事件的图像块筛选出来即可。AUROC指标更能综合反映模型的判别能力。异常分类ZGP在已知是异常的区域上进行像素级分类精确率接近100%召回率约90%说明模型能准确区分不同类型的异常。5.3 硬件部署与性能实测算法的最终战场是星载硬件。我们分别在两个任务的代表性硬件上进行了部署和性能测试。Φsat-2平台核心是Intel Movidius Myriad 2 VPU加速器。我们将编码器模型转换为OpenVINO格式部署其上。测试发现当一次处理128个图像块时硬件利用率达到最优每秒可处理6.15万个图像块延迟为16.6毫秒/块。两个ZGP模型和GMM则部署在配套的ARM Cortex-A53 CPU上运行。IMAGIN-e平台使用ARM Cortex-A72 CPU。所有四个模型均部署于此。编码器的推理速度约为每秒1.8万个图像块。表2各模型在目标硬件上的吞吐量图像块/秒模型Φsat-2 (Myriad 2 A53)IMAGIN-e (A72 CPU)备注编码器61,50018,000计算瓶颈受益于硬件加速GMM34,00067,000处理编码后特征速度极快分割ZGP90,000 (像素/秒)225,000 (像素/秒)需处理所有像素是潜在瓶颈分类ZGP极低需求极低需求仅处理异常块负载可忽略性能瓶颈分析整个流水线的吞吐量取决于图像中海洋的比例。如果海洋区域很大那么编码器在Φsat-2上已加速和GMM是主要负载。如果图像包含大量海岸线或云层则第一个ZGP模型海陆云分割可能成为瓶颈因为它需要处理每一个像素。优化方向包括将ZGP模型也移植到加速器上运行或者利用多核CPU并行处理不同图像块。6. 挑战、局限与未来展望尽管我们的方案在两项ESA挑战赛中入围前五并展示了可行的技术路径但在走向真正业务化运行的道路上仍面临诸多挑战。当前局限小目标检测难题对于像海洋塑料垃圾这类尺寸远小于传感器空间分辨率Φsat-2为5米IMAGIN-e为50米的目标现有方法几乎无能为力。这需要结合更高分辨率的传感器或发展亚像素级检测算法。数据偏差风险我们的异常数据集基于历史报道事件构建可能无法覆盖所有类型、所有强度的海洋异常存在选择偏差。模型在未见过的新型异常上表现如何仍需更多验证。阈值依赖性与场景适应性异常检测阈值需要根据具体任务是优先不漏报还是不错报和不同海域的“正常”基线进行调整。如何实现自适应或在线学习阈值是一个待解决的问题。未来工作方向多源数据融合引入海洋温度、叶绿素浓度、海流速度等辅助数据与光学影像融合可以构建更 robust 的“海洋常态”模型减少因光照、季节变化引起的误报。模型持续学习设计在轨增量学习机制让模型能够利用新下传的、经地面确认的数据不断更新对“常态”和“异常”的理解适应环境变化。探索更优的异常检测器可以对比测试孤立森林、局部离群因子等其他轻量级异常检测算法寻找在有限计算资源下性能更优的替代方案。在轨验证与迭代最终极的测试是将算法真正部署到Φsat-2和IMAGIN-e任务中接收真实在轨数据验证其在复杂太空环境下的长期稳定性和实用性。从实验室模拟到太空实战这条路充满挑战。但我们相信将轻量化AI与自监督学习结合赋予卫星“智能感知”的能力是构建下一代智能对地观测系统的必然趋势。它不仅仅是技术的演进更是一种理念的转变从“数据下传地面处理”到“星上感知信息下传”。当每一颗卫星都成为一个智能节点我们守护蓝色星球的视野将变得更加清晰反应也将更加迅捷。
自监督学习与轻量化AI模型在星载海洋异常检测中的应用
1. 项目概述当AI飞上太空守护那片蔚蓝海洋这颗蓝色星球的生命摇篮正面临着日益严峻的环境挑战。从突如其来的溢油事故到悄然蔓延的有害藻华从陆源输入的沉积物泛滥到难以追踪的塑料垃圾这些威胁不仅破坏着脆弱的海洋生态系统也直接影响着全球数十亿人的生计与福祉。传统的卫星监测依赖于地面站接收数据后再进行处理分析从成像到发出警报往往存在数小时甚至更长的延迟这对于需要快速响应的环境事件而言无疑是致命的短板。近年来随着商业航天与人工智能技术的交叉融合“星上智能处理”或“在轨边缘计算”成为了一个激动人心的前沿方向。其核心思想很简单为何不把一部分数据处理能力直接搬到卫星上去让卫星在拍摄图像的瞬间就能自行判断画面中是否存在异常并优先下传这些“有问题”的图像甚至直接向地面发送警报。这不仅能将响应时间从小时级压缩到分钟甚至秒级还能极大缓解星地之间宝贵的数据下行带宽压力。然而将AI送上太空谈何容易。星载计算平台受限于严格的功耗、体积、重量和抗辐射要求其计算能力与地面数据中心相比可谓天壤之别。同时太空任务对算法的鲁棒性、泛化能力以及数据效率提出了近乎苛刻的要求算法必须能在全球不同海域、不同光照条件下稳定工作由于无法预知所有类型的污染事件它需要具备检测“未知异常”的能力在轨卫星也难以获得大量精确标注的数据来进行模型训练和更新。正是在这样的背景下我们团队为欧洲空间局ESA的Φsat-2和IMAGIN-e两项在轨AI验证任务设计并实现了一套完整的星载海洋异常检测技术方案。这套方案的核心是一个巧妙融合了自监督学习与轻量化AI模型的混合处理流水线。它不试图去识别每一种具体的污染物而是反其道而行之先让AI学会“正常”的海洋应该是什么样子。任何偏离这种“常态”的光谱或纹理特征都会被标记为需要关注的异常。这种方法就像一位经验丰富的瞭望员他可能说不清远处海面上漂浮的究竟是什么但他能一眼看出那片区域的“颜色”或“状态”与往常不同从而发出预警。提示本文所探讨的技术方案源于一项真实的航天AI竞赛项目其设计思路平衡了算法先进性、工程可行性与星载约束为同类边缘AI应用提供了一个极具参考价值的范本。2. 核心思路与架构设计为何选择“学习常态”而非“识别异常”面对星载海洋监测的复杂需求我们首先需要回答一个根本性问题应该让AI学习什么是去记忆成百上千种污染物的具体特征还是去掌握浩瀚海洋在无干扰状态下的普遍规律我们的选择是后者。这背后是一系列深刻的工程权衡。2.1 从监督学习到自监督学习的范式转变传统的遥感图像分析无论是检测溢油还是识别藻华大多采用监督学习范式。这需要研究人员收集大量包含目标物的图像并耗费巨大人力对图像中的每个像素或区域进行精确标注例如用多边形框出油膜范围。这种方法存在几个固有瓶颈标注成本高昂海洋异常事件本身具有突发性、随机性构建一个大规模、高质量、覆盖全球各类事件的标注数据集极其困难。泛化能力受限一个在特定海域、特定传感器数据上训练好的溢油检测模型很可能无法直接应用于另一颗卫星或另一片海域因为光照条件、海水成分、传感器特性都存在差异。无法应对未知威胁模型只能检测它“见过”的异常类型。对于未曾纳入训练集的新型污染或罕见现象模型会视而不见。我们的方案采用了自监督学习作为特征提取的核心。具体来说我们使用了SimCLR框架。它的训练过程非常巧妙我们不需要任何人工标注。只需向模型输入大量无标签的海洋场景图像块模型通过对比学习自动学会将语义相似的图像块例如都是清澈的深海水域在特征空间里拉近同时将不相似的图像块例如深海水域与近岸泥沙水域推远。经过这种训练模型编码器就能将原始的、高维的、冗余的多光谱或高光谱数据映射到一个低维、紧凑且语义信息丰富的“特征空间”。在这个空间里“正常”的海洋状态会聚集在某个区域。2.2 混合流水线分而治之的工程智慧直接用一个庞大的端到端网络完成从像素到警报的所有任务在星载环境下是不现实的。因此我们设计了一个模块化、可配置的流水线将复杂任务分解为多个轻量级子任务如图1所示。这种“分而治之”的策略带来了多重好处模型更易训练、调试和更新可以根据任务需求灵活启用或关闭某些模块更重要的是可以将计算负载最大的部分分配给硬件加速器其余部分运行在通用CPU上实现资源的最优配置。我们的流水线主要包含三个阶段海洋区域分割与过滤卫星拍摄的图像包含陆地、云层和海洋。首先我们需要一个快速、准确的模型将海洋区域筛选出来只对这部分数据进行后续昂贵的异常分析。我们采用了一个基于符号回归的轻量级模型来完成此任务。基于“常态”分布的异常检测这是流水线的核心。利用自监督编码器将海洋图像块转换为特征向量然后使用一个高斯混合模型来拟合“正常”海洋特征在空间中的概率分布。对于一个新的图像块计算它属于这个“常态”分布的概率似然值。概率越低说明它越“不正常”其异常得分就越高。异常类型精细分类对于被标记为异常的区域我们有时需要知道它具体是什么。例如是溢油需要立即报警还是藻华需要持续监测我们引入了第二个轻量级分类模型对异常区域内的像素进行精细分类识别出溢油、藻华、沉积物等特定类型。表1技术选型对比与决策依据候选方法用例泛化性任务泛化性标签依赖性计算资源需求是否适合星载光谱指数法低针对特定现象低依赖特定波段极低极低是但功能单一传统机器学习中中中需特征工程低是监督深度学习中限于训练集类别高高需大量强标签高通常否图像重建法高高无很高编解码结构否自监督学习轻量检测器高高低仅需正常样本中是我们的选择如表1所示通过系统性的文献调研和评估我们认定“自监督学习轻量级异常检测器”的组合在用例泛化性能检测未知事件、任务泛化性适应不同传感器、数据效率低标签依赖和计算效率之间取得了最佳平衡是应对星载场景不确定性的最优解。3. 模型详解从算法原理到轻量化实现3.1 特征学习引擎四层卷积的SimCLR编码器自监督学习的威力在于它能从海量无标签数据中自动学习有用的特征表示。我们选择了SimCLR框架但对其网络结构进行了极致的轻量化裁剪。原始架构与我们的改动经典的SimCLR通常使用ResNet-18或更深的网络作为编码器。但在星载芯片上即使是ResNet-18也显得过于庞大。我们设计了一个仅包含4个卷积层的微型编码器参数量约100万不到ResNet-18的十分之一。网络结构详情输入32x32像素的图像块通道数为传感器波段数Φsat-2为8IMAGIN-e为50。层1卷积层3x3内核32个滤波器批归一化ReLU激活2x2最大池化。层2卷积层3x3内核64个滤波器批归一化ReLU激活2x2最大池化。层3卷积层3x3内核128个滤波器批归一化ReLU激活。层4卷积层3x3内核256个滤波器批归一化ReLU激活。输出全局平均池化后连接一个全连接层输出512维的特征向量。训练技巧我们使用约1万个随机图像块进行训练。通过随机裁剪、颜色抖动等数据增强手段为同一图像块生成两个不同的“视图”模型的目标是让这两个视图的特征在对比损失函数下尽可能相似。训练在4核CPU上仅需约1小时即可收敛。如图6的t-SNE可视化所示这个轻量编码器学到的特征空间已经能将“植被”、“裸土”、“云”、“水”等不同语义类别清晰地区分开来证明了其有效性。实操心得在资源受限场景下不要盲目追求SOTA模型的复杂度。一个为任务量身定制的、极其精简的网络配合恰当的自监督训练往往能以极小的计算代价获得足够好的特征表示。关键在于设计合适的数据增强策略这对于遥感图像尤为重要如模拟不同太阳高度角、轻微光谱变化等。3.2 异常检测器高斯混合模型得到特征向量后如何定义“异常”我们采用了概率统计的方法——高斯混合模型。GMM假设所有“正常”海洋图像块的特征向量服从一个由多个高斯分布叠加而成的概率分布。训练过程我们从数据集中筛选出约7000个确认无任何异常的海域图像块通过编码器得到它们的特征向量集合{z_normal}。使用期望最大化算法拟合一个包含10个高斯分量的GMM模型。这个模型学会了{z_normal}在512维空间中的分布形态。训练完成后GMM模型就成为了“海洋常态”的概率密度函数p(z)。推理与评分 对于一个新的图像块特征z_new我们计算它在这个“常态”分布下的对数似然值log p(z_new)。这个值越高说明该图像块越“正常”。我们将其归一化并取反得到一个0到1之间的异常得分。得分越接近1异常可能性越高。阈值选择这是一个关键的工程参数。在Φsat-2任务中我们设定阈值为0.4在IMAGIN-e任务中阈值为0.25。阈值的选择需要在误报将正常区域判为异常和漏报漏掉真实异常之间取得平衡可根据任务对及时性或准确性的侧重进行调整。3.3 分割与分类利器符号回归模型对于海洋分割和异常分类这两个需要明确输出类别标签的任务我们选择了Zoetrope Genetic Programming模型。这是一种基于遗传编程的符号回归方法其最终产出不是一个“黑箱”神经网络而是一个可读的、简单的数学公式。工作原理ZGP算法将模型视为由数学表达式如 , -, ×, ÷, log, sin构成的“个体”通过模拟生物进化中的选择、交叉重组、变异等过程在数百代迭代中寻找能最佳拟合输入光谱波段值与输出类别标签之间关系的数学公式。为何选择ZGP极致轻量推理时只需按公式计算计算量远小于神经网络前向传播。数据高效每个类别仅需约1000个标注像素即可训练出有效模型非常适合标注数据稀缺的航天场景。可解释性生成的公式在一定程度上揭示了哪些光谱波段或波段组合对于区分地物或异常类型最为关键这比神经网络更具可解释性。在我们的流水线中第一个ZGP模型接收原始像素的多光谱值输出该像素属于“陆地”、“海洋”或“云”的概率用于快速分割。第二个ZGP模型接收被判定为异常的图像块对其每个像素进行分类输出“溢油”、“藻华”、“沉积物”或“其他/正常”的标签。4. 数据工程构建与模拟打通天地链路在轨AI模型的性能高度依赖于训练数据的质量与代表性。我们的数据工作流面临两大挑战一是获取足够多且涵盖“正常”与各类“异常”场景的卫星数据二是这些数据必须精确模拟未来在轨卫星Φsat-2和IMAGIN-e的成像特性。4.1 数据来源与构建我们的数据主要来自两大块挑战赛提供数据集ESA提供了模拟Φsat-28个波段5米分辨率和IMAGIN-e50个波段50米分辨率传感器的图像数据这些数据由Sentinel-2 L1C级数据经过光谱和空间重采样、模拟传感器调制传递函数和信噪比等过程生成。这部分数据量巨大数百万个图像块主要用于无监督训练编码器和定义“海洋常态”。自定义异常数据集为了评估异常检测和分类性能我们必须构建包含真实污染事件的数据。我们团队像侦探一样从科学文献、专家报告和新闻中搜集了全球范围内有记录的溢油、藻华、沉积物泛滥等事件的时间与地点如表III所示。然后利用ESA提供的模拟器生成对应时间和地点的、模拟Φsat-2/IMAGIN-e传感器特性的图像。最后由图像处理专家对这些图像中的异常区域进行像素级的手工标注形成宝贵的“金标准”测试集。4.2 传感器模拟器在发射前预见未来ESA提供的模拟器是整个项目的地基验证关键。它不仅仅是一个简单的重采样工具而是尽可能真实地复现了星上处理链。以Sentinel-2数据为输入模拟器会依次进行以下操作流程见图4数据下载与预处理获取指定时空范围的Sentinel-2 L1C数据并将其转换为大气层顶辐射亮度值。光谱重采样将Sentinel-2的波段响应函数卷积到目标传感器IMAGIN-e的50个波段的光谱响应曲线上。空间重采样使用双线性或双三次插值将空间分辨率调整至目标值Φsat-2为5米IMAGIN-e为50米。波段配准误差模拟模拟高光谱传感器各波段间存在的亚像素级偏移这对于L1A级未校正数据尤为重要。传感器噪声模拟根据各波段的信噪比指标加入高斯噪声。光学系统退化模拟通过调制传递函数模拟镜头带来的图像模糊效应。辐射定标可选择输出L1C级的大气层顶反射率数据。注意事项使用模拟数据训练模型存在“模拟到真实”的域适应问题。尽管模拟器尽力还原但真实在轨数据仍会存在未建模的误差。因此在轨模型上线初期需要有一个“在轨微调”阶段利用真实下传的少量数据对模型特别是GMM的“常态”分布进行校准这对保证任务成功至关重要。5. 全流程实现与性能评估5.1 端到端处理流程结合图2的架构一个完整的图像处理流程如下图像分块输入的全景卫星图像被切割成不重叠的32x32像素小块。海洋分割每个小块送入第一个ZGP模型快速判断其中“海洋”像素的比例。只有海洋像素占比超过80%的小块才会进入后续流程有效过滤了陆地和云层。特征提取海洋小块被送入轻量级SimCLR编码器转换为512维的特征向量。异常评分特征向量输入GMM计算其属于“常态”的似然值并转化为异常得分。得分高于阈值的小块被标记为“异常候选区”。异常分类所有“异常候选区”小块被送入第二个ZGP模型进行像素级的精细分类识别出具体的异常类型油、藻、沙等。结果重组与输出Mosaic‘er模块将上述所有步骤的输出重新拼接成与输入图像对应的结果图包括海陆云分割图、异常热力图以颜色深浅表示异常得分、异常类型分类图。5.2 算法性能验证我们采用视觉验证和定量指标相结合的方式评估系统。视觉验证如图5和图7所示系统在模拟的Φsat-2和IMAGIN-e数据上能够清晰地检测出藻华、溢油等事件并正确分类。异常热力图能高亮显示异常区域而分类图则给出了更具体的信息。定量评估我们在4张已标注的测试图像共约3560万个像素上计算了精确率、召回率、F1分数和AUROC等指标见表IV。海陆云分割ZGP对“海洋”类的分割精确率和召回率均超过97%性能优异为后续流程奠定了可靠基础。异常检测GMM平均精确率和召回率在40%左右。这个数值需要结合场景理解首先我们使用了“80%海洋像素”的过滤条件海岸线附近混合像元会导致误判其次GMM是在图像块级别做判断而标注是像素级的对于像溢油这种小目标块级判断自然会损失精度。但对于星上图像优先级排序这一核心应用而言我们不需要100%的精确检测只需要可靠地将最可疑的、最可能包含事件的图像块筛选出来即可。AUROC指标更能综合反映模型的判别能力。异常分类ZGP在已知是异常的区域上进行像素级分类精确率接近100%召回率约90%说明模型能准确区分不同类型的异常。5.3 硬件部署与性能实测算法的最终战场是星载硬件。我们分别在两个任务的代表性硬件上进行了部署和性能测试。Φsat-2平台核心是Intel Movidius Myriad 2 VPU加速器。我们将编码器模型转换为OpenVINO格式部署其上。测试发现当一次处理128个图像块时硬件利用率达到最优每秒可处理6.15万个图像块延迟为16.6毫秒/块。两个ZGP模型和GMM则部署在配套的ARM Cortex-A53 CPU上运行。IMAGIN-e平台使用ARM Cortex-A72 CPU。所有四个模型均部署于此。编码器的推理速度约为每秒1.8万个图像块。表2各模型在目标硬件上的吞吐量图像块/秒模型Φsat-2 (Myriad 2 A53)IMAGIN-e (A72 CPU)备注编码器61,50018,000计算瓶颈受益于硬件加速GMM34,00067,000处理编码后特征速度极快分割ZGP90,000 (像素/秒)225,000 (像素/秒)需处理所有像素是潜在瓶颈分类ZGP极低需求极低需求仅处理异常块负载可忽略性能瓶颈分析整个流水线的吞吐量取决于图像中海洋的比例。如果海洋区域很大那么编码器在Φsat-2上已加速和GMM是主要负载。如果图像包含大量海岸线或云层则第一个ZGP模型海陆云分割可能成为瓶颈因为它需要处理每一个像素。优化方向包括将ZGP模型也移植到加速器上运行或者利用多核CPU并行处理不同图像块。6. 挑战、局限与未来展望尽管我们的方案在两项ESA挑战赛中入围前五并展示了可行的技术路径但在走向真正业务化运行的道路上仍面临诸多挑战。当前局限小目标检测难题对于像海洋塑料垃圾这类尺寸远小于传感器空间分辨率Φsat-2为5米IMAGIN-e为50米的目标现有方法几乎无能为力。这需要结合更高分辨率的传感器或发展亚像素级检测算法。数据偏差风险我们的异常数据集基于历史报道事件构建可能无法覆盖所有类型、所有强度的海洋异常存在选择偏差。模型在未见过的新型异常上表现如何仍需更多验证。阈值依赖性与场景适应性异常检测阈值需要根据具体任务是优先不漏报还是不错报和不同海域的“正常”基线进行调整。如何实现自适应或在线学习阈值是一个待解决的问题。未来工作方向多源数据融合引入海洋温度、叶绿素浓度、海流速度等辅助数据与光学影像融合可以构建更 robust 的“海洋常态”模型减少因光照、季节变化引起的误报。模型持续学习设计在轨增量学习机制让模型能够利用新下传的、经地面确认的数据不断更新对“常态”和“异常”的理解适应环境变化。探索更优的异常检测器可以对比测试孤立森林、局部离群因子等其他轻量级异常检测算法寻找在有限计算资源下性能更优的替代方案。在轨验证与迭代最终极的测试是将算法真正部署到Φsat-2和IMAGIN-e任务中接收真实在轨数据验证其在复杂太空环境下的长期稳定性和实用性。从实验室模拟到太空实战这条路充满挑战。但我们相信将轻量化AI与自监督学习结合赋予卫星“智能感知”的能力是构建下一代智能对地观测系统的必然趋势。它不仅仅是技术的演进更是一种理念的转变从“数据下传地面处理”到“星上感知信息下传”。当每一颗卫星都成为一个智能节点我们守护蓝色星球的视野将变得更加清晰反应也将更加迅捷。
