1. 项目概述GAD-MoREGraph Anomaly Detection via Mixture of Riemannian Experts是一个创新的零样本图异常检测框架它通过混合黎曼专家模型来解决传统方法在跨域场景下的局限性。这个框架的核心思想是不同图结构中的异常模式可能在不同几何空间如欧式空间、双曲空间、球面空间中表现得更为明显因此需要采用多曲率建模策略。1.1 核心问题与挑战图异常检测Graph Anomaly Detection, GAD面临三个主要挑战几何异质性真实世界图数据如社交网络、引文网络往往同时包含层次结构适合双曲空间和循环结构适合球面空间单一几何空间无法全面捕捉这些特性。领域迁移在训练集源域上表现良好的模型在未见过的测试集目标域上性能可能大幅下降特别是在目标域没有标注样本的零样本场景下。动态适应图中节点的异常模式可能随时间演变需要模型能够动态调整其检测策略。提示传统方法如AnomalyDAE或CoLA通常使用单一几何空间通常是欧式空间进行异常检测这在处理复杂图结构时存在根本性局限。2. 技术架构解析2.1 整体框架设计GAD-MoRE采用三级处理流程多曲率特征对齐模块MCFA并行使用5种不同曲率的空间0.0[欧式], -0.5, -1.0[双曲], 0.5, 1.0[球面]每个空间使用独立的特征投影层通过可学习的注意力机制融合多空间特征混合专家评分器包含5个专家网络K5每个专家专注于一种曲率空间采用top-2路由策略k2即每个节点由两个专家共同处理专家间通过残差连接共享信息动态记忆路由MDR为每个专家维护记忆库存储高质量重建样本基于历史重建质量动态调整路由策略实施冷启动期Ecold5防止早期低质量更新2.2 关键算法细节2.2.1 质量评分机制对于专家Ei节点v的质量分数计算过程# 输入当前批次节点集合Bbatch L_min min(Lrecon(v,i) for v in Bbatch) # 批次内最小重建误差 L_max max(Lrecon(v,i) for v in Bbatch) # 批次内最大重建误差 q(v,i) 1 - (Lrecon(v,i) - L_min)/(L_max - L_min ε) # 归一化质量分数其中ε1e-6用于数值稳定性。质量阈值τq(e)随训练epoch线性增长τq(e) τ_min (τ_max - τ_min)*min(1, (e - Ecold)/(Etotal - Ecold))典型设置τ_min0.6, τ_max0.9, Ecold5, Etotal402.2.2 损失函数设计总损失由5个组件构成损失类型权重λ作用Lembed1.0主重建损失MSELfeat0.5特征重建损失Lstruct0.1结构重建损失BCELcon0.1结构对比损失InfoNCELgate0.01路由熵正则化其中结构对比损失采用改进的InfoNCE形式Lcon(v) -log[∑exp(sim(hv,hu)/τc) / ∑exp(sim(hv,hj)/τc)]温度参数τc0.7相似度度量使用余弦相似度。3. 实现与优化3.1 工程实现要点高效计算策略使用分块计算chunked computation处理大规模图的InfoNCE分母项对邻接矩阵采用稀疏存储和操作专家网络并行计算稳定训练技巧冷启动期5个epoch不更新记忆库采用梯度裁剪max_norm1.0路由概率加入Gumbel噪声τ0.7增强探索内存优化每个专家记忆库大小固定为10,000个样本使用最近最少使用LRU替换策略对大型数据集采用邻居采样2-hop3.2 超参数设置参数值说明嵌入维度D32平衡表达能力和计算成本GNN层数4使用残差连接缓解过平滑专家数K5覆盖主要几何空间路由数k2平衡专精和泛化学习率5e-5Adam优化器批次大小512根据GPU内存调整4. 实验分析4.1 数据集配置采用4个源域和7个目标域的11个基准数据集类型数据集节点数边数特征数异常占比源域PubMed19,71744,3385003.04%源域Flickr7,575239,73812,0475.94%目标域ACM16,48471,9808,3373.62%目标域Weibo8,405407,96340010.30%4.2 性能对比在零样本设置下的AUROC结果%方法ACMCiteseerWeiboAvgGCN47.6953.8337.6446.02AnomalyDAE77.6082.0019.7755.74IA-GGAD78.4491.5487.3577.00GAD-MoRE81.1790.2891.0382.09关键发现在复杂社交网络Weibo上优势最明显3.68%即使相比有监督方法如GCN也有显著提升AUPRC指标提升更明显平均2.58%说明对少数类识别更好4.3 消融实验移除各核心组件后的性能下降变体ACMCiteseerAvg下降完整模型81.1790.28-w/o MCFA79.4986.602.59%w/o MoE64.3886.2410.32%w/o MDR81.1690.200.12%结果表明MoE贡献最大验证多曲率建模的必要性MDR在小数据集上影响较小但在大规模图上作用显著5. 应用实践指南5.1 部署建议数据预处理对连续特征进行分位数归一化对类别特征使用可学习嵌入保留原始特征作为备用输入领域适配技巧当目标域节点特征维度不同时# 使用线性投影对齐维度 adapter nn.Linear(src_dim, 32) # 与原特征拼接 h torch.cat([adapter(x), mcfalayer(x)], dim1)对于异构边可扩展为多关系图注意力机制推理优化对静态图可预计算专家路由概率使用半精度推理FP16减少显存占用对超大规模图采用子图采样策略5.2 调优方向专家数量选择小型图1k节点K3足够异构性强的图增加球面专家比例层次结构明显的图增加双曲专家异常阈值确定在源域上计算重建误差的95%分位数作为初始阈值采用动态调整策略τ_t ατ_{t-1} (1-α)(μ 3σ)其中α0.9μ/σ为当前批次误差的均值和标准差常见问题排查问题所有节点路由到同一专家解决增大Lgate权重如0.05或降低温度参数τ问题验证集性能震荡解决延长冷启动期或减小学习率6. 扩展与演进6.1 未来方向动态图扩展将记忆库扩展为时间感知模块添加曲率自适应机制允许专家动态调整曲率层次化MoE第一层专家按曲率划分第二层专家按局部结构如度分布划分与图基础模型结合使用预训练模型生成初始节点特征将GAD-MoRE作为微调模块6.2 实际应用案例在金融反欺诈场景中的实施流程数据准备节点用户账户边交易关系特征交易频率、设备指纹、行为序列模型训练model GADMoRE( feat_dim128, num_experts5, curvatures[0.0, -1.0, -0.5, 0.5, 1.0] ) trainer UnsupervisedTrainer( lr3e-5, warmup10 )结果解读高异常分数账户进入人工审核队列双曲专家捕获的异常金字塔交易模式球面专家捕获的异常循环担保行为通过实际验证在信用卡欺诈检测中相比传统方法召回率提升37%同时保持93%的准确率。
GAD-MoRE：零样本图异常检测的混合黎曼专家框架
1. 项目概述GAD-MoREGraph Anomaly Detection via Mixture of Riemannian Experts是一个创新的零样本图异常检测框架它通过混合黎曼专家模型来解决传统方法在跨域场景下的局限性。这个框架的核心思想是不同图结构中的异常模式可能在不同几何空间如欧式空间、双曲空间、球面空间中表现得更为明显因此需要采用多曲率建模策略。1.1 核心问题与挑战图异常检测Graph Anomaly Detection, GAD面临三个主要挑战几何异质性真实世界图数据如社交网络、引文网络往往同时包含层次结构适合双曲空间和循环结构适合球面空间单一几何空间无法全面捕捉这些特性。领域迁移在训练集源域上表现良好的模型在未见过的测试集目标域上性能可能大幅下降特别是在目标域没有标注样本的零样本场景下。动态适应图中节点的异常模式可能随时间演变需要模型能够动态调整其检测策略。提示传统方法如AnomalyDAE或CoLA通常使用单一几何空间通常是欧式空间进行异常检测这在处理复杂图结构时存在根本性局限。2. 技术架构解析2.1 整体框架设计GAD-MoRE采用三级处理流程多曲率特征对齐模块MCFA并行使用5种不同曲率的空间0.0[欧式], -0.5, -1.0[双曲], 0.5, 1.0[球面]每个空间使用独立的特征投影层通过可学习的注意力机制融合多空间特征混合专家评分器包含5个专家网络K5每个专家专注于一种曲率空间采用top-2路由策略k2即每个节点由两个专家共同处理专家间通过残差连接共享信息动态记忆路由MDR为每个专家维护记忆库存储高质量重建样本基于历史重建质量动态调整路由策略实施冷启动期Ecold5防止早期低质量更新2.2 关键算法细节2.2.1 质量评分机制对于专家Ei节点v的质量分数计算过程# 输入当前批次节点集合Bbatch L_min min(Lrecon(v,i) for v in Bbatch) # 批次内最小重建误差 L_max max(Lrecon(v,i) for v in Bbatch) # 批次内最大重建误差 q(v,i) 1 - (Lrecon(v,i) - L_min)/(L_max - L_min ε) # 归一化质量分数其中ε1e-6用于数值稳定性。质量阈值τq(e)随训练epoch线性增长τq(e) τ_min (τ_max - τ_min)*min(1, (e - Ecold)/(Etotal - Ecold))典型设置τ_min0.6, τ_max0.9, Ecold5, Etotal402.2.2 损失函数设计总损失由5个组件构成损失类型权重λ作用Lembed1.0主重建损失MSELfeat0.5特征重建损失Lstruct0.1结构重建损失BCELcon0.1结构对比损失InfoNCELgate0.01路由熵正则化其中结构对比损失采用改进的InfoNCE形式Lcon(v) -log[∑exp(sim(hv,hu)/τc) / ∑exp(sim(hv,hj)/τc)]温度参数τc0.7相似度度量使用余弦相似度。3. 实现与优化3.1 工程实现要点高效计算策略使用分块计算chunked computation处理大规模图的InfoNCE分母项对邻接矩阵采用稀疏存储和操作专家网络并行计算稳定训练技巧冷启动期5个epoch不更新记忆库采用梯度裁剪max_norm1.0路由概率加入Gumbel噪声τ0.7增强探索内存优化每个专家记忆库大小固定为10,000个样本使用最近最少使用LRU替换策略对大型数据集采用邻居采样2-hop3.2 超参数设置参数值说明嵌入维度D32平衡表达能力和计算成本GNN层数4使用残差连接缓解过平滑专家数K5覆盖主要几何空间路由数k2平衡专精和泛化学习率5e-5Adam优化器批次大小512根据GPU内存调整4. 实验分析4.1 数据集配置采用4个源域和7个目标域的11个基准数据集类型数据集节点数边数特征数异常占比源域PubMed19,71744,3385003.04%源域Flickr7,575239,73812,0475.94%目标域ACM16,48471,9808,3373.62%目标域Weibo8,405407,96340010.30%4.2 性能对比在零样本设置下的AUROC结果%方法ACMCiteseerWeiboAvgGCN47.6953.8337.6446.02AnomalyDAE77.6082.0019.7755.74IA-GGAD78.4491.5487.3577.00GAD-MoRE81.1790.2891.0382.09关键发现在复杂社交网络Weibo上优势最明显3.68%即使相比有监督方法如GCN也有显著提升AUPRC指标提升更明显平均2.58%说明对少数类识别更好4.3 消融实验移除各核心组件后的性能下降变体ACMCiteseerAvg下降完整模型81.1790.28-w/o MCFA79.4986.602.59%w/o MoE64.3886.2410.32%w/o MDR81.1690.200.12%结果表明MoE贡献最大验证多曲率建模的必要性MDR在小数据集上影响较小但在大规模图上作用显著5. 应用实践指南5.1 部署建议数据预处理对连续特征进行分位数归一化对类别特征使用可学习嵌入保留原始特征作为备用输入领域适配技巧当目标域节点特征维度不同时# 使用线性投影对齐维度 adapter nn.Linear(src_dim, 32) # 与原特征拼接 h torch.cat([adapter(x), mcfalayer(x)], dim1)对于异构边可扩展为多关系图注意力机制推理优化对静态图可预计算专家路由概率使用半精度推理FP16减少显存占用对超大规模图采用子图采样策略5.2 调优方向专家数量选择小型图1k节点K3足够异构性强的图增加球面专家比例层次结构明显的图增加双曲专家异常阈值确定在源域上计算重建误差的95%分位数作为初始阈值采用动态调整策略τ_t ατ_{t-1} (1-α)(μ 3σ)其中α0.9μ/σ为当前批次误差的均值和标准差常见问题排查问题所有节点路由到同一专家解决增大Lgate权重如0.05或降低温度参数τ问题验证集性能震荡解决延长冷启动期或减小学习率6. 扩展与演进6.1 未来方向动态图扩展将记忆库扩展为时间感知模块添加曲率自适应机制允许专家动态调整曲率层次化MoE第一层专家按曲率划分第二层专家按局部结构如度分布划分与图基础模型结合使用预训练模型生成初始节点特征将GAD-MoRE作为微调模块6.2 实际应用案例在金融反欺诈场景中的实施流程数据准备节点用户账户边交易关系特征交易频率、设备指纹、行为序列模型训练model GADMoRE( feat_dim128, num_experts5, curvatures[0.0, -1.0, -0.5, 0.5, 1.0] ) trainer UnsupervisedTrainer( lr3e-5, warmup10 )结果解读高异常分数账户进入人工审核队列双曲专家捕获的异常金字塔交易模式球面专家捕获的异常循环担保行为通过实际验证在信用卡欺诈检测中相比传统方法召回率提升37%同时保持93%的准确率。
