1. 项目概述当Transformer遇见轴承故障诊断在工业预测性维护领域我们每天都在和数据打交道尤其是那些从设备上源源不断传来的振动信号。这些信号就像是机器的“心电图”每一次微小的异常波动都可能预示着潜在的故障。传统的故障诊断方法无论是基于时域、频域分析还是依赖专家经验的特征提取在面对复杂工况、海量数据以及跨设备泛化时常常显得力不从心。近年来深度学习特别是卷积神经网络CNN和循环神经网络RNN为这个领域注入了新的活力但它们在处理长序列数据时对计算资源的消耗以及对大量标注数据的依赖依然是工程落地中的“拦路虎”。Transformer架构的出现最初在自然语言处理领域大放异彩其核心的自注意力机制能够并行处理序列数据并有效捕捉长程依赖关系。这让我们不禁思考能否将这种强大的序列建模能力迁移到工业振动信号的分析上来答案是肯定的但直接套用会遇到挑战。振动信号数据点成千上万直接输入Transformer计算量巨大更重要的是工业现场获取大量带精确故障标签的数据成本高昂且模型在新设备、新故障类型上的泛化能力堪忧。这正是FaultFormer框架要解决的核心问题。它不是一个简单的模型替换而是一套完整的、基于Transformer自监督预训练的轴承故障分类新范式。其核心思路是先让模型在大量无标签的振动信号数据上“自学成才”通过掩码重建任务学习信号的通用内在结构和特征然后再用少量有标签的数据对这个“预训练”好的模型进行“微调”使其快速适应特定的故障分类任务。这就像先让一个学生广泛阅读各类书籍无监督预训练建立广阔的知识背景然后再针对某一专业进行短期强化训练有监督微调从而快速成为该领域的专家。本文将深入拆解FaultFormer的每一个技术细节从架构设计、数据预处理到预训练与微调策略并结合我们在复现和实验过程中的实操经验分享其中的关键技巧与避坑指南。无论你是正在探索智能运维算法的工程师还是对时序信号处理感兴趣的研究者相信这套方法论都能为你提供新的思路和可直接复现的解决方案。2. 核心架构与设计思路拆解FaultFormer的整体架构可以清晰地分为两个阶段自监督预训练阶段和有监督微调阶段。这两个阶段共享同一个Transformer编码器作为骨干网络但训练目标和数据流有所不同。理解这个双阶段设计背后的逻辑是掌握其精髓的关键。2.1 为什么是Transformer自注意力机制的优势在讨论具体架构前我们必须先回答为什么选择Transformer而不是更成熟的CNN或RNN长程依赖建模轴承故障信号中的特征如冲击响应引起的共振频率可能在时间轴上相隔很远。RNN及其变体如LSTM理论上能处理长序列但存在梯度消失/爆炸问题且顺序计算效率低。CNN的感受野受限于卷积核大小捕捉长距离关系需要堆叠很多层。Transformer的自注意力机制允许序列中任意两个位置直接交互无论它们相距多远从而能更有效地建模全局依赖。并行计算效率与RNN的序列化计算不同Transformer的自注意力可以完全并行化这在处理工业场景下长时间采集的高频振动信号时能显著提升训练和推理速度。表征学习能力Transformer在预训练任务如掩码语言建模中展现出了强大的无监督表征学习能力。我们希望将这种能力迁移到振动信号上让模型从无标签数据中学习到关于“健康振动模式”、“常见故障模式”的通用知识。2.2 整体架构设计编码器与双模式任务FaultFormer的核心是一个标准的Transformer编码器。它的输入是经过处理的振动信号令牌Token输出是一个融合了全局信息的特征表示用于后续的分类或重建。微调阶段下游任务 在这个阶段我们的目标是故障分类。流程如下信号输入原始一维振动信号。数据增强可选但强烈推荐对输入信号施加随机扰动如添加高斯噪声、随机截断、时移等以增加数据多样性防止过拟合。令牌化将长序列信号分割并编码成一系列令牌。这是降低序列长度、提取局部特征的关键步骤。FaultFormer探索了三种策略常量分割、CNN卷积、傅里叶变换。我们会在下一章详细分析。嵌入与位置编码每个令牌通过一个简单的多层感知机MLP映射到模型维度。同时在序列开头添加一个特殊的[CLS]令牌类别令牌。最后为整个令牌序列加上旋转位置编码RoPE以注入序列的顺序信息。Transformer编码器令牌序列经过多层Transformer编码器块。每个块包含多头自注意力机制和前馈网络。[CLS]令牌在与其他所有令牌交互后其最终的隐藏状态被认为聚合了整个序列的上下文信息。分类头将[CLS]令牌的最终表示输入一个线性分类层输出对应各个故障类别的概率。预训练阶段自监督任务 这个阶段没有标签目标是让模型学习信号的内在结构。采用掩码信号建模策略类似于BERT的掩码语言建模输入与令牌化与微调阶段相同但仅使用无标签数据。随机掩码随机选择一定比例如50%的令牌进行掩码。其中大部分如70%被置零一部分如20%被替换为随机值一小部分如10%保持不变。这种激进且混合的掩码策略迫使模型不能简单地依赖局部上下文必须深入理解信号的全局结构才能进行重建。编码被掩码的令牌序列经过相同的嵌入和Transformer编码器。重建头编码器的输出对应被掩码的位置通过一个MLP解码器目标是重建出原始的、未被掩码的令牌值。损失函数通常采用均方误差MSE。设计逻辑思考这种“预训练-微调”范式的优势在于预训练任务重建掩码信号是一个定义在大量无标签数据上的通用任务它驱使模型学习到关于振动信号物理本质的通用特征。当面对下游的具体分类任务时模型只需要在已具备丰富知识的“大脑”编码器上附加一个简单的“分类器”分类头并进行微调即可快速适应。这极大地降低了对下游任务标注数据量的需求并提升了模型的泛化能力。3. 核心细节解析与实操要点有了宏观架构我们深入到三个最影响性能的实操细节数据增强、令牌化策略和预训练技巧。这些细节的处理方式直接决定了模型的最终表现。3.1 数据增强在稀缺数据中“创造”多样性工业振动数据标注困难获取大量均衡的故障样本尤其不易。数据增强是我们对抗过拟合、提升模型鲁棒性的第一道防线。FaultFormer采用了多种基于时序信号的增强方法其核心思想是模拟真实工况下的信号变化。高斯噪声添加向原始信号添加均值为0、标准差在[0, 0.05]区间内随机采样的高斯噪声。这模拟了传感器采集过程中不可避免的电子噪声和环境干扰。实操要点标准差不宜过大否则会完全淹没真实故障特征。通常以信号标准差的5%-10%作为参考范围进行采样。随机时移将信号沿时间轴向左或向右平移一段随机长度例如在[-L/2, L/2]区间内采样L为信号长度。这模拟了故障冲击发生时刻的随机性。实操要点对于周期性明显的信号平移长度最好不是周期的整数倍以增加多样性。平移后边缘部分可以采用循环填充或零填充。随机截断在信号中随机选取一个起始点并将后续一段连续的数据点置零。窗口长度可在[100, 500]等区间内随机采样。这模拟了信号传输中的短暂丢失或强干扰。实操要点截断窗口不宜过长以免丢失关键故障特征如一个完整的冲击周期。通常不超过信号总长度的1/3。随机裁剪与缩放从信号中随机裁剪出一段例如长度为L/2然后使用线性插值将其缩放回原始长度L。这模拟了采样率变化或关注不同时间尺度特征的效果。实操要点缩放可能改变信号的频率成分。对于故障诊断这种对频率敏感的任务需谨慎评估该增强的强度或结合频域分析来验证。组合增强为了进一步增强效果可以随机组合上述操作如“截断时移”或“裁剪噪声”。在训练时每个批次的数据都以一定概率如0.5随机施加一种增强策略。经验之谈数据增强的强度需要根据具体数据集进行调优。一个实用的方法是可视化增强后的信号确保其看起来仍然是“合理的”振动信号而不是被破坏得面目全非。同时切勿对测试集或验证集进行任何数据增强这会导致对模型性能的错误评估。3.2 令牌化策略将连续信号转化为离散“词汇”原始振动信号可能长达数千个数据点直接输入Transformer计算复杂度是序列长度的平方级不可行。令牌化的目的一是大幅缩短序列长度二是提取有意义的局部特征。FaultFormer对比了三种策略策略原理优点缺点适用场景常量令牌化将信号按固定长度如每40个点分段直接将这些片段作为令牌。实现简单无参数完全保留原始信息。未进行特征提取令牌内信息冗余模型需要自己学习局部特征效率较低。数据量非常充足计算资源丰富希望模型从最原始数据学起。CNN令牌化使用一维卷积神经网络对信号进行下采样和特征提取。卷积核充当了局部特征探测器。能自动学习并提取有判别性的局部特征如边缘、波峰序列长度压缩明显。引入了可训练参数增加了模型复杂度卷积核的感受野可能限制长程特征捕获。通用性强在多数振动信号分类任务中表现稳定。傅里叶令牌化对每个信号片段进行快速傅里叶变换FFT提取幅度最大的前K个频率分量如前40个将其幅值、相位或实部、虚部和频率值作为令牌特征。将信号转换到频域故障特征如特征频率在频域通常更明显、更稳定。提供了物理意义明确的特征。丢失了时域相位信息如果只取幅度谱对非平稳信号效果可能打折扣。故障特征与特定频率分量强相关时如轴承故障效果极佳。FaultFormer的实验结果表明傅里叶令牌化结合数据增强取得了最佳性能。这是因为轴承故障内圈、外圈、滚动体故障会在振动频谱上产生特定的特征频率及其倍频。傅里叶变换直接将这些物理特征暴露给模型降低了学习难度。而数据增强在时域施加的扰动如噪声、时移会在频域产生复杂的变化这反而构造了一个更困难但更具泛化性的预训练任务。实操配置示例傅里叶令牌化 假设原始信号长度L1600我们设定令牌长度即FFT窗口长度为160则序列被分为10个令牌。对每个令牌做FFT取前40个频率分量。每个分量提供实部、虚部、频率三个值因此每个令牌的维度是40 * 3 120。这个120维的向量就是该令牌的嵌入表示。3.3 掩码预训练让模型学会“填空”自监督预训练的核心是设计一个合理的代理任务。掩码重建任务之所以有效是因为它迫使模型理解信号的上下文和整体结构才能预测被掩盖的部分。掩码策略采用相对激进的比例如50%。这是因为振动信号是连续、平滑的相邻点相关性极高如果掩码比例太低如15%模型可能仅依靠紧邻的上下文就能做出不错的猜测无法学到深层特征。混合使用“置零”、“随机替换”和“保持不变”三种方式增加了任务的难度和多样性。重建目标解码器一个简单的MLP需要预测被掩码令牌的原始值。对于傅里叶令牌化目标是重建每个频率分量的实部和虚部。损失函数使用平滑L1损失或均方误差MSE。训练技巧梯度累积预训练通常需要大量数据如果单卡批次大小Batch Size受限可以使用梯度累积来模拟更大的批次稳定训练。学习率预热使用线性或余弦学习率预热策略在训练初期逐步提高学习率有助于模型稳定收敛。权重衰减应用适度的权重衰减如0.01以防止过拟合。避坑指南预训练阶段使用的数据必须与下游任务数据同分布或广泛覆盖其分布。例如如果你最终想诊断机床主轴轴承故障那么预训练数据最好包含多种机床、多种转速/负载下的振动信号无需标签。如果预训练数据全是汽车变速箱信号迁移到机床主轴效果可能会打折扣。这就是“领域适应性”问题。4. 实操过程与核心环节实现本章我们将以一个具体的例子 walkthrough 如何从零开始构建并训练一个FaultFormer模型用于经典的CWRU轴承数据集分类。我们将使用PyTorch框架并借鉴x-transformers等开源库来简化实现。4.1 环境准备与数据加载首先确保你的环境已安装必要的库torch,torchaudio用于信号处理,numpy,scipy,scikit-learn,tqdm等。我们使用CWRU数据集它包含了驱动端轴承在多种故障状态内圈、外圈、滚动体故障不同损伤直径和负载条件下的振动信号。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import Dataset, DataLoader import numpy as np import os from scipy.io import loadmat from sklearn.model_selection import train_test_split import warnings warnings.filterwarnings(ignore) # 1. 定义数据集类 class CWRUBearingDataset(Dataset): def __init__(self, data_dir, signal_length1600, trainTrue, augmentation_prob0.5): data_dir: CWRU数据解压后的根目录 signal_length: 每个样本截取的长度 train: 是否为训练集决定是否进行增强 augmentation_prob: 数据增强应用概率 self.signal_length signal_length self.train train self.aug_prob augmentation_prob self.data [] self.labels [] # 遍历文件加载.mat数据这里需要根据CWRU实际文件结构解析 # 示例结构{data_dir}/12k Drive End Bearing Fault Data/IR007_0.mat # 实际解析代码需根据下载的数据结构调整 for fault_type in [Normal, IR, OR, Ball]: # 内圈外圈滚动体 for fault_size in [007, 014, 021]: # 损伤直径 for load in [0, 1, 2, 3]: # 负载 0-3 hp file_path f{data_dir}/.../{fault_type}{fault_size}_{load}.mat if os.path.exists(file_path): mat_data loadmat(file_path) # CWRU数据键名可能是‘X’或‘振动信号’ vibration_signal mat_data[X].flatten() # 假设键为‘X’ # 分割成长度为signal_length的样本 num_samples len(vibration_signal) // signal_length for i in range(num_samples): segment vibration_signal[i*signal_length:(i1)*signal_length] self.data.append(segment) # 构建标签例如0: Normal, 1: IR007, 2: IR014, ... 需要自己映射 label_idx self._get_label_index(fault_type, fault_size) self.labels.append(label_idx) self.data np.array(self.data, dtypenp.float32) self.labels np.array(self.labels, dtypenp.long) def __len__(self): return len(self.data) def __getitem__(self, idx): signal self.data[idx].copy() label self.labels[idx] if self.train and np.random.rand() self.aug_prob: signal self._apply_augmentation(signal) # 标准化每个样本单独归一化到零均值单位方差 signal (signal - np.mean(signal)) / (np.std(signal) 1e-8) return torch.FloatTensor(signal), label def _apply_augmentation(self, signal): # 实现前述的随机增强策略高斯噪声、时移、截断、裁剪等 aug_type np.random.choice([noise, shift, cutout, crop, combo]) # ... 具体实现代码略 ... return augmented_signal def _get_label_index(self, fault_type, fault_size): # 实现标签映射逻辑 # ... 具体实现代码略 ... return index4.2 模型构建Transformer编码器与令牌化我们将使用一个轻量化的Transformer编码器。这里利用x-transformers库来快速实现带RoPE和GLU的现代Transformer。# 2. 实现傅里叶令牌化层 import torch.fft class FourierTokenizer(nn.Module): def __init__(self, token_len160, num_modes40, input_dim1): super().__init__() self.token_len token_len self.num_modes num_modes self.to_feature nn.Linear(num_modes * 3, 512) # 将令牌特征投影到模型维度 def forward(self, x): x: (batch_size, seq_len) output: (batch_size, num_tokens, model_dim) batch_size, seq_len x.shape # 1. 分割成令牌 num_tokens seq_len // self.token_len x x.view(batch_size, num_tokens, self.token_len) # (B, T, L_token) # 2. 对每个令牌做FFT取前num_modes个频率分量 freqs torch.fft.rfftfreq(self.token_len, d1.0) # 频率值 fft_vals torch.fft.rfft(x, dim-1) # (B, T, L_token//21) 复数 # 获取幅度最大的前num_modes个分量的索引 magnitudes torch.abs(fft_vals) _, indices torch.topk(magnitudes, kself.num_modes, dim-1) # (B, T, num_modes) # 3. 收集对应的实部、虚部和频率 batch_indices torch.arange(batch_size).view(-1,1,1,1) token_indices torch.arange(num_tokens).view(1,-1,1,1) selected_fft fft_vals[batch_indices, token_indices, indices] # (B, T, num_modes) 复数 selected_freqs freqs[indices] # (B, T, num_modes) real_part selected_fft.real imag_part selected_fft.imag # 4. 拼接特征 features torch.stack([real_part, imag_part, selected_freqs], dim-1) # (B, T, num_modes, 3) features features.view(batch_size, num_tokens, -1) # (B, T, num_modes*3) # 5. 线性投影到模型维度 token_embeddings self.to_feature(features) # (B, T, model_dim) return token_embeddings # 3. 构建FaultFormer模型微调版 from x_transformers import TransformerWrapper, Encoder class FaultFormer(nn.Module): def __init__(self, dim512, depth6, heads8, num_classes10, tokenizerfourier): super().__init__() if tokenizer fourier: self.tokenizer FourierTokenizer(token_len160, num_modes40) elif tokenizer cnn: self.tokenizer CNNTokenizer() # 需自行实现 else: # constant self.tokenizer ConstantTokenizer(patch_size40) # 需自行实现 self.transformer TransformerWrapper( num_tokens 0, # 我们使用连续嵌入不需要词表 max_seq_len 1024, attn_layers Encoder( dim dim, depth depth, heads heads, rotary_pos_emb True, # 使用RoPE ff_glu True, # 使用GLU激活 attn_dim_head 64, ff_mult 4, ) ) # 分类头 [CLS] token - 类别 self.cls_token nn.Parameter(torch.randn(1, 1, dim)) self.mlp_head nn.Sequential( nn.LayerNorm(dim), nn.Linear(dim, num_classes) ) def forward(self, x): # x: (B, L) # 令牌化 tokens self.tokenizer(x) # (B, T, dim) batch_size, num_tokens, _ tokens.shape # 添加 [CLS] token cls_tokens self.cls_token.expand(batch_size, -1, -1) tokens torch.cat((cls_tokens, tokens), dim1) # (B, T1, dim) # 通过Transformer编码器 encoded self.transformer(tokens, return_embeddingsTrue) # (B, T1, dim) # 取 [CLS] token 的输出用于分类 cls_output encoded[:, 0, :] # (B, dim) logits self.mlp_head(cls_output) # (B, num_classes) return logits4.3 预训练与微调的训练循环预训练阶段# 4. 掩码预训练模型在FaultFormer基础上增加掩码和解码头 class FaultFormerPretrain(FaultFormer): def __init__(self, mask_ratio0.5, **kwargs): super().__init__(**kwargs) self.mask_ratio mask_ratio # 用于重建被掩码令牌的MLP解码器 self.decoder nn.Sequential( nn.Linear(kwargs[dim], kwargs[dim]), nn.GELU(), nn.Linear(kwargs[dim], self.tokenizer.output_feature_dim) # 需根据令牌化器定义 ) def forward(self, x, maskNone): tokens self.tokenizer(x) batch_size, num_tokens, dim tokens.shape if mask is None: # 随机生成掩码 num_masked int(self.mask_ratio * num_tokens) rand_indices torch.rand(batch_size, num_tokens).argsort(dim-1) mask torch.zeros(batch_size, num_tokens, dtypetorch.bool) for i in range(batch_size): mask[i, rand_indices[i, :num_masked]] True # 创建被掩码的令牌序列 masked_tokens tokens.clone() # 70% 置零20% 随机替换10% 保持不变 rand_val torch.rand(batch_size, num_tokens) zero_mask mask (rand_val 0.7) random_mask mask (rand_val 0.7) (rand_val 0.9) keep_mask mask (rand_val 0.9) masked_tokens[zero_mask] 0.0 if random_mask.any(): # 用同一批次内其他令牌的随机值替换 random_vals tokens[torch.randperm(batch_size)][random_mask] masked_tokens[random_mask] random_vals # 添加 [CLS] token 并编码 cls_tokens self.cls_token.expand(batch_size, -1, -1) encoder_input torch.cat((cls_tokens, masked_tokens), dim1) encoded self.transformer(encoder_input, return_embeddingsTrue) # 解码被掩码的令牌排除 [CLS] token masked_encoded encoded[:, 1:, :][mask] # 只取被掩码位置的编码 pred_tokens self.decoder(masked_encoded) # 计算重建损失仅针对被掩码的位置 target_tokens tokens[mask] loss nn.functional.mse_loss(pred_tokens, target_tokens) return loss # 5. 预训练循环 def pretrain_epoch(model, dataloader, optimizer, device): model.train() total_loss 0 for signals, _ in dataloader: # 预训练不需要标签 signals signals.to(device) optimizer.zero_grad() loss model(signals) # 模型内部生成掩码 loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader)微调阶段# 6. 微调训练与评估 def finetune_and_evaluate(pretrained_model, train_loader, test_loader, num_classes, device, epochs50): # 1. 初始化微调模型加载预训练编码器权重 finetune_model FaultFormer(dim512, depth6, heads8, num_classesnum_classes, tokenizerfourier) finetune_model.tokenizer.load_state_dict(pretrained_model.tokenizer.state_dict()) finetune_model.transformer.load_state_dict(pretrained_model.transformer.state_dict()) # 分类头随机初始化 finetune_model.to(device) optimizer optim.AdamW(finetune_model.parameters(), lr1e-4, weight_decay0.01) criterion nn.CrossEntropyLoss() for epoch in range(epochs): finetune_model.train() train_loss 0 for signals, labels in train_loader: signals, labels signals.to(device), labels.to(device) optimizer.zero_grad() logits finetune_model(signals) loss criterion(logits, labels) loss.backward() optimizer.step() train_loss loss.item() # 在测试集上评估 finetune_model.eval() correct, total 0, 0 with torch.no_grad(): for signals, labels in test_loader: signals, labels signals.to(device), labels.to(device) logits finetune_model(signals) _, predicted torch.max(logits, 1) total labels.size(0) correct (predicted labels).sum().item() accuracy 100 * correct / total print(fEpoch [{epoch1}/{epochs}], Train Loss: {train_loss/len(train_loader):.4f}, Test Acc: {accuracy:.2f}%) return finetune_model5. 常见问题与排查技巧实录在实际复现和应用FaultFormer的过程中你几乎一定会遇到下面这些问题。这里记录了我的排查思路和解决方案。5.1 模型不收敛或准确率极低症状训练损失震荡不降或验证集准确率始终在随机猜测水平如10类分类约10%。排查步骤数据检查首先可视化几个批次的数据和标签确保数据加载正确增强没有破坏信号结构标签映射无误。检查数据标准化是否合理每个样本独立归一化。令牌化输出检查令牌化层的输出。对于傅里叶令牌化确保FFT操作正确提取的频率分量是合理的能量最高的前几个频率应在物理可能的范围内。打印令牌的均值和方差看是否在合理范围。梯度流在训练初期打印模型关键部分如Transformer最后一层、分类头的梯度范数。如果梯度消失范数接近0可能是激活函数或初始化问题如果梯度爆炸范数极大需要降低学习率或使用梯度裁剪。学习率Transformer通常需要较低的学习率并使用预热。尝试使用更小的学习率如3e-5并配合线性预热。掩码比例预训练如果预训练不收敛尝试降低掩码比例如从50%降到30%。过高的掩码比例可能使任务过于困难。5.2 过拟合训练集准确率高测试集准确率低症状训练几个epoch后训练准确率接近100%但测试准确率停滞不前甚至下降。解决方案增强强度与概率这是最主要的正则化手段。提高数据增强的概率如从0.5到0.8或增加增强的强度如增大噪声标准差、裁剪更长的片段。务必确保测试集不使用增强。模型容量与Dropout如果模型参数过多如层数太深、维度太大而数据量有限容易过拟合。可以尝试减少Transformer层数或隐藏层维度。同时确保Transformer层和前馈网络中启用了Dropout通常设置为0.1。权重衰减与早停增加AdamW优化器中的权重衰减系数如从0.01增加到0.1。使用早停策略当验证集损失连续多个epoch不下降时停止训练。标签平滑在交叉熵损失中使用标签平滑技术可以减轻模型对训练标签的过度自信。5.3 预训练模型微调后性能提升不明显症状使用了预训练模型但微调后的准确率与从零开始训练相差无几。原因与对策领域差异过大预训练数据和微调数据分布差异太大。例如预训练用的是低速风机轴承数据微调用的是高速电机轴承数据。解决方案是尽可能收集与目标领域相关的无标签数据进行预训练或在预训练中混合多领域数据。微调策略不当尝试不同的微调策略。全部微调解冻所有层进行训练。适用于微调数据较多或与预训练数据分布相似时。部分微调只微调Transformer的最后几层和分类头冻结前面层。适用于微调数据较少时防止灾难性遗忘。分层学习率给Transformer底层设置更小的学习率给顶层和分类头设置更大的学习率。这通常是最有效的策略。预训练不充分预训练的epoch数可能不够模型没有学到通用的信号特征。可以检查预训练的重建损失是否已收敛到一个较低的平台期。5.4 推理速度慢无法满足实时性要求症状模型在测试集上准确率高但单样本推理时间过长。优化方向令牌长度与数量这是影响序列长度即Transformer计算量的关键。在保证性能的前提下尝试增加令牌长度如从160到320减少令牌数量。或者在傅里叶令牌化中减少num_modes如从40降到20。模型轻量化减少Transformer的层数depth和注意力头数heads。使用更高效的注意力机制如Flash Attentionx-transformers已集成它能大幅降低显存占用并加速计算。硬件与推理引擎使用CUDA和半精度torch.float16推理。对于部署可以考虑使用TensorRT或ONNX Runtime进行进一步的图优化和量化INT8能显著提升吞吐量。5.5 跨数据集泛化能力不足症状在CWRU数据集上表现良好但在Paderborn或自采数据集上性能大幅下降。提升策略更丰富的预训练数据这是根本。构建一个涵盖不同设备类型、不同工况、不同故障模式即使无标签的大规模振动信号预训练数据集。领域自适应微调如果目标数据集有少量标签可以在微调时除了分类损失额外添加一个领域对抗损失迫使模型学习领域不变的特征。输入标准化不同数据集的传感器量程、安装位置、采样率可能不同。确保在输入模型前进行统一的预处理如重采样到相同频率、相同的归一化方式如整体归一化或滑动窗归一化。测试时增强对于特别困难的样本可以在推理时进行多次轻微增强如添加微小噪声、微小时移然后对多次预测结果取平均或投票有时能提升鲁棒性。最后我想分享一点个人在实践中的深刻体会FaultFormer这类“预训练-微调”范式的最大价值不在于在某个标准数据集上刷出更高的准确率而在于它为解决工业AI落地中最棘手的“小样本”和“冷启动”问题提供了一条切实可行的路径。我们不再需要为每一台新设备、每一种新故障都收集成千上万的标注数据。只需要利用历史积累的海量无标签振动数据这通常是容易获得的预训练一个基础模型当新问题出现时用几十个甚至几个标注样本就能快速得到一个可用的诊断模型。这种灵活性才是其在工业预测性维护领域真正的生命力所在。未来的方向或许是朝着“振动基础大模型”演进一个模型通过提示或微调即可应对工厂里千变万化的设备健康监测任务。
FaultFormer：基于Transformer自监督预训练的轴承故障诊断新范式
1. 项目概述当Transformer遇见轴承故障诊断在工业预测性维护领域我们每天都在和数据打交道尤其是那些从设备上源源不断传来的振动信号。这些信号就像是机器的“心电图”每一次微小的异常波动都可能预示着潜在的故障。传统的故障诊断方法无论是基于时域、频域分析还是依赖专家经验的特征提取在面对复杂工况、海量数据以及跨设备泛化时常常显得力不从心。近年来深度学习特别是卷积神经网络CNN和循环神经网络RNN为这个领域注入了新的活力但它们在处理长序列数据时对计算资源的消耗以及对大量标注数据的依赖依然是工程落地中的“拦路虎”。Transformer架构的出现最初在自然语言处理领域大放异彩其核心的自注意力机制能够并行处理序列数据并有效捕捉长程依赖关系。这让我们不禁思考能否将这种强大的序列建模能力迁移到工业振动信号的分析上来答案是肯定的但直接套用会遇到挑战。振动信号数据点成千上万直接输入Transformer计算量巨大更重要的是工业现场获取大量带精确故障标签的数据成本高昂且模型在新设备、新故障类型上的泛化能力堪忧。这正是FaultFormer框架要解决的核心问题。它不是一个简单的模型替换而是一套完整的、基于Transformer自监督预训练的轴承故障分类新范式。其核心思路是先让模型在大量无标签的振动信号数据上“自学成才”通过掩码重建任务学习信号的通用内在结构和特征然后再用少量有标签的数据对这个“预训练”好的模型进行“微调”使其快速适应特定的故障分类任务。这就像先让一个学生广泛阅读各类书籍无监督预训练建立广阔的知识背景然后再针对某一专业进行短期强化训练有监督微调从而快速成为该领域的专家。本文将深入拆解FaultFormer的每一个技术细节从架构设计、数据预处理到预训练与微调策略并结合我们在复现和实验过程中的实操经验分享其中的关键技巧与避坑指南。无论你是正在探索智能运维算法的工程师还是对时序信号处理感兴趣的研究者相信这套方法论都能为你提供新的思路和可直接复现的解决方案。2. 核心架构与设计思路拆解FaultFormer的整体架构可以清晰地分为两个阶段自监督预训练阶段和有监督微调阶段。这两个阶段共享同一个Transformer编码器作为骨干网络但训练目标和数据流有所不同。理解这个双阶段设计背后的逻辑是掌握其精髓的关键。2.1 为什么是Transformer自注意力机制的优势在讨论具体架构前我们必须先回答为什么选择Transformer而不是更成熟的CNN或RNN长程依赖建模轴承故障信号中的特征如冲击响应引起的共振频率可能在时间轴上相隔很远。RNN及其变体如LSTM理论上能处理长序列但存在梯度消失/爆炸问题且顺序计算效率低。CNN的感受野受限于卷积核大小捕捉长距离关系需要堆叠很多层。Transformer的自注意力机制允许序列中任意两个位置直接交互无论它们相距多远从而能更有效地建模全局依赖。并行计算效率与RNN的序列化计算不同Transformer的自注意力可以完全并行化这在处理工业场景下长时间采集的高频振动信号时能显著提升训练和推理速度。表征学习能力Transformer在预训练任务如掩码语言建模中展现出了强大的无监督表征学习能力。我们希望将这种能力迁移到振动信号上让模型从无标签数据中学习到关于“健康振动模式”、“常见故障模式”的通用知识。2.2 整体架构设计编码器与双模式任务FaultFormer的核心是一个标准的Transformer编码器。它的输入是经过处理的振动信号令牌Token输出是一个融合了全局信息的特征表示用于后续的分类或重建。微调阶段下游任务 在这个阶段我们的目标是故障分类。流程如下信号输入原始一维振动信号。数据增强可选但强烈推荐对输入信号施加随机扰动如添加高斯噪声、随机截断、时移等以增加数据多样性防止过拟合。令牌化将长序列信号分割并编码成一系列令牌。这是降低序列长度、提取局部特征的关键步骤。FaultFormer探索了三种策略常量分割、CNN卷积、傅里叶变换。我们会在下一章详细分析。嵌入与位置编码每个令牌通过一个简单的多层感知机MLP映射到模型维度。同时在序列开头添加一个特殊的[CLS]令牌类别令牌。最后为整个令牌序列加上旋转位置编码RoPE以注入序列的顺序信息。Transformer编码器令牌序列经过多层Transformer编码器块。每个块包含多头自注意力机制和前馈网络。[CLS]令牌在与其他所有令牌交互后其最终的隐藏状态被认为聚合了整个序列的上下文信息。分类头将[CLS]令牌的最终表示输入一个线性分类层输出对应各个故障类别的概率。预训练阶段自监督任务 这个阶段没有标签目标是让模型学习信号的内在结构。采用掩码信号建模策略类似于BERT的掩码语言建模输入与令牌化与微调阶段相同但仅使用无标签数据。随机掩码随机选择一定比例如50%的令牌进行掩码。其中大部分如70%被置零一部分如20%被替换为随机值一小部分如10%保持不变。这种激进且混合的掩码策略迫使模型不能简单地依赖局部上下文必须深入理解信号的全局结构才能进行重建。编码被掩码的令牌序列经过相同的嵌入和Transformer编码器。重建头编码器的输出对应被掩码的位置通过一个MLP解码器目标是重建出原始的、未被掩码的令牌值。损失函数通常采用均方误差MSE。设计逻辑思考这种“预训练-微调”范式的优势在于预训练任务重建掩码信号是一个定义在大量无标签数据上的通用任务它驱使模型学习到关于振动信号物理本质的通用特征。当面对下游的具体分类任务时模型只需要在已具备丰富知识的“大脑”编码器上附加一个简单的“分类器”分类头并进行微调即可快速适应。这极大地降低了对下游任务标注数据量的需求并提升了模型的泛化能力。3. 核心细节解析与实操要点有了宏观架构我们深入到三个最影响性能的实操细节数据增强、令牌化策略和预训练技巧。这些细节的处理方式直接决定了模型的最终表现。3.1 数据增强在稀缺数据中“创造”多样性工业振动数据标注困难获取大量均衡的故障样本尤其不易。数据增强是我们对抗过拟合、提升模型鲁棒性的第一道防线。FaultFormer采用了多种基于时序信号的增强方法其核心思想是模拟真实工况下的信号变化。高斯噪声添加向原始信号添加均值为0、标准差在[0, 0.05]区间内随机采样的高斯噪声。这模拟了传感器采集过程中不可避免的电子噪声和环境干扰。实操要点标准差不宜过大否则会完全淹没真实故障特征。通常以信号标准差的5%-10%作为参考范围进行采样。随机时移将信号沿时间轴向左或向右平移一段随机长度例如在[-L/2, L/2]区间内采样L为信号长度。这模拟了故障冲击发生时刻的随机性。实操要点对于周期性明显的信号平移长度最好不是周期的整数倍以增加多样性。平移后边缘部分可以采用循环填充或零填充。随机截断在信号中随机选取一个起始点并将后续一段连续的数据点置零。窗口长度可在[100, 500]等区间内随机采样。这模拟了信号传输中的短暂丢失或强干扰。实操要点截断窗口不宜过长以免丢失关键故障特征如一个完整的冲击周期。通常不超过信号总长度的1/3。随机裁剪与缩放从信号中随机裁剪出一段例如长度为L/2然后使用线性插值将其缩放回原始长度L。这模拟了采样率变化或关注不同时间尺度特征的效果。实操要点缩放可能改变信号的频率成分。对于故障诊断这种对频率敏感的任务需谨慎评估该增强的强度或结合频域分析来验证。组合增强为了进一步增强效果可以随机组合上述操作如“截断时移”或“裁剪噪声”。在训练时每个批次的数据都以一定概率如0.5随机施加一种增强策略。经验之谈数据增强的强度需要根据具体数据集进行调优。一个实用的方法是可视化增强后的信号确保其看起来仍然是“合理的”振动信号而不是被破坏得面目全非。同时切勿对测试集或验证集进行任何数据增强这会导致对模型性能的错误评估。3.2 令牌化策略将连续信号转化为离散“词汇”原始振动信号可能长达数千个数据点直接输入Transformer计算复杂度是序列长度的平方级不可行。令牌化的目的一是大幅缩短序列长度二是提取有意义的局部特征。FaultFormer对比了三种策略策略原理优点缺点适用场景常量令牌化将信号按固定长度如每40个点分段直接将这些片段作为令牌。实现简单无参数完全保留原始信息。未进行特征提取令牌内信息冗余模型需要自己学习局部特征效率较低。数据量非常充足计算资源丰富希望模型从最原始数据学起。CNN令牌化使用一维卷积神经网络对信号进行下采样和特征提取。卷积核充当了局部特征探测器。能自动学习并提取有判别性的局部特征如边缘、波峰序列长度压缩明显。引入了可训练参数增加了模型复杂度卷积核的感受野可能限制长程特征捕获。通用性强在多数振动信号分类任务中表现稳定。傅里叶令牌化对每个信号片段进行快速傅里叶变换FFT提取幅度最大的前K个频率分量如前40个将其幅值、相位或实部、虚部和频率值作为令牌特征。将信号转换到频域故障特征如特征频率在频域通常更明显、更稳定。提供了物理意义明确的特征。丢失了时域相位信息如果只取幅度谱对非平稳信号效果可能打折扣。故障特征与特定频率分量强相关时如轴承故障效果极佳。FaultFormer的实验结果表明傅里叶令牌化结合数据增强取得了最佳性能。这是因为轴承故障内圈、外圈、滚动体故障会在振动频谱上产生特定的特征频率及其倍频。傅里叶变换直接将这些物理特征暴露给模型降低了学习难度。而数据增强在时域施加的扰动如噪声、时移会在频域产生复杂的变化这反而构造了一个更困难但更具泛化性的预训练任务。实操配置示例傅里叶令牌化 假设原始信号长度L1600我们设定令牌长度即FFT窗口长度为160则序列被分为10个令牌。对每个令牌做FFT取前40个频率分量。每个分量提供实部、虚部、频率三个值因此每个令牌的维度是40 * 3 120。这个120维的向量就是该令牌的嵌入表示。3.3 掩码预训练让模型学会“填空”自监督预训练的核心是设计一个合理的代理任务。掩码重建任务之所以有效是因为它迫使模型理解信号的上下文和整体结构才能预测被掩盖的部分。掩码策略采用相对激进的比例如50%。这是因为振动信号是连续、平滑的相邻点相关性极高如果掩码比例太低如15%模型可能仅依靠紧邻的上下文就能做出不错的猜测无法学到深层特征。混合使用“置零”、“随机替换”和“保持不变”三种方式增加了任务的难度和多样性。重建目标解码器一个简单的MLP需要预测被掩码令牌的原始值。对于傅里叶令牌化目标是重建每个频率分量的实部和虚部。损失函数使用平滑L1损失或均方误差MSE。训练技巧梯度累积预训练通常需要大量数据如果单卡批次大小Batch Size受限可以使用梯度累积来模拟更大的批次稳定训练。学习率预热使用线性或余弦学习率预热策略在训练初期逐步提高学习率有助于模型稳定收敛。权重衰减应用适度的权重衰减如0.01以防止过拟合。避坑指南预训练阶段使用的数据必须与下游任务数据同分布或广泛覆盖其分布。例如如果你最终想诊断机床主轴轴承故障那么预训练数据最好包含多种机床、多种转速/负载下的振动信号无需标签。如果预训练数据全是汽车变速箱信号迁移到机床主轴效果可能会打折扣。这就是“领域适应性”问题。4. 实操过程与核心环节实现本章我们将以一个具体的例子 walkthrough 如何从零开始构建并训练一个FaultFormer模型用于经典的CWRU轴承数据集分类。我们将使用PyTorch框架并借鉴x-transformers等开源库来简化实现。4.1 环境准备与数据加载首先确保你的环境已安装必要的库torch,torchaudio用于信号处理,numpy,scipy,scikit-learn,tqdm等。我们使用CWRU数据集它包含了驱动端轴承在多种故障状态内圈、外圈、滚动体故障不同损伤直径和负载条件下的振动信号。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import Dataset, DataLoader import numpy as np import os from scipy.io import loadmat from sklearn.model_selection import train_test_split import warnings warnings.filterwarnings(ignore) # 1. 定义数据集类 class CWRUBearingDataset(Dataset): def __init__(self, data_dir, signal_length1600, trainTrue, augmentation_prob0.5): data_dir: CWRU数据解压后的根目录 signal_length: 每个样本截取的长度 train: 是否为训练集决定是否进行增强 augmentation_prob: 数据增强应用概率 self.signal_length signal_length self.train train self.aug_prob augmentation_prob self.data [] self.labels [] # 遍历文件加载.mat数据这里需要根据CWRU实际文件结构解析 # 示例结构{data_dir}/12k Drive End Bearing Fault Data/IR007_0.mat # 实际解析代码需根据下载的数据结构调整 for fault_type in [Normal, IR, OR, Ball]: # 内圈外圈滚动体 for fault_size in [007, 014, 021]: # 损伤直径 for load in [0, 1, 2, 3]: # 负载 0-3 hp file_path f{data_dir}/.../{fault_type}{fault_size}_{load}.mat if os.path.exists(file_path): mat_data loadmat(file_path) # CWRU数据键名可能是‘X’或‘振动信号’ vibration_signal mat_data[X].flatten() # 假设键为‘X’ # 分割成长度为signal_length的样本 num_samples len(vibration_signal) // signal_length for i in range(num_samples): segment vibration_signal[i*signal_length:(i1)*signal_length] self.data.append(segment) # 构建标签例如0: Normal, 1: IR007, 2: IR014, ... 需要自己映射 label_idx self._get_label_index(fault_type, fault_size) self.labels.append(label_idx) self.data np.array(self.data, dtypenp.float32) self.labels np.array(self.labels, dtypenp.long) def __len__(self): return len(self.data) def __getitem__(self, idx): signal self.data[idx].copy() label self.labels[idx] if self.train and np.random.rand() self.aug_prob: signal self._apply_augmentation(signal) # 标准化每个样本单独归一化到零均值单位方差 signal (signal - np.mean(signal)) / (np.std(signal) 1e-8) return torch.FloatTensor(signal), label def _apply_augmentation(self, signal): # 实现前述的随机增强策略高斯噪声、时移、截断、裁剪等 aug_type np.random.choice([noise, shift, cutout, crop, combo]) # ... 具体实现代码略 ... return augmented_signal def _get_label_index(self, fault_type, fault_size): # 实现标签映射逻辑 # ... 具体实现代码略 ... return index4.2 模型构建Transformer编码器与令牌化我们将使用一个轻量化的Transformer编码器。这里利用x-transformers库来快速实现带RoPE和GLU的现代Transformer。# 2. 实现傅里叶令牌化层 import torch.fft class FourierTokenizer(nn.Module): def __init__(self, token_len160, num_modes40, input_dim1): super().__init__() self.token_len token_len self.num_modes num_modes self.to_feature nn.Linear(num_modes * 3, 512) # 将令牌特征投影到模型维度 def forward(self, x): x: (batch_size, seq_len) output: (batch_size, num_tokens, model_dim) batch_size, seq_len x.shape # 1. 分割成令牌 num_tokens seq_len // self.token_len x x.view(batch_size, num_tokens, self.token_len) # (B, T, L_token) # 2. 对每个令牌做FFT取前num_modes个频率分量 freqs torch.fft.rfftfreq(self.token_len, d1.0) # 频率值 fft_vals torch.fft.rfft(x, dim-1) # (B, T, L_token//21) 复数 # 获取幅度最大的前num_modes个分量的索引 magnitudes torch.abs(fft_vals) _, indices torch.topk(magnitudes, kself.num_modes, dim-1) # (B, T, num_modes) # 3. 收集对应的实部、虚部和频率 batch_indices torch.arange(batch_size).view(-1,1,1,1) token_indices torch.arange(num_tokens).view(1,-1,1,1) selected_fft fft_vals[batch_indices, token_indices, indices] # (B, T, num_modes) 复数 selected_freqs freqs[indices] # (B, T, num_modes) real_part selected_fft.real imag_part selected_fft.imag # 4. 拼接特征 features torch.stack([real_part, imag_part, selected_freqs], dim-1) # (B, T, num_modes, 3) features features.view(batch_size, num_tokens, -1) # (B, T, num_modes*3) # 5. 线性投影到模型维度 token_embeddings self.to_feature(features) # (B, T, model_dim) return token_embeddings # 3. 构建FaultFormer模型微调版 from x_transformers import TransformerWrapper, Encoder class FaultFormer(nn.Module): def __init__(self, dim512, depth6, heads8, num_classes10, tokenizerfourier): super().__init__() if tokenizer fourier: self.tokenizer FourierTokenizer(token_len160, num_modes40) elif tokenizer cnn: self.tokenizer CNNTokenizer() # 需自行实现 else: # constant self.tokenizer ConstantTokenizer(patch_size40) # 需自行实现 self.transformer TransformerWrapper( num_tokens 0, # 我们使用连续嵌入不需要词表 max_seq_len 1024, attn_layers Encoder( dim dim, depth depth, heads heads, rotary_pos_emb True, # 使用RoPE ff_glu True, # 使用GLU激活 attn_dim_head 64, ff_mult 4, ) ) # 分类头 [CLS] token - 类别 self.cls_token nn.Parameter(torch.randn(1, 1, dim)) self.mlp_head nn.Sequential( nn.LayerNorm(dim), nn.Linear(dim, num_classes) ) def forward(self, x): # x: (B, L) # 令牌化 tokens self.tokenizer(x) # (B, T, dim) batch_size, num_tokens, _ tokens.shape # 添加 [CLS] token cls_tokens self.cls_token.expand(batch_size, -1, -1) tokens torch.cat((cls_tokens, tokens), dim1) # (B, T1, dim) # 通过Transformer编码器 encoded self.transformer(tokens, return_embeddingsTrue) # (B, T1, dim) # 取 [CLS] token 的输出用于分类 cls_output encoded[:, 0, :] # (B, dim) logits self.mlp_head(cls_output) # (B, num_classes) return logits4.3 预训练与微调的训练循环预训练阶段# 4. 掩码预训练模型在FaultFormer基础上增加掩码和解码头 class FaultFormerPretrain(FaultFormer): def __init__(self, mask_ratio0.5, **kwargs): super().__init__(**kwargs) self.mask_ratio mask_ratio # 用于重建被掩码令牌的MLP解码器 self.decoder nn.Sequential( nn.Linear(kwargs[dim], kwargs[dim]), nn.GELU(), nn.Linear(kwargs[dim], self.tokenizer.output_feature_dim) # 需根据令牌化器定义 ) def forward(self, x, maskNone): tokens self.tokenizer(x) batch_size, num_tokens, dim tokens.shape if mask is None: # 随机生成掩码 num_masked int(self.mask_ratio * num_tokens) rand_indices torch.rand(batch_size, num_tokens).argsort(dim-1) mask torch.zeros(batch_size, num_tokens, dtypetorch.bool) for i in range(batch_size): mask[i, rand_indices[i, :num_masked]] True # 创建被掩码的令牌序列 masked_tokens tokens.clone() # 70% 置零20% 随机替换10% 保持不变 rand_val torch.rand(batch_size, num_tokens) zero_mask mask (rand_val 0.7) random_mask mask (rand_val 0.7) (rand_val 0.9) keep_mask mask (rand_val 0.9) masked_tokens[zero_mask] 0.0 if random_mask.any(): # 用同一批次内其他令牌的随机值替换 random_vals tokens[torch.randperm(batch_size)][random_mask] masked_tokens[random_mask] random_vals # 添加 [CLS] token 并编码 cls_tokens self.cls_token.expand(batch_size, -1, -1) encoder_input torch.cat((cls_tokens, masked_tokens), dim1) encoded self.transformer(encoder_input, return_embeddingsTrue) # 解码被掩码的令牌排除 [CLS] token masked_encoded encoded[:, 1:, :][mask] # 只取被掩码位置的编码 pred_tokens self.decoder(masked_encoded) # 计算重建损失仅针对被掩码的位置 target_tokens tokens[mask] loss nn.functional.mse_loss(pred_tokens, target_tokens) return loss # 5. 预训练循环 def pretrain_epoch(model, dataloader, optimizer, device): model.train() total_loss 0 for signals, _ in dataloader: # 预训练不需要标签 signals signals.to(device) optimizer.zero_grad() loss model(signals) # 模型内部生成掩码 loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader)微调阶段# 6. 微调训练与评估 def finetune_and_evaluate(pretrained_model, train_loader, test_loader, num_classes, device, epochs50): # 1. 初始化微调模型加载预训练编码器权重 finetune_model FaultFormer(dim512, depth6, heads8, num_classesnum_classes, tokenizerfourier) finetune_model.tokenizer.load_state_dict(pretrained_model.tokenizer.state_dict()) finetune_model.transformer.load_state_dict(pretrained_model.transformer.state_dict()) # 分类头随机初始化 finetune_model.to(device) optimizer optim.AdamW(finetune_model.parameters(), lr1e-4, weight_decay0.01) criterion nn.CrossEntropyLoss() for epoch in range(epochs): finetune_model.train() train_loss 0 for signals, labels in train_loader: signals, labels signals.to(device), labels.to(device) optimizer.zero_grad() logits finetune_model(signals) loss criterion(logits, labels) loss.backward() optimizer.step() train_loss loss.item() # 在测试集上评估 finetune_model.eval() correct, total 0, 0 with torch.no_grad(): for signals, labels in test_loader: signals, labels signals.to(device), labels.to(device) logits finetune_model(signals) _, predicted torch.max(logits, 1) total labels.size(0) correct (predicted labels).sum().item() accuracy 100 * correct / total print(fEpoch [{epoch1}/{epochs}], Train Loss: {train_loss/len(train_loader):.4f}, Test Acc: {accuracy:.2f}%) return finetune_model5. 常见问题与排查技巧实录在实际复现和应用FaultFormer的过程中你几乎一定会遇到下面这些问题。这里记录了我的排查思路和解决方案。5.1 模型不收敛或准确率极低症状训练损失震荡不降或验证集准确率始终在随机猜测水平如10类分类约10%。排查步骤数据检查首先可视化几个批次的数据和标签确保数据加载正确增强没有破坏信号结构标签映射无误。检查数据标准化是否合理每个样本独立归一化。令牌化输出检查令牌化层的输出。对于傅里叶令牌化确保FFT操作正确提取的频率分量是合理的能量最高的前几个频率应在物理可能的范围内。打印令牌的均值和方差看是否在合理范围。梯度流在训练初期打印模型关键部分如Transformer最后一层、分类头的梯度范数。如果梯度消失范数接近0可能是激活函数或初始化问题如果梯度爆炸范数极大需要降低学习率或使用梯度裁剪。学习率Transformer通常需要较低的学习率并使用预热。尝试使用更小的学习率如3e-5并配合线性预热。掩码比例预训练如果预训练不收敛尝试降低掩码比例如从50%降到30%。过高的掩码比例可能使任务过于困难。5.2 过拟合训练集准确率高测试集准确率低症状训练几个epoch后训练准确率接近100%但测试准确率停滞不前甚至下降。解决方案增强强度与概率这是最主要的正则化手段。提高数据增强的概率如从0.5到0.8或增加增强的强度如增大噪声标准差、裁剪更长的片段。务必确保测试集不使用增强。模型容量与Dropout如果模型参数过多如层数太深、维度太大而数据量有限容易过拟合。可以尝试减少Transformer层数或隐藏层维度。同时确保Transformer层和前馈网络中启用了Dropout通常设置为0.1。权重衰减与早停增加AdamW优化器中的权重衰减系数如从0.01增加到0.1。使用早停策略当验证集损失连续多个epoch不下降时停止训练。标签平滑在交叉熵损失中使用标签平滑技术可以减轻模型对训练标签的过度自信。5.3 预训练模型微调后性能提升不明显症状使用了预训练模型但微调后的准确率与从零开始训练相差无几。原因与对策领域差异过大预训练数据和微调数据分布差异太大。例如预训练用的是低速风机轴承数据微调用的是高速电机轴承数据。解决方案是尽可能收集与目标领域相关的无标签数据进行预训练或在预训练中混合多领域数据。微调策略不当尝试不同的微调策略。全部微调解冻所有层进行训练。适用于微调数据较多或与预训练数据分布相似时。部分微调只微调Transformer的最后几层和分类头冻结前面层。适用于微调数据较少时防止灾难性遗忘。分层学习率给Transformer底层设置更小的学习率给顶层和分类头设置更大的学习率。这通常是最有效的策略。预训练不充分预训练的epoch数可能不够模型没有学到通用的信号特征。可以检查预训练的重建损失是否已收敛到一个较低的平台期。5.4 推理速度慢无法满足实时性要求症状模型在测试集上准确率高但单样本推理时间过长。优化方向令牌长度与数量这是影响序列长度即Transformer计算量的关键。在保证性能的前提下尝试增加令牌长度如从160到320减少令牌数量。或者在傅里叶令牌化中减少num_modes如从40降到20。模型轻量化减少Transformer的层数depth和注意力头数heads。使用更高效的注意力机制如Flash Attentionx-transformers已集成它能大幅降低显存占用并加速计算。硬件与推理引擎使用CUDA和半精度torch.float16推理。对于部署可以考虑使用TensorRT或ONNX Runtime进行进一步的图优化和量化INT8能显著提升吞吐量。5.5 跨数据集泛化能力不足症状在CWRU数据集上表现良好但在Paderborn或自采数据集上性能大幅下降。提升策略更丰富的预训练数据这是根本。构建一个涵盖不同设备类型、不同工况、不同故障模式即使无标签的大规模振动信号预训练数据集。领域自适应微调如果目标数据集有少量标签可以在微调时除了分类损失额外添加一个领域对抗损失迫使模型学习领域不变的特征。输入标准化不同数据集的传感器量程、安装位置、采样率可能不同。确保在输入模型前进行统一的预处理如重采样到相同频率、相同的归一化方式如整体归一化或滑动窗归一化。测试时增强对于特别困难的样本可以在推理时进行多次轻微增强如添加微小噪声、微小时移然后对多次预测结果取平均或投票有时能提升鲁棒性。最后我想分享一点个人在实践中的深刻体会FaultFormer这类“预训练-微调”范式的最大价值不在于在某个标准数据集上刷出更高的准确率而在于它为解决工业AI落地中最棘手的“小样本”和“冷启动”问题提供了一条切实可行的路径。我们不再需要为每一台新设备、每一种新故障都收集成千上万的标注数据。只需要利用历史积累的海量无标签振动数据这通常是容易获得的预训练一个基础模型当新问题出现时用几十个甚至几个标注样本就能快速得到一个可用的诊断模型。这种灵活性才是其在工业预测性维护领域真正的生命力所在。未来的方向或许是朝着“振动基础大模型”演进一个模型通过提示或微调即可应对工厂里千变万化的设备健康监测任务。
