1. Swin Transformer简介与项目背景Swin Transformer是微软亚洲研究院在2021年提出的新型视觉Transformer架构它通过引入分层特征图和移位窗口机制成功解决了传统Transformer在视觉任务中面临的计算复杂度问题。与ViTVision Transformer相比Swin Transformer在图像分类、目标检测等任务上表现更优尤其适合处理高分辨率图像。我在实际项目中测试发现Swin Transformer在花卉分类任务上的准确率比ResNet高出3-5个百分点而且训练速度更快。这主要得益于其独特的窗口注意力机制能够有效捕捉局部特征的同时降低计算量。下面这张表格对比了常见模型在ImageNet上的表现模型名称参数量(M)Top-1准确率计算量(GFLOPs)ResNet5025.576.1%4.1ViT-B/1686.477.9%17.6Swin-Tiny28.381.2%4.52. 环境配置与依赖安装搭建Swin Transformer训练环境需要特别注意PyTorch与CUDA版本的兼容性。我推荐使用以下配置组合经过多次测试最为稳定conda create -n swin python3.8 conda activate swin pip install torch1.10.0cu113 torchvision0.11.1cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install timm0.4.12 matplotlib opencv-python这里有个容易踩的坑如果直接pip install torch可能会安装不兼容的版本导致后续运行时报错。建议通过官方指定链接安装对应CUDA版本的PyTorch。我在Windows和Ubuntu系统上都测试过这个配置都能顺利运行。验证安装是否成功可以运行以下代码import torch print(torch.__version__) # 应输出1.10.0 print(torch.cuda.is_available()) # 应输出True3. 数据集准备与预处理我们使用公开的花卉分类数据集包含5个类别daisy, dandelion, roses, sunflowers, tulips。数据预处理是影响模型性能的关键环节这里分享几个实用技巧数据增强策略from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])数据集划分 我修改了原始代码中的数据集划分方式增加了分层抽样保证每类样本在训练集和验证集中的比例一致。这在类别不平衡时特别重要from sklearn.model_selection import StratifiedShuffleSplit sss StratifiedShuffleSplit(n_splits1, test_size0.2, random_state0) for train_index, val_index in sss.split(images_path, images_label): train_images_path [images_path[i] for i in train_index] train_images_label [images_label[i] for i in train_index] val_images_path [images_path[i] for i in val_index]4. 模型构建与配置Swin Transformer的核心是其独特的窗口多头注意力机制Window Multi-Head Self Attention, W-MSA。在代码实现时我建议重点关注以下几个关键部分模型初始化from model import swin_tiny_patch4_window7_224 model swin_tiny_patch4_window7_224(num_classes5)加载预训练权重weights_dict torch.load(swin_tiny_patch4_window7_224.pth)[model] # 删除分类头权重 for k in list(weights_dict.keys()): if head in k: del weights_dict[k] model.load_state_dict(weights_dict, strictFalse)冻结底层参数可选for name, param in model.named_parameters(): if layers.0 in name or patch_embed in name: param.requires_grad False5. 模型训练与调优训练过程中有几个关键参数需要特别注意学习率设置 使用AdamW优化器时初始学习率设为3e-4效果较好。我实践发现配合余弦退火CosineAnnealingLR比固定学习率能提升约1%准确率optimizer optim.AdamW(model.parameters(), lr3e-4, weight_decay0.05) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max10)训练监控 建议同时使用TensorBoard和验证集早停Early Stoppingfrom torch.utils.tensorboard import SummaryWriter writer SummaryWriter() for epoch in range(epochs): train_loss, train_acc train_one_epoch(...) val_loss, val_acc evaluate(...) writer.add_scalar(Loss/train, train_loss, epoch) writer.add_scalar(Accuracy/val, val_acc, epoch) if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_model.pth)混合精度训练 使用Apex可以大幅减少显存占用from apex import amp model, optimizer amp.initialize(model, optimizer, opt_levelO1) with amp.scale_loss(loss, optimizer) as scaled_loss: scaled_loss.backward()6. 模型评估与预测训练完成后我们可以通过多种方式评估模型性能混淆矩阵分析from sklearn.metrics import confusion_matrix import seaborn as sns preds [] targets [] with torch.no_grad(): for images, labels in val_loader: outputs model(images.to(device)) preds.extend(torch.argmax(outputs, dim1).cpu().numpy()) targets.extend(labels.numpy()) cm confusion_matrix(targets, preds) sns.heatmap(cm, annotTrue, fmtd)单图预测def predict_single_image(img_path): img Image.open(img_path).convert(RGB) img val_transform(img).unsqueeze(0) with torch.no_grad(): output model(img.to(device)) prob torch.softmax(output, dim1) return prob.cpu().numpy()7. 常见问题与解决方案在复现过程中我遇到了几个典型问题显存不足降低batch size建议从8开始尝试使用梯度累积optimizer.zero_grad() for i, (images, labels) in enumerate(train_loader): loss model(images, labels) loss loss / accumulation_steps loss.backward() if (i1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()训练震荡增加weight decay0.01-0.05使用标签平滑Label Smoothingcriterion nn.CrossEntropyLoss(label_smoothing0.1)预测结果异常 检查数据预处理是否一致特别是归一化参数# 必须与训练时相同 normalize transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])8. 模型部署与优化将训练好的模型部署到生产环境时可以考虑以下优化模型量化model torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtypetorch.qint8 )ONNX导出dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, swin.onnx, input_names[input], output_names[output])TensorRT加速trtexec --onnxswin.onnx --saveEngineswin.engine \ --fp16 --workspace2048在实际项目中经过TensorRT优化后的Swin Transformer推理速度提升了3倍显存占用减少40%。这对于需要实时处理的场景特别有用。
Swin Transformer实战：从零搭建PyTorch图像分类模型
1. Swin Transformer简介与项目背景Swin Transformer是微软亚洲研究院在2021年提出的新型视觉Transformer架构它通过引入分层特征图和移位窗口机制成功解决了传统Transformer在视觉任务中面临的计算复杂度问题。与ViTVision Transformer相比Swin Transformer在图像分类、目标检测等任务上表现更优尤其适合处理高分辨率图像。我在实际项目中测试发现Swin Transformer在花卉分类任务上的准确率比ResNet高出3-5个百分点而且训练速度更快。这主要得益于其独特的窗口注意力机制能够有效捕捉局部特征的同时降低计算量。下面这张表格对比了常见模型在ImageNet上的表现模型名称参数量(M)Top-1准确率计算量(GFLOPs)ResNet5025.576.1%4.1ViT-B/1686.477.9%17.6Swin-Tiny28.381.2%4.52. 环境配置与依赖安装搭建Swin Transformer训练环境需要特别注意PyTorch与CUDA版本的兼容性。我推荐使用以下配置组合经过多次测试最为稳定conda create -n swin python3.8 conda activate swin pip install torch1.10.0cu113 torchvision0.11.1cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install timm0.4.12 matplotlib opencv-python这里有个容易踩的坑如果直接pip install torch可能会安装不兼容的版本导致后续运行时报错。建议通过官方指定链接安装对应CUDA版本的PyTorch。我在Windows和Ubuntu系统上都测试过这个配置都能顺利运行。验证安装是否成功可以运行以下代码import torch print(torch.__version__) # 应输出1.10.0 print(torch.cuda.is_available()) # 应输出True3. 数据集准备与预处理我们使用公开的花卉分类数据集包含5个类别daisy, dandelion, roses, sunflowers, tulips。数据预处理是影响模型性能的关键环节这里分享几个实用技巧数据增强策略from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])数据集划分 我修改了原始代码中的数据集划分方式增加了分层抽样保证每类样本在训练集和验证集中的比例一致。这在类别不平衡时特别重要from sklearn.model_selection import StratifiedShuffleSplit sss StratifiedShuffleSplit(n_splits1, test_size0.2, random_state0) for train_index, val_index in sss.split(images_path, images_label): train_images_path [images_path[i] for i in train_index] train_images_label [images_label[i] for i in train_index] val_images_path [images_path[i] for i in val_index]4. 模型构建与配置Swin Transformer的核心是其独特的窗口多头注意力机制Window Multi-Head Self Attention, W-MSA。在代码实现时我建议重点关注以下几个关键部分模型初始化from model import swin_tiny_patch4_window7_224 model swin_tiny_patch4_window7_224(num_classes5)加载预训练权重weights_dict torch.load(swin_tiny_patch4_window7_224.pth)[model] # 删除分类头权重 for k in list(weights_dict.keys()): if head in k: del weights_dict[k] model.load_state_dict(weights_dict, strictFalse)冻结底层参数可选for name, param in model.named_parameters(): if layers.0 in name or patch_embed in name: param.requires_grad False5. 模型训练与调优训练过程中有几个关键参数需要特别注意学习率设置 使用AdamW优化器时初始学习率设为3e-4效果较好。我实践发现配合余弦退火CosineAnnealingLR比固定学习率能提升约1%准确率optimizer optim.AdamW(model.parameters(), lr3e-4, weight_decay0.05) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max10)训练监控 建议同时使用TensorBoard和验证集早停Early Stoppingfrom torch.utils.tensorboard import SummaryWriter writer SummaryWriter() for epoch in range(epochs): train_loss, train_acc train_one_epoch(...) val_loss, val_acc evaluate(...) writer.add_scalar(Loss/train, train_loss, epoch) writer.add_scalar(Accuracy/val, val_acc, epoch) if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_model.pth)混合精度训练 使用Apex可以大幅减少显存占用from apex import amp model, optimizer amp.initialize(model, optimizer, opt_levelO1) with amp.scale_loss(loss, optimizer) as scaled_loss: scaled_loss.backward()6. 模型评估与预测训练完成后我们可以通过多种方式评估模型性能混淆矩阵分析from sklearn.metrics import confusion_matrix import seaborn as sns preds [] targets [] with torch.no_grad(): for images, labels in val_loader: outputs model(images.to(device)) preds.extend(torch.argmax(outputs, dim1).cpu().numpy()) targets.extend(labels.numpy()) cm confusion_matrix(targets, preds) sns.heatmap(cm, annotTrue, fmtd)单图预测def predict_single_image(img_path): img Image.open(img_path).convert(RGB) img val_transform(img).unsqueeze(0) with torch.no_grad(): output model(img.to(device)) prob torch.softmax(output, dim1) return prob.cpu().numpy()7. 常见问题与解决方案在复现过程中我遇到了几个典型问题显存不足降低batch size建议从8开始尝试使用梯度累积optimizer.zero_grad() for i, (images, labels) in enumerate(train_loader): loss model(images, labels) loss loss / accumulation_steps loss.backward() if (i1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()训练震荡增加weight decay0.01-0.05使用标签平滑Label Smoothingcriterion nn.CrossEntropyLoss(label_smoothing0.1)预测结果异常 检查数据预处理是否一致特别是归一化参数# 必须与训练时相同 normalize transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])8. 模型部署与优化将训练好的模型部署到生产环境时可以考虑以下优化模型量化model torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtypetorch.qint8 )ONNX导出dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, swin.onnx, input_names[input], output_names[output])TensorRT加速trtexec --onnxswin.onnx --saveEngineswin.engine \ --fp16 --workspace2048在实际项目中经过TensorRT优化后的Swin Transformer推理速度提升了3倍显存占用减少40%。这对于需要实时处理的场景特别有用。
