YOLOv12进阶使用指南自定义训练、验证与模型导出完整流程如果你已经体验过YOLOv12官版镜像的基础推理功能可能会想这个模型确实厉害但怎么让它识别我自己的数据呢比如我想检测工厂里的产品缺陷或者识别自家果园里的水果成熟度又或者监控停车场里的车辆进出。这正是我们今天要解决的问题。很多人在接触YOLO系列模型时往往止步于“跑通官方示例”一旦要处理自己的数据就无从下手。数据怎么准备训练参数怎么调模型怎么导出部署这些问题让不少开发者望而却步。其实从预训练模型到定制化应用中间只差一套清晰的流程。本文将带你完整走一遍YOLOv12的自定义训练、验证和模型导出全流程让你不仅能看懂别人的代码更能亲手训练出属于自己的目标检测模型。1. 环境准备与数据准备从零开始搭建训练环境在开始训练之前我们需要确保环境正确配置并准备好符合要求的数据集。很多人卡在这一步不是因为技术复杂而是因为细节没注意到。1.1 激活环境与项目结构进入容器后第一步永远是激活正确的环境# 激活YOLOv12专用环境 conda activate yolov12 # 进入项目目录 cd /root/yolov12这个镜像已经预装了所有必要的依赖包括Flash Attention v2加速库你不需要再手动安装任何包。如果遇到ModuleNotFoundError99%的情况是忘记激活yolov12环境。1.2 准备自定义数据集YOLOv12支持多种数据格式但最常用的是YOLO格式。假设我们要训练一个水果检测模型数据集的目录结构应该是这样的fruits_dataset/ ├── images/ │ ├── train/ │ │ ├── apple_001.jpg │ │ ├── apple_002.jpg │ │ └── ... │ └── val/ │ ├── apple_101.jpg │ ├── apple_102.jpg │ └── ... └── labels/ ├── train/ │ ├── apple_001.txt │ ├── apple_002.txt │ └── ... └── val/ ├── apple_101.txt ├── apple_102.txt └── ...关键点说明图片和标签一一对应每个图片文件如apple_001.jpg对应一个标签文件apple_001.txt文件名相同扩展名不同标签格式每个标签文件包含多行每行格式为class_id center_x center_y width heightclass_id类别ID从0开始center_x, center_y边界框中心点的归一化坐标除以图片宽高width, height边界框的归一化宽高举个例子如果一张图片尺寸是640×480有一个苹果在图片中央边界框宽高都是图片的一半那么标签文件内容可能是0 0.5 0.5 0.5 0.51.3 创建数据配置文件在项目根目录创建fruits.yaml文件# fruits.yaml path: /root/yolov12/datasets/fruits_dataset # 数据集根路径 train: images/train # 训练集图片路径相对于path val: images/val # 验证集图片路径相对于path # 类别数量 nc: 3 # 类别名称 names: 0: apple 1: banana 2: orange # 可选下载地址如果有在线数据集 # download: https://example.com/fruits_dataset.zip重要提示路径可以是绝对路径或相对路径但建议使用绝对路径避免混淆训练集和验证集的比例建议为8:2或7:3每个类别至少需要100-200张标注图片数据越多效果越好2. 模型训练实战从配置文件到训练完成有了数据我们就可以开始训练了。YOLOv12的训练过程相比之前的版本更加稳定显存占用也更低这要归功于镜像中的优化。2.1 选择模型配置文件YOLOv12提供了不同大小的模型配置根据你的需求选择yolov12n.yaml最轻量适合移动端或边缘设备yolov12s.yaml平衡型大多数场景的首选yolov12m.yaml中等规模精度和速度的折中yolov12l.yaml大型模型追求最高精度yolov12x.yaml超大型用于研究或对精度要求极高的场景对于水果检测这种相对简单的任务yolov12s.yaml通常就足够了。2.2 开始训练创建一个训练脚本train_fruits.pyfrom ultralytics import YOLO import torch # 检查GPU是否可用 print(fCUDA available: {torch.cuda.is_available()}) print(fGPU count: {torch.cuda.device_count()}) if torch.cuda.is_available(): print(fCurrent GPU: {torch.cuda.get_device_name(0)}) # 加载模型结构不是预训练权重 model YOLO(yolov12s.yaml) # 开始训练 results model.train( datafruits.yaml, # 数据配置文件 epochs300, # 训练轮数水果检测300轮通常足够 batch16, # 批大小根据显存调整16GB显存可设16-32 imgsz640, # 输入图片尺寸 workers4, # 数据加载线程数 device0, # 使用GPU 0多卡可用0,1,2,3 # 数据增强参数根据任务调整 scale0.5, # 随机缩放增强强度 mosaic1.0, # Mosaic数据增强概率 mixup0.0, # MixUp增强概率小模型建议0 copy_paste0.1, # Copy-Paste增强概率 # 优化器参数 lr00.01, # 初始学习率 lrf0.01, # 最终学习率因子 momentum0.937, # 动量 weight_decay0.0005, # 权重衰减 # 训练配置 patience50, # 早停耐心值 saveTrue, # 保存检查点 save_period10, # 每10轮保存一次 projectruns/train, # 保存目录 namefruits_detection, # 实验名称 exist_okTrue, # 允许覆盖已有实验 verboseTrue # 显示详细日志 ) print(训练完成)2.3 训练过程中的关键监控训练开始后你会在终端看到类似这样的输出train: Scanning /root/yolov12/datasets/fruits_dataset/labels/train... 800 images, 0 backgrounds train: New cache created: /root/yolov12/datasets/fruits_dataset/labels/train.cache val: Scanning /root/yolov12/datasets/fruits_dataset/labels/val... 200 images, 0 backgrounds val: New cache created: /root/yolov12/datasets/fruits_dataset/labels/val.cache Epoch gpu_mem box obj cls labels img_size 1/300 5.2G 0.1234 0.0456 0.0234 16 640: 100%|██████████| 50/50 [00:2500:00, 1.96it/s] Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 13/13 [00:0300:00, 3.68it/s] all 200 1234 0.356 0.412 0.389 0.234需要关注的关键指标损失函数box/obj/cls应该随着训练逐渐下降mAP50IoU阈值为0.5时的平均精度主要评估指标mAP50-95IoU阈值从0.5到0.95的平均精度更严格的评估GPU显存使用确保没有超出显存容量2.4 常见训练问题与解决问题1显存不足Out of Memory# 解决方案减小批大小或图片尺寸 batch8, # 从16减小到8 imgsz512, # 从640减小到512问题2训练不收敛损失不下降# 解决方案调整学习率或增加数据增强 lr00.001, # 降低学习率 mosaic0.5, # 降低Mosaic增强强度 copy_paste0, # 暂时关闭Copy-Paste问题3过拟合训练集好验证集差# 解决方案增加正则化或减少模型复杂度 weight_decay0.001, # 增加权重衰减 dropout0.1, # 添加Dropout如果模型支持3. 模型验证与性能评估如何判断模型好坏训练完成后我们需要评估模型在实际数据上的表现。很多人只关注训练损失但验证集的表现才是模型泛化能力的真实体现。3.1 基础验证方法在训练脚本同目录下创建val_fruits.pyfrom ultralytics import YOLO import matplotlib.pyplot as plt import numpy as np # 加载训练好的最佳模型 # 训练结果保存在 runs/train/fruits_detection/weights/best.pt model YOLO(runs/train/fruits_detection/weights/best.pt) # 在验证集上评估 metrics model.val( datafruits.yaml, splitval, # 使用验证集 save_jsonTrue, # 保存JSON格式的预测结果 save_confTrue, # 保存置信度分数 conf0.25, # 置信度阈值 iou0.45, # NMS的IoU阈值 max_det300, # 每张图片最大检测数 plotsTrue, # 生成评估图表 verboseTrue # 显示详细结果 ) print(验证完成) print(fmAP50-95: {metrics.box.map:.4f}) print(fmAP50: {metrics.box.map50:.4f}) print(fPrecision: {metrics.box.p:.4f}) print(fRecall: {metrics.box.r:.4f})3.2 理解评估指标运行验证后你会得到详细的评估报告Class Images Instances P R mAP50 mAP50-95 all 200 1234 0.892 0.856 0.901 0.645 apple 200 412 0.912 0.894 0.923 0.678 banana 200 411 0.876 0.832 0.885 0.621 orange 200 411 0.889 0.842 0.895 0.636各指标含义Precision精确率模型预测为正的样本中真正为正的比例。高精确率意味着误检少Recall召回率实际为正的样本中被模型正确预测的比例。高召回率意味着漏检少mAP50IoU阈值为0.5时的平均精度平衡了精确率和召回率mAP50-95IoU阈值从0.5到0.95步长0.05的平均精度更严格的评估如何解读如果Precision高但Recall低模型很保守只检测很有把握的目标但会漏掉很多如果Recall高但Precision低模型很激进检测出很多目标但误检也多理想情况是两者都高mAP值接近13.3 可视化分析工具YOLOv12会自动生成多种可视化图表保存在runs/val/目录下混淆矩阵查看各类别间的误检情况PR曲线精确率-召回率曲线曲线下面积就是APF1曲线F1分数随置信度阈值变化的曲线检测结果示例随机选取的验证图片及其预测结果你可以用以下代码查看这些图表import os from PIL import Image # 查看混淆矩阵 confusion_matrix_path runs/val/confusion_matrix.png if os.path.exists(confusion_matrix_path): img Image.open(confusion_matrix_path) img.show() # 查看PR曲线 pr_curve_path runs/val/PR_curve.png if os.path.exists(pr_curve_path): img Image.open(pr_curve_path) img.show()3.4 错误分析找出模型的问题如果模型表现不佳可以通过以下方法分析# 对单张图片进行详细分析 results model.predict( path/to/problem_image.jpg, saveTrue, save_txtTrue, save_confTrue, show_labelsTrue, show_confTrue ) # 查看预测细节 result results[0] print(检测到的目标数量:, len(result.boxes)) print(各个目标的置信度:, result.boxes.conf) print(各个目标的类别:, result.boxes.cls) # 如果模型漏检可能是 # 1. 置信度阈值太高调低conf参数 # 2. 目标太小训练时增加小目标数据 # 3. 目标与训练数据差异大增加数据多样性 # 如果模型误检可能是 # 1. 置信度阈值太低调高conf参数 # 2. 类别间相似度高改进数据标注 # 3. 背景干扰多增加负样本或背景类4. 模型导出与部署从PyTorch到生产环境训练好的模型需要导出为适合部署的格式。不同的部署场景需要不同的格式选对了能大幅提升推理速度。4.1 导出为ONNX格式跨平台通用ONNX是通用的模型交换格式支持多种推理引擎from ultralytics import YOLO # 加载训练好的模型 model YOLO(runs/train/fruits_detection/weights/best.pt) # 导出为ONNX model.export( formatonnx, # 导出格式 imgsz640, # 输入尺寸与训练一致 batch1, # 批大小部署时通常为1 dynamicFalse, # 是否支持动态尺寸False表示固定尺寸 simplifyTrue, # 简化模型移除冗余操作 opset17, # ONNX算子集版本 devicecpu, # 导出设备建议用CPU verboseTrue # 显示导出详情 ) print(ONNX模型已导出为best.onnx)ONNX导出的优势跨平台可在CPU、GPU、NPU等多种硬件上运行支持多种推理引擎OpenVINO、TensorRT、ONNX Runtime等模型优化支持图优化和算子融合4.2 导出为TensorRT EngineNVIDIA GPU最佳性能如果你在NVIDIA平台上部署TensorRT能提供最佳性能# 导出为TensorRT Engine model.export( formatengine, # TensorRT格式 imgsz[640, 640], # 输入尺寸高, 宽 batch1, # 批大小 workspace4, # GPU工作空间大小GB halfTrue, # 使用FP16精度速度更快精度略有损失 int8False, # 是否使用INT8量化需要校准数据 dynamicTrue, # 支持动态尺寸重要 simplifyTrue, # 简化模型 device0, # 在GPU 0上导出 verboseTrue ) print(TensorRT模型已导出为best.engine)关键参数说明halfTrue使用FP16精度推理速度提升2-3倍显存减半dynamicTrue支持动态输入尺寸可以处理不同分辨率的图片int8FalseINT8量化能进一步提升速度但需要校准数据集4.3 导出为其他格式YOLOv12还支持导出为其他格式# 导出为OpenVINO格式Intel CPU优化 model.export(formatopenvino, halfFalse) # 导出为CoreML格式Apple设备 model.export(formatcoreml, nmsTrue) # nmsTrue会包含后处理 # 导出为TensorFlow SavedModel model.export(formatsaved_model, kerasFalse) # 导出为TorchScript model.export(formattorchscript, optimizeTrue)4.4 验证导出模型导出后一定要验证模型是否正确import cv2 import numpy as np from ultralytics import YOLO # 加载导出的模型以ONNX为例 exported_model YOLO(best.onnx) # 用同样的图片测试 results exported_model.predict( path/to/test_image.jpg, conf0.25, iou0.45, imgsz640 ) # 比较原始模型和导出模型的结果 original_model YOLO(runs/train/fruits_detection/weights/best.pt) original_results original_model.predict(path/to/test_image.jpg) print(导出模型检测数:, len(results[0].boxes)) print(原始模型检测数:, len(original_results[0].boxes)) # 可视化比较 results[0].show() original_results[0].show()5. 实际应用示例水果检测系统完整实现让我们用一个完整的例子把前面学到的所有知识串起来。假设我们要开发一个水果自动分拣系统。5.1 数据准备与增强对于水果检测我们需要特别处理一些情况# 创建专门的水果检测训练配置 from ultralytics import YOLO model YOLO(yolov12s.yaml) # 针对水果检测的增强策略 results model.train( datafruits.yaml, epochs300, imgsz640, # 水果检测特有的增强 hsv_h0.015, # 色调增强模拟不同成熟度 hsv_s0.7, # 饱和度增强模拟不同光照 hsv_v0.4, # 明度增强 degrees10, # 旋转角度水果可能任意方向 translate0.2, # 平移增强 scale0.9, # 缩放增强不同大小水果 shear5, # 剪切变换 # 针对重叠水果的增强 mosaic0.8, # Mosaic增强模拟水果堆叠 mixup0.1, # MixUp增强模拟部分遮挡 copy_paste0.2, # Copy-Paste增加小目标样本 # 优化器配置 lr00.01, lrf0.1, warmup_epochs3, warmup_momentum0.8, # 早停和保存 patience30, save_period10, projectruns/fruits, namev12s_final )5.2 推理脚本编写训练完成后编写一个实用的推理脚本import cv2 import numpy as np from ultralytics import YOLO from typing import List, Tuple import time class FruitDetector: def __init__(self, model_path: str, conf_threshold: float 0.25): 初始化水果检测器 Args: model_path: 模型路径.pt或.onnx或.engine conf_threshold: 置信度阈值 self.model YOLO(model_path) self.conf_threshold conf_threshold self.class_names [apple, banana, orange] # 与训练时一致 def detect_image(self, image_path: str) - dict: 检测单张图片 Returns: dict: 包含检测结果的字典 # 执行预测 results self.model.predict( sourceimage_path, confself.conf_threshold, iou0.45, imgsz640, verboseFalse ) # 解析结果 result results[0] detections [] if result.boxes is not None: boxes result.boxes.xyxy.cpu().numpy() # [x1, y1, x2, y2] confidences result.boxes.conf.cpu().numpy() class_ids result.boxes.cls.cpu().numpy().astype(int) for i in range(len(boxes)): detection { bbox: boxes[i].tolist(), confidence: float(confidences[i]), class_id: int(class_ids[i]), class_name: self.class_names[int(class_ids[i])] } detections.append(detection) return { image_path: image_path, detections: detections, total_count: len(detections) } def detect_video(self, video_path: str, output_path: str None): 检测视频流 Args: video_path: 视频文件路径或摄像头ID output_path: 输出视频路径可选 cap cv2.VideoCapture(video_path) # 获取视频属性 fps int(cap.get(cv2.CAP_PROP_FPS)) width int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # 创建视频写入器 if output_path: fourcc cv2.VideoWriter_fourcc(*mp4v) out cv2.VideoWriter(output_path, fourcc, fps, (width, height)) frame_count 0 total_time 0 while True: ret, frame cap.read() if not ret: break # 记录开始时间 start_time time.time() # 执行检测 results self.model.predict( sourceframe, confself.conf_threshold, imgsz640, verboseFalse ) # 计算处理时间 process_time time.time() - start_time total_time process_time frame_count 1 # 绘制检测结果 annotated_frame results[0].plot() # 显示FPS fps_text fFPS: {1/process_time:.1f} cv2.putText(annotated_frame, fps_text, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) # 显示统计信息 if results[0].boxes is not None: count_text fDetections: {len(results[0].boxes)} cv2.putText(annotated_frame, count_text, (10, 70), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) # 显示或保存 if output_path: out.write(annotated_frame) else: cv2.imshow(Fruit Detection, annotated_frame) if cv2.waitKey(1) 0xFF ord(q): break # 释放资源 cap.release() if output_path: out.release() cv2.destroyAllWindows() # 打印性能统计 avg_fps frame_count / total_time if total_time 0 else 0 print(f处理总帧数: {frame_count}) print(f平均FPS: {avg_fps:.1f}) print(f总处理时间: {total_time:.2f}秒) # 使用示例 if __name__ __main__: # 初始化检测器 detector FruitDetector(runs/train/fruits_detection/weights/best.pt) # 检测单张图片 result detector.detect_image(test_fruit.jpg) print(f检测到 {result[total_count]} 个水果) for det in result[detections]: print(f - {det[class_name]}: {det[confidence]:.2f}) # 检测视频使用摄像头 # detector.detect_video(0) # 0表示默认摄像头 # 检测视频文件并保存结果 # detector.detect_video(input_video.mp4, output_video.mp4)5.3 部署优化建议在实际部署时可以考虑以下优化# 批量推理优化 def batch_inference(image_paths: List[str], batch_size: int 8): 批量推理提高吞吐量 from ultralytics import YOLO model YOLO(best.engine) # 使用TensorRT加速 all_results [] for i in range(0, len(image_paths), batch_size): batch_paths image_paths[i:ibatch_size] results model(batch_paths, verboseFalse) all_results.extend(results) return all_results # 异步推理 import asyncio from concurrent.futures import ThreadPoolExecutor class AsyncDetector: def __init__(self, model_path: str, max_workers: int 4): self.model YOLO(model_path) self.executor ThreadPoolExecutor(max_workersmax_workers) async def detect_async(self, image_path: str): loop asyncio.get_event_loop() result await loop.run_in_executor( self.executor, lambda: self.model.predict(image_path, verboseFalse) ) return result # 使用示例 async def main(): detector AsyncDetector(best.engine) tasks [detector.detect_async(path) for path in image_paths] results await asyncio.gather(*tasks)6. 总结从训练到部署的完整工作流通过本文的完整流程你应该已经掌握了YOLOv12从自定义训练到生产部署的全套技能。让我们回顾一下关键要点6.1 核心流程总结数据准备按照YOLO格式组织数据集创建正确的配置文件模型训练选择合适的模型大小调整数据增强和优化器参数性能验证在验证集上评估模型分析混淆矩阵和PR曲线模型导出根据部署平台选择合适格式ONNX通用TensorRT性能最佳应用开发编写推理脚本考虑批量处理和异步优化6.2 常见问题快速排查如果你在过程中遇到问题可以按这个清单排查训练不收敛检查学习率是否合适数据增强是否太强显存不足减小批大小或输入尺寸使用混合精度训练推理速度慢导出为TensorRT格式使用FP16精度检测效果差增加训练数据调整数据增强策略检查标注质量导出失败确保输入尺寸固定检查算子兼容性6.3 下一步学习建议掌握了基础流程后你可以进一步探索模型微调在预训练模型基础上继续训练加速收敛多任务学习同时检测水果的类别、成熟度和缺陷模型蒸馏用大模型指导小模型训练平衡精度和速度边缘部署将模型部署到Jetson、树莓派等边缘设备Web服务使用FastAPI或Flask创建REST API服务YOLOv12的强大之处不仅在于其先进的注意力机制架构更在于它提供了一套完整的工具链。从数据准备到模型部署每个环节都有成熟的解决方案。现在你已经具备了将这些技术应用到实际项目中的能力。记住最好的学习方式就是动手实践。找一个你感兴趣的目标检测任务从收集数据开始一步步走完整个流程。遇到问题时回头看看本文的相应章节你一定能找到解决方案。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
YOLOv12进阶使用指南：自定义训练、验证与模型导出完整流程
YOLOv12进阶使用指南自定义训练、验证与模型导出完整流程如果你已经体验过YOLOv12官版镜像的基础推理功能可能会想这个模型确实厉害但怎么让它识别我自己的数据呢比如我想检测工厂里的产品缺陷或者识别自家果园里的水果成熟度又或者监控停车场里的车辆进出。这正是我们今天要解决的问题。很多人在接触YOLO系列模型时往往止步于“跑通官方示例”一旦要处理自己的数据就无从下手。数据怎么准备训练参数怎么调模型怎么导出部署这些问题让不少开发者望而却步。其实从预训练模型到定制化应用中间只差一套清晰的流程。本文将带你完整走一遍YOLOv12的自定义训练、验证和模型导出全流程让你不仅能看懂别人的代码更能亲手训练出属于自己的目标检测模型。1. 环境准备与数据准备从零开始搭建训练环境在开始训练之前我们需要确保环境正确配置并准备好符合要求的数据集。很多人卡在这一步不是因为技术复杂而是因为细节没注意到。1.1 激活环境与项目结构进入容器后第一步永远是激活正确的环境# 激活YOLOv12专用环境 conda activate yolov12 # 进入项目目录 cd /root/yolov12这个镜像已经预装了所有必要的依赖包括Flash Attention v2加速库你不需要再手动安装任何包。如果遇到ModuleNotFoundError99%的情况是忘记激活yolov12环境。1.2 准备自定义数据集YOLOv12支持多种数据格式但最常用的是YOLO格式。假设我们要训练一个水果检测模型数据集的目录结构应该是这样的fruits_dataset/ ├── images/ │ ├── train/ │ │ ├── apple_001.jpg │ │ ├── apple_002.jpg │ │ └── ... │ └── val/ │ ├── apple_101.jpg │ ├── apple_102.jpg │ └── ... └── labels/ ├── train/ │ ├── apple_001.txt │ ├── apple_002.txt │ └── ... └── val/ ├── apple_101.txt ├── apple_102.txt └── ...关键点说明图片和标签一一对应每个图片文件如apple_001.jpg对应一个标签文件apple_001.txt文件名相同扩展名不同标签格式每个标签文件包含多行每行格式为class_id center_x center_y width heightclass_id类别ID从0开始center_x, center_y边界框中心点的归一化坐标除以图片宽高width, height边界框的归一化宽高举个例子如果一张图片尺寸是640×480有一个苹果在图片中央边界框宽高都是图片的一半那么标签文件内容可能是0 0.5 0.5 0.5 0.51.3 创建数据配置文件在项目根目录创建fruits.yaml文件# fruits.yaml path: /root/yolov12/datasets/fruits_dataset # 数据集根路径 train: images/train # 训练集图片路径相对于path val: images/val # 验证集图片路径相对于path # 类别数量 nc: 3 # 类别名称 names: 0: apple 1: banana 2: orange # 可选下载地址如果有在线数据集 # download: https://example.com/fruits_dataset.zip重要提示路径可以是绝对路径或相对路径但建议使用绝对路径避免混淆训练集和验证集的比例建议为8:2或7:3每个类别至少需要100-200张标注图片数据越多效果越好2. 模型训练实战从配置文件到训练完成有了数据我们就可以开始训练了。YOLOv12的训练过程相比之前的版本更加稳定显存占用也更低这要归功于镜像中的优化。2.1 选择模型配置文件YOLOv12提供了不同大小的模型配置根据你的需求选择yolov12n.yaml最轻量适合移动端或边缘设备yolov12s.yaml平衡型大多数场景的首选yolov12m.yaml中等规模精度和速度的折中yolov12l.yaml大型模型追求最高精度yolov12x.yaml超大型用于研究或对精度要求极高的场景对于水果检测这种相对简单的任务yolov12s.yaml通常就足够了。2.2 开始训练创建一个训练脚本train_fruits.pyfrom ultralytics import YOLO import torch # 检查GPU是否可用 print(fCUDA available: {torch.cuda.is_available()}) print(fGPU count: {torch.cuda.device_count()}) if torch.cuda.is_available(): print(fCurrent GPU: {torch.cuda.get_device_name(0)}) # 加载模型结构不是预训练权重 model YOLO(yolov12s.yaml) # 开始训练 results model.train( datafruits.yaml, # 数据配置文件 epochs300, # 训练轮数水果检测300轮通常足够 batch16, # 批大小根据显存调整16GB显存可设16-32 imgsz640, # 输入图片尺寸 workers4, # 数据加载线程数 device0, # 使用GPU 0多卡可用0,1,2,3 # 数据增强参数根据任务调整 scale0.5, # 随机缩放增强强度 mosaic1.0, # Mosaic数据增强概率 mixup0.0, # MixUp增强概率小模型建议0 copy_paste0.1, # Copy-Paste增强概率 # 优化器参数 lr00.01, # 初始学习率 lrf0.01, # 最终学习率因子 momentum0.937, # 动量 weight_decay0.0005, # 权重衰减 # 训练配置 patience50, # 早停耐心值 saveTrue, # 保存检查点 save_period10, # 每10轮保存一次 projectruns/train, # 保存目录 namefruits_detection, # 实验名称 exist_okTrue, # 允许覆盖已有实验 verboseTrue # 显示详细日志 ) print(训练完成)2.3 训练过程中的关键监控训练开始后你会在终端看到类似这样的输出train: Scanning /root/yolov12/datasets/fruits_dataset/labels/train... 800 images, 0 backgrounds train: New cache created: /root/yolov12/datasets/fruits_dataset/labels/train.cache val: Scanning /root/yolov12/datasets/fruits_dataset/labels/val... 200 images, 0 backgrounds val: New cache created: /root/yolov12/datasets/fruits_dataset/labels/val.cache Epoch gpu_mem box obj cls labels img_size 1/300 5.2G 0.1234 0.0456 0.0234 16 640: 100%|██████████| 50/50 [00:2500:00, 1.96it/s] Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 13/13 [00:0300:00, 3.68it/s] all 200 1234 0.356 0.412 0.389 0.234需要关注的关键指标损失函数box/obj/cls应该随着训练逐渐下降mAP50IoU阈值为0.5时的平均精度主要评估指标mAP50-95IoU阈值从0.5到0.95的平均精度更严格的评估GPU显存使用确保没有超出显存容量2.4 常见训练问题与解决问题1显存不足Out of Memory# 解决方案减小批大小或图片尺寸 batch8, # 从16减小到8 imgsz512, # 从640减小到512问题2训练不收敛损失不下降# 解决方案调整学习率或增加数据增强 lr00.001, # 降低学习率 mosaic0.5, # 降低Mosaic增强强度 copy_paste0, # 暂时关闭Copy-Paste问题3过拟合训练集好验证集差# 解决方案增加正则化或减少模型复杂度 weight_decay0.001, # 增加权重衰减 dropout0.1, # 添加Dropout如果模型支持3. 模型验证与性能评估如何判断模型好坏训练完成后我们需要评估模型在实际数据上的表现。很多人只关注训练损失但验证集的表现才是模型泛化能力的真实体现。3.1 基础验证方法在训练脚本同目录下创建val_fruits.pyfrom ultralytics import YOLO import matplotlib.pyplot as plt import numpy as np # 加载训练好的最佳模型 # 训练结果保存在 runs/train/fruits_detection/weights/best.pt model YOLO(runs/train/fruits_detection/weights/best.pt) # 在验证集上评估 metrics model.val( datafruits.yaml, splitval, # 使用验证集 save_jsonTrue, # 保存JSON格式的预测结果 save_confTrue, # 保存置信度分数 conf0.25, # 置信度阈值 iou0.45, # NMS的IoU阈值 max_det300, # 每张图片最大检测数 plotsTrue, # 生成评估图表 verboseTrue # 显示详细结果 ) print(验证完成) print(fmAP50-95: {metrics.box.map:.4f}) print(fmAP50: {metrics.box.map50:.4f}) print(fPrecision: {metrics.box.p:.4f}) print(fRecall: {metrics.box.r:.4f})3.2 理解评估指标运行验证后你会得到详细的评估报告Class Images Instances P R mAP50 mAP50-95 all 200 1234 0.892 0.856 0.901 0.645 apple 200 412 0.912 0.894 0.923 0.678 banana 200 411 0.876 0.832 0.885 0.621 orange 200 411 0.889 0.842 0.895 0.636各指标含义Precision精确率模型预测为正的样本中真正为正的比例。高精确率意味着误检少Recall召回率实际为正的样本中被模型正确预测的比例。高召回率意味着漏检少mAP50IoU阈值为0.5时的平均精度平衡了精确率和召回率mAP50-95IoU阈值从0.5到0.95步长0.05的平均精度更严格的评估如何解读如果Precision高但Recall低模型很保守只检测很有把握的目标但会漏掉很多如果Recall高但Precision低模型很激进检测出很多目标但误检也多理想情况是两者都高mAP值接近13.3 可视化分析工具YOLOv12会自动生成多种可视化图表保存在runs/val/目录下混淆矩阵查看各类别间的误检情况PR曲线精确率-召回率曲线曲线下面积就是APF1曲线F1分数随置信度阈值变化的曲线检测结果示例随机选取的验证图片及其预测结果你可以用以下代码查看这些图表import os from PIL import Image # 查看混淆矩阵 confusion_matrix_path runs/val/confusion_matrix.png if os.path.exists(confusion_matrix_path): img Image.open(confusion_matrix_path) img.show() # 查看PR曲线 pr_curve_path runs/val/PR_curve.png if os.path.exists(pr_curve_path): img Image.open(pr_curve_path) img.show()3.4 错误分析找出模型的问题如果模型表现不佳可以通过以下方法分析# 对单张图片进行详细分析 results model.predict( path/to/problem_image.jpg, saveTrue, save_txtTrue, save_confTrue, show_labelsTrue, show_confTrue ) # 查看预测细节 result results[0] print(检测到的目标数量:, len(result.boxes)) print(各个目标的置信度:, result.boxes.conf) print(各个目标的类别:, result.boxes.cls) # 如果模型漏检可能是 # 1. 置信度阈值太高调低conf参数 # 2. 目标太小训练时增加小目标数据 # 3. 目标与训练数据差异大增加数据多样性 # 如果模型误检可能是 # 1. 置信度阈值太低调高conf参数 # 2. 类别间相似度高改进数据标注 # 3. 背景干扰多增加负样本或背景类4. 模型导出与部署从PyTorch到生产环境训练好的模型需要导出为适合部署的格式。不同的部署场景需要不同的格式选对了能大幅提升推理速度。4.1 导出为ONNX格式跨平台通用ONNX是通用的模型交换格式支持多种推理引擎from ultralytics import YOLO # 加载训练好的模型 model YOLO(runs/train/fruits_detection/weights/best.pt) # 导出为ONNX model.export( formatonnx, # 导出格式 imgsz640, # 输入尺寸与训练一致 batch1, # 批大小部署时通常为1 dynamicFalse, # 是否支持动态尺寸False表示固定尺寸 simplifyTrue, # 简化模型移除冗余操作 opset17, # ONNX算子集版本 devicecpu, # 导出设备建议用CPU verboseTrue # 显示导出详情 ) print(ONNX模型已导出为best.onnx)ONNX导出的优势跨平台可在CPU、GPU、NPU等多种硬件上运行支持多种推理引擎OpenVINO、TensorRT、ONNX Runtime等模型优化支持图优化和算子融合4.2 导出为TensorRT EngineNVIDIA GPU最佳性能如果你在NVIDIA平台上部署TensorRT能提供最佳性能# 导出为TensorRT Engine model.export( formatengine, # TensorRT格式 imgsz[640, 640], # 输入尺寸高, 宽 batch1, # 批大小 workspace4, # GPU工作空间大小GB halfTrue, # 使用FP16精度速度更快精度略有损失 int8False, # 是否使用INT8量化需要校准数据 dynamicTrue, # 支持动态尺寸重要 simplifyTrue, # 简化模型 device0, # 在GPU 0上导出 verboseTrue ) print(TensorRT模型已导出为best.engine)关键参数说明halfTrue使用FP16精度推理速度提升2-3倍显存减半dynamicTrue支持动态输入尺寸可以处理不同分辨率的图片int8FalseINT8量化能进一步提升速度但需要校准数据集4.3 导出为其他格式YOLOv12还支持导出为其他格式# 导出为OpenVINO格式Intel CPU优化 model.export(formatopenvino, halfFalse) # 导出为CoreML格式Apple设备 model.export(formatcoreml, nmsTrue) # nmsTrue会包含后处理 # 导出为TensorFlow SavedModel model.export(formatsaved_model, kerasFalse) # 导出为TorchScript model.export(formattorchscript, optimizeTrue)4.4 验证导出模型导出后一定要验证模型是否正确import cv2 import numpy as np from ultralytics import YOLO # 加载导出的模型以ONNX为例 exported_model YOLO(best.onnx) # 用同样的图片测试 results exported_model.predict( path/to/test_image.jpg, conf0.25, iou0.45, imgsz640 ) # 比较原始模型和导出模型的结果 original_model YOLO(runs/train/fruits_detection/weights/best.pt) original_results original_model.predict(path/to/test_image.jpg) print(导出模型检测数:, len(results[0].boxes)) print(原始模型检测数:, len(original_results[0].boxes)) # 可视化比较 results[0].show() original_results[0].show()5. 实际应用示例水果检测系统完整实现让我们用一个完整的例子把前面学到的所有知识串起来。假设我们要开发一个水果自动分拣系统。5.1 数据准备与增强对于水果检测我们需要特别处理一些情况# 创建专门的水果检测训练配置 from ultralytics import YOLO model YOLO(yolov12s.yaml) # 针对水果检测的增强策略 results model.train( datafruits.yaml, epochs300, imgsz640, # 水果检测特有的增强 hsv_h0.015, # 色调增强模拟不同成熟度 hsv_s0.7, # 饱和度增强模拟不同光照 hsv_v0.4, # 明度增强 degrees10, # 旋转角度水果可能任意方向 translate0.2, # 平移增强 scale0.9, # 缩放增强不同大小水果 shear5, # 剪切变换 # 针对重叠水果的增强 mosaic0.8, # Mosaic增强模拟水果堆叠 mixup0.1, # MixUp增强模拟部分遮挡 copy_paste0.2, # Copy-Paste增加小目标样本 # 优化器配置 lr00.01, lrf0.1, warmup_epochs3, warmup_momentum0.8, # 早停和保存 patience30, save_period10, projectruns/fruits, namev12s_final )5.2 推理脚本编写训练完成后编写一个实用的推理脚本import cv2 import numpy as np from ultralytics import YOLO from typing import List, Tuple import time class FruitDetector: def __init__(self, model_path: str, conf_threshold: float 0.25): 初始化水果检测器 Args: model_path: 模型路径.pt或.onnx或.engine conf_threshold: 置信度阈值 self.model YOLO(model_path) self.conf_threshold conf_threshold self.class_names [apple, banana, orange] # 与训练时一致 def detect_image(self, image_path: str) - dict: 检测单张图片 Returns: dict: 包含检测结果的字典 # 执行预测 results self.model.predict( sourceimage_path, confself.conf_threshold, iou0.45, imgsz640, verboseFalse ) # 解析结果 result results[0] detections [] if result.boxes is not None: boxes result.boxes.xyxy.cpu().numpy() # [x1, y1, x2, y2] confidences result.boxes.conf.cpu().numpy() class_ids result.boxes.cls.cpu().numpy().astype(int) for i in range(len(boxes)): detection { bbox: boxes[i].tolist(), confidence: float(confidences[i]), class_id: int(class_ids[i]), class_name: self.class_names[int(class_ids[i])] } detections.append(detection) return { image_path: image_path, detections: detections, total_count: len(detections) } def detect_video(self, video_path: str, output_path: str None): 检测视频流 Args: video_path: 视频文件路径或摄像头ID output_path: 输出视频路径可选 cap cv2.VideoCapture(video_path) # 获取视频属性 fps int(cap.get(cv2.CAP_PROP_FPS)) width int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # 创建视频写入器 if output_path: fourcc cv2.VideoWriter_fourcc(*mp4v) out cv2.VideoWriter(output_path, fourcc, fps, (width, height)) frame_count 0 total_time 0 while True: ret, frame cap.read() if not ret: break # 记录开始时间 start_time time.time() # 执行检测 results self.model.predict( sourceframe, confself.conf_threshold, imgsz640, verboseFalse ) # 计算处理时间 process_time time.time() - start_time total_time process_time frame_count 1 # 绘制检测结果 annotated_frame results[0].plot() # 显示FPS fps_text fFPS: {1/process_time:.1f} cv2.putText(annotated_frame, fps_text, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) # 显示统计信息 if results[0].boxes is not None: count_text fDetections: {len(results[0].boxes)} cv2.putText(annotated_frame, count_text, (10, 70), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) # 显示或保存 if output_path: out.write(annotated_frame) else: cv2.imshow(Fruit Detection, annotated_frame) if cv2.waitKey(1) 0xFF ord(q): break # 释放资源 cap.release() if output_path: out.release() cv2.destroyAllWindows() # 打印性能统计 avg_fps frame_count / total_time if total_time 0 else 0 print(f处理总帧数: {frame_count}) print(f平均FPS: {avg_fps:.1f}) print(f总处理时间: {total_time:.2f}秒) # 使用示例 if __name__ __main__: # 初始化检测器 detector FruitDetector(runs/train/fruits_detection/weights/best.pt) # 检测单张图片 result detector.detect_image(test_fruit.jpg) print(f检测到 {result[total_count]} 个水果) for det in result[detections]: print(f - {det[class_name]}: {det[confidence]:.2f}) # 检测视频使用摄像头 # detector.detect_video(0) # 0表示默认摄像头 # 检测视频文件并保存结果 # detector.detect_video(input_video.mp4, output_video.mp4)5.3 部署优化建议在实际部署时可以考虑以下优化# 批量推理优化 def batch_inference(image_paths: List[str], batch_size: int 8): 批量推理提高吞吐量 from ultralytics import YOLO model YOLO(best.engine) # 使用TensorRT加速 all_results [] for i in range(0, len(image_paths), batch_size): batch_paths image_paths[i:ibatch_size] results model(batch_paths, verboseFalse) all_results.extend(results) return all_results # 异步推理 import asyncio from concurrent.futures import ThreadPoolExecutor class AsyncDetector: def __init__(self, model_path: str, max_workers: int 4): self.model YOLO(model_path) self.executor ThreadPoolExecutor(max_workersmax_workers) async def detect_async(self, image_path: str): loop asyncio.get_event_loop() result await loop.run_in_executor( self.executor, lambda: self.model.predict(image_path, verboseFalse) ) return result # 使用示例 async def main(): detector AsyncDetector(best.engine) tasks [detector.detect_async(path) for path in image_paths] results await asyncio.gather(*tasks)6. 总结从训练到部署的完整工作流通过本文的完整流程你应该已经掌握了YOLOv12从自定义训练到生产部署的全套技能。让我们回顾一下关键要点6.1 核心流程总结数据准备按照YOLO格式组织数据集创建正确的配置文件模型训练选择合适的模型大小调整数据增强和优化器参数性能验证在验证集上评估模型分析混淆矩阵和PR曲线模型导出根据部署平台选择合适格式ONNX通用TensorRT性能最佳应用开发编写推理脚本考虑批量处理和异步优化6.2 常见问题快速排查如果你在过程中遇到问题可以按这个清单排查训练不收敛检查学习率是否合适数据增强是否太强显存不足减小批大小或输入尺寸使用混合精度训练推理速度慢导出为TensorRT格式使用FP16精度检测效果差增加训练数据调整数据增强策略检查标注质量导出失败确保输入尺寸固定检查算子兼容性6.3 下一步学习建议掌握了基础流程后你可以进一步探索模型微调在预训练模型基础上继续训练加速收敛多任务学习同时检测水果的类别、成熟度和缺陷模型蒸馏用大模型指导小模型训练平衡精度和速度边缘部署将模型部署到Jetson、树莓派等边缘设备Web服务使用FastAPI或Flask创建REST API服务YOLOv12的强大之处不仅在于其先进的注意力机制架构更在于它提供了一套完整的工具链。从数据准备到模型部署每个环节都有成熟的解决方案。现在你已经具备了将这些技术应用到实际项目中的能力。记住最好的学习方式就是动手实践。找一个你感兴趣的目标检测任务从收集数据开始一步步走完整个流程。遇到问题时回头看看本文的相应章节你一定能找到解决方案。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
