1. 项目概述这个基于YOLOv11的水果识别检测系统是我最近完成的一个计算机视觉项目它能够准确识别6种常见水果苹果、香蕉、葡萄、橙子、菠萝和西瓜。作为一个经常需要处理农产品检测需求的开发者我发现市面上的开源解决方案要么精度不足要么太过复杂。于是决定自己开发一个兼顾准确性和易用性的系统。系统核心采用最新的YOLOv11目标检测算法搭配精心标注的数据集包含8479张图片实现了高达96.7%的mAPmean Average Precision。为了让非技术人员也能方便使用我特别设计了直观的UI界面支持图片、视频和实时摄像头三种检测模式。用户可以通过简单的滑块调整检测灵敏度所有结果都会实时显示并可以保存。提示如果你刚接触目标检测YOLO(You Only Look Once)是目前最流行的实时目标检测算法系列而YOLOv11是2023年发布的最新版本在速度和精度上都有显著提升。2. 技术架构解析2.1 为什么选择YOLOv11在算法选型阶段我对比了YOLOv5、YOLOv8和YOLOv11三个版本。测试发现在相同硬件条件下模型推理速度(FPS)mAP0.5模型大小(MB)YOLOv5s12094.214.4YOLOv8n14595.112.1YOLOv11s15896.710.8YOLOv11的优势主要体现在更高效的网络结构采用GELANGeneralized Efficient Layer Aggregation Network架构更小的模型体积比v5s小了25%更高的推理速度在RTX 3060上可达158FPS更简单的部署支持ONNX、TensorRT等多种格式2.2 系统工作流程整个系统的处理流程可以分为以下几个关键步骤输入预处理对输入图像进行自动缩放、归一化0-1范围和通道转换BGR→RGB模型推理将预处理后的图像输入YOLOv11网络获取预测结果后处理包括非极大值抑制(NMS)、置信度过滤和边界框修正结果可视化在原图上绘制检测框并生成检测报告输出保存可选保存检测结果到本地# 典型的推理代码示例 def detect_image(model, img_path, conf_thres0.5, iou_thres0.45): # 1. 读取并预处理图像 img cv2.imread(img_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 2. 模型推理 results model(img, confconf_thres, iouiou_thres) # 3. 结果解析 detections [] for box in results[0].boxes: class_id int(box.cls) confidence float(box.conf) bbox box.xyxy[0].tolist() # 获取边界框坐标 detections.append({ class: model.names[class_id], confidence: confidence, bbox: bbox }) # 4. 可视化 annotated_img results[0].plot() return annotated_img, detections3. 数据集构建与训练3.1 数据集准备一个高质量的数据集是模型性能的基础。我收集了超过8000张水果图像涵盖不同光照条件强光、弱光、逆光等拍摄角度正面、侧面、俯视等背景复杂度纯色背景、复杂场景等水果状态单个、多个、部分遮挡等数据集按照7:1:2的比例划分为训练集7108张验证集914张测试集457张所有图像都采用YOLO格式标注标注文件示例0 0.483984 0.512681 0.216797 0.425926 # class x_center y_center width height3.2 数据增强策略为了提高模型泛化能力训练时采用了多种数据增强技术基础增强随机翻转水平50%概率随机旋转-10°到10°色彩抖动亮度、对比度、饱和度各±20%高级增强Mosaic增强4图拼接MixUp两图混合CutOut随机区域遮挡# data.yaml 配置文件示例 train: ../dataset/train/images val: ../dataset/valid/images nc: 6 names: [Apple, Banana, Grape, Orange, Pineapple, Watermelon] # 增强参数 augmentations: hsv_h: 0.015 # 色调变化幅度 hsv_s: 0.7 # 饱和度变化幅度 hsv_v: 0.4 # 明度变化幅度 degrees: 10 # 旋转角度范围 translate: 0.1 # 平移比例 scale: 0.5 # 缩放比例 shear: 0.0 # 剪切幅度3.3 模型训练细节训练使用预训练的yolov11s.pt权重关键参数配置model.train( datadata.yaml, epochs100, batch8, # 根据GPU显存调整 imgsz640, device0, # 使用GPU 0 workers4, # 数据加载线程数 optimizerAdamW, lr00.001, # 初始学习率 lrf0.01, # 最终学习率 weight_decay0.05, warmup_epochs3, box7.5, # box loss增益 cls0.5, # class loss增益 dfl1.5 # dfl loss增益 )训练过程中观察到前20个epoch快速收敛mAP从0.3提升到0.8550个epoch后进入平稳期mAP缓慢提升到0.95最佳模型出现在第88个epoch验证集mAP0.5达到0.967注意训练时建议使用wandb或TensorBoard监控训练过程可以实时查看各项指标变化。4. 系统实现与优化4.1 界面设计使用PyQt5开发了美观实用的GUI界面主要特点包括多检测模式图片检测支持jpg/png/bmp视频检测支持mp4/avi/mov实时摄像头检测双画面显示左侧原始画面右侧检测结果下方检测结果表格参数控制置信度阈值滑块0-1.0IoU阈值滑块0-1.0模型选择下拉菜单# UI主窗口关键代码 class MainWindow(QMainWindow): def __init__(self): super().__init__() # 初始化UI self.setWindowTitle(水果识别检测系统) self.setGeometry(100, 100, 1200, 800) # 创建中央部件 central_widget QWidget() self.setCentralWidget(central_widget) # 主布局 main_layout QHBoxLayout() central_widget.setLayout(main_layout) # 左侧原始图像 self.original_label QLabel() self.original_label.setAlignment(Qt.AlignCenter) main_layout.addWidget(self.original_label) # 右侧检测结果 self.result_label QLabel() self.result_label.setAlignment(Qt.AlignCenter) main_layout.addWidget(self.result_label) # 底部控制面板 control_panel QVBoxLayout() # 模式选择按钮 self.image_btn QPushButton(图片检测) self.video_btn QPushButton(视频检测) self.camera_btn QPushButton(摄像头检测) # 参数控制 self.conf_slider QSlider(Qt.Horizontal) self.conf_slider.setRange(0, 100) self.conf_slider.setValue(50) # 结果表格 self.result_table QTableWidget() self.result_table.setColumnCount(4) self.result_table.setHorizontalHeaderLabels([类别, 置信度, X, Y])4.2 性能优化技巧在实际开发中我遇到了几个性能瓶颈并找到了解决方案多线程处理UI线程和检测线程分离使用QThread和信号槽机制通信避免界面卡顿class DetectionThread(QThread): frame_received pyqtSignal(np.ndarray, np.ndarray, list) def __init__(self, model, source, conf, iou): super().__init__() self.model model self.source source self.conf conf self.iou iou self.running True def run(self): cap cv2.VideoCapture(self.source) if isinstance(self.source, str) else self.source while self.running: ret, frame cap.read() if not ret: break # 推理 results self.model(frame, confself.conf, iouself.iou) annotated results[0].plot() # 提取结果 detections [] for box in results[0].boxes: detections.append([ self.model.names[int(box.cls)], float(box.conf), *box.xywh[0].tolist() ]) # 发送信号 self.frame_received.emit( cv2.cvtColor(frame, cv2.COLOR_BGR2RGB), cv2.cvtColor(annotated, cv2.COLOR_BGR2RGB), detections )模型加速使用半精度(FP16)推理启用TensorRT加速批处理优化# 启用FP16推理 model YOLO(yolov11s.pt) model.fuse() # 融合模型 model.half() # 半精度 # TensorRT导出 model.export(formatengine, halfTrue, workspace4)内存管理及时释放不再使用的变量使用生成器处理大型视频文件限制同时处理的帧数5. 部署与应用5.1 环境配置系统依赖的主要Python库torch2.0.0 torchvision0.15.0 ultralytics8.0.0 opencv-python4.7.0 PyQt55.15.0 numpy1.24.0推荐使用conda创建虚拟环境conda create -n fruit_detection python3.9 conda activate fruit_detection pip install -r requirements.txt5.2 常见问题解决在实际部署中可能会遇到以下问题CUDA内存不足减小batch size使用更小的模型(yolov11n)启用--half参数使用FP16检测框漂移调整IoU阈值(建议0.4-0.6)检查标注是否准确增加训练epoch类别混淆增加困难样本调整class weight使用Focal Loss5.3 实际应用场景这个系统已经在多个场景中得到应用超市智能结算自动识别水果类型统计数量与称重系统联动果园产量预估无人机拍摄果园画面统计水果数量和分布预估产量分拣流水线实时检测传送带上水果按品质分级控制机械臂分拣6. 未来改进方向虽然当前系统已经表现不错但仍有改进空间模型层面尝试知识蒸馏减小模型体积加入注意力机制提升小目标检测优化损失函数解决类别不平衡系统层面增加多摄像头支持开发移动端APP加入云端部署方案功能扩展水果成熟度检测缺陷检测碰伤、腐烂等重量预估这个项目从构思到实现用了约3个月时间期间遇到了不少挑战但最终的成果让我非常满意。如果你对完整代码感兴趣可以在GitHub上找到开源版本。在实际部署时建议根据具体场景调整参数特别是置信度阈值和IoU阈值这会对检测效果产生很大影响。
基于YOLOv11的水果识别检测系统开发实践
1. 项目概述这个基于YOLOv11的水果识别检测系统是我最近完成的一个计算机视觉项目它能够准确识别6种常见水果苹果、香蕉、葡萄、橙子、菠萝和西瓜。作为一个经常需要处理农产品检测需求的开发者我发现市面上的开源解决方案要么精度不足要么太过复杂。于是决定自己开发一个兼顾准确性和易用性的系统。系统核心采用最新的YOLOv11目标检测算法搭配精心标注的数据集包含8479张图片实现了高达96.7%的mAPmean Average Precision。为了让非技术人员也能方便使用我特别设计了直观的UI界面支持图片、视频和实时摄像头三种检测模式。用户可以通过简单的滑块调整检测灵敏度所有结果都会实时显示并可以保存。提示如果你刚接触目标检测YOLO(You Only Look Once)是目前最流行的实时目标检测算法系列而YOLOv11是2023年发布的最新版本在速度和精度上都有显著提升。2. 技术架构解析2.1 为什么选择YOLOv11在算法选型阶段我对比了YOLOv5、YOLOv8和YOLOv11三个版本。测试发现在相同硬件条件下模型推理速度(FPS)mAP0.5模型大小(MB)YOLOv5s12094.214.4YOLOv8n14595.112.1YOLOv11s15896.710.8YOLOv11的优势主要体现在更高效的网络结构采用GELANGeneralized Efficient Layer Aggregation Network架构更小的模型体积比v5s小了25%更高的推理速度在RTX 3060上可达158FPS更简单的部署支持ONNX、TensorRT等多种格式2.2 系统工作流程整个系统的处理流程可以分为以下几个关键步骤输入预处理对输入图像进行自动缩放、归一化0-1范围和通道转换BGR→RGB模型推理将预处理后的图像输入YOLOv11网络获取预测结果后处理包括非极大值抑制(NMS)、置信度过滤和边界框修正结果可视化在原图上绘制检测框并生成检测报告输出保存可选保存检测结果到本地# 典型的推理代码示例 def detect_image(model, img_path, conf_thres0.5, iou_thres0.45): # 1. 读取并预处理图像 img cv2.imread(img_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 2. 模型推理 results model(img, confconf_thres, iouiou_thres) # 3. 结果解析 detections [] for box in results[0].boxes: class_id int(box.cls) confidence float(box.conf) bbox box.xyxy[0].tolist() # 获取边界框坐标 detections.append({ class: model.names[class_id], confidence: confidence, bbox: bbox }) # 4. 可视化 annotated_img results[0].plot() return annotated_img, detections3. 数据集构建与训练3.1 数据集准备一个高质量的数据集是模型性能的基础。我收集了超过8000张水果图像涵盖不同光照条件强光、弱光、逆光等拍摄角度正面、侧面、俯视等背景复杂度纯色背景、复杂场景等水果状态单个、多个、部分遮挡等数据集按照7:1:2的比例划分为训练集7108张验证集914张测试集457张所有图像都采用YOLO格式标注标注文件示例0 0.483984 0.512681 0.216797 0.425926 # class x_center y_center width height3.2 数据增强策略为了提高模型泛化能力训练时采用了多种数据增强技术基础增强随机翻转水平50%概率随机旋转-10°到10°色彩抖动亮度、对比度、饱和度各±20%高级增强Mosaic增强4图拼接MixUp两图混合CutOut随机区域遮挡# data.yaml 配置文件示例 train: ../dataset/train/images val: ../dataset/valid/images nc: 6 names: [Apple, Banana, Grape, Orange, Pineapple, Watermelon] # 增强参数 augmentations: hsv_h: 0.015 # 色调变化幅度 hsv_s: 0.7 # 饱和度变化幅度 hsv_v: 0.4 # 明度变化幅度 degrees: 10 # 旋转角度范围 translate: 0.1 # 平移比例 scale: 0.5 # 缩放比例 shear: 0.0 # 剪切幅度3.3 模型训练细节训练使用预训练的yolov11s.pt权重关键参数配置model.train( datadata.yaml, epochs100, batch8, # 根据GPU显存调整 imgsz640, device0, # 使用GPU 0 workers4, # 数据加载线程数 optimizerAdamW, lr00.001, # 初始学习率 lrf0.01, # 最终学习率 weight_decay0.05, warmup_epochs3, box7.5, # box loss增益 cls0.5, # class loss增益 dfl1.5 # dfl loss增益 )训练过程中观察到前20个epoch快速收敛mAP从0.3提升到0.8550个epoch后进入平稳期mAP缓慢提升到0.95最佳模型出现在第88个epoch验证集mAP0.5达到0.967注意训练时建议使用wandb或TensorBoard监控训练过程可以实时查看各项指标变化。4. 系统实现与优化4.1 界面设计使用PyQt5开发了美观实用的GUI界面主要特点包括多检测模式图片检测支持jpg/png/bmp视频检测支持mp4/avi/mov实时摄像头检测双画面显示左侧原始画面右侧检测结果下方检测结果表格参数控制置信度阈值滑块0-1.0IoU阈值滑块0-1.0模型选择下拉菜单# UI主窗口关键代码 class MainWindow(QMainWindow): def __init__(self): super().__init__() # 初始化UI self.setWindowTitle(水果识别检测系统) self.setGeometry(100, 100, 1200, 800) # 创建中央部件 central_widget QWidget() self.setCentralWidget(central_widget) # 主布局 main_layout QHBoxLayout() central_widget.setLayout(main_layout) # 左侧原始图像 self.original_label QLabel() self.original_label.setAlignment(Qt.AlignCenter) main_layout.addWidget(self.original_label) # 右侧检测结果 self.result_label QLabel() self.result_label.setAlignment(Qt.AlignCenter) main_layout.addWidget(self.result_label) # 底部控制面板 control_panel QVBoxLayout() # 模式选择按钮 self.image_btn QPushButton(图片检测) self.video_btn QPushButton(视频检测) self.camera_btn QPushButton(摄像头检测) # 参数控制 self.conf_slider QSlider(Qt.Horizontal) self.conf_slider.setRange(0, 100) self.conf_slider.setValue(50) # 结果表格 self.result_table QTableWidget() self.result_table.setColumnCount(4) self.result_table.setHorizontalHeaderLabels([类别, 置信度, X, Y])4.2 性能优化技巧在实际开发中我遇到了几个性能瓶颈并找到了解决方案多线程处理UI线程和检测线程分离使用QThread和信号槽机制通信避免界面卡顿class DetectionThread(QThread): frame_received pyqtSignal(np.ndarray, np.ndarray, list) def __init__(self, model, source, conf, iou): super().__init__() self.model model self.source source self.conf conf self.iou iou self.running True def run(self): cap cv2.VideoCapture(self.source) if isinstance(self.source, str) else self.source while self.running: ret, frame cap.read() if not ret: break # 推理 results self.model(frame, confself.conf, iouself.iou) annotated results[0].plot() # 提取结果 detections [] for box in results[0].boxes: detections.append([ self.model.names[int(box.cls)], float(box.conf), *box.xywh[0].tolist() ]) # 发送信号 self.frame_received.emit( cv2.cvtColor(frame, cv2.COLOR_BGR2RGB), cv2.cvtColor(annotated, cv2.COLOR_BGR2RGB), detections )模型加速使用半精度(FP16)推理启用TensorRT加速批处理优化# 启用FP16推理 model YOLO(yolov11s.pt) model.fuse() # 融合模型 model.half() # 半精度 # TensorRT导出 model.export(formatengine, halfTrue, workspace4)内存管理及时释放不再使用的变量使用生成器处理大型视频文件限制同时处理的帧数5. 部署与应用5.1 环境配置系统依赖的主要Python库torch2.0.0 torchvision0.15.0 ultralytics8.0.0 opencv-python4.7.0 PyQt55.15.0 numpy1.24.0推荐使用conda创建虚拟环境conda create -n fruit_detection python3.9 conda activate fruit_detection pip install -r requirements.txt5.2 常见问题解决在实际部署中可能会遇到以下问题CUDA内存不足减小batch size使用更小的模型(yolov11n)启用--half参数使用FP16检测框漂移调整IoU阈值(建议0.4-0.6)检查标注是否准确增加训练epoch类别混淆增加困难样本调整class weight使用Focal Loss5.3 实际应用场景这个系统已经在多个场景中得到应用超市智能结算自动识别水果类型统计数量与称重系统联动果园产量预估无人机拍摄果园画面统计水果数量和分布预估产量分拣流水线实时检测传送带上水果按品质分级控制机械臂分拣6. 未来改进方向虽然当前系统已经表现不错但仍有改进空间模型层面尝试知识蒸馏减小模型体积加入注意力机制提升小目标检测优化损失函数解决类别不平衡系统层面增加多摄像头支持开发移动端APP加入云端部署方案功能扩展水果成熟度检测缺陷检测碰伤、腐烂等重量预估这个项目从构思到实现用了约3个月时间期间遇到了不少挑战但最终的成果让我非常满意。如果你对完整代码感兴趣可以在GitHub上找到开源版本。在实际部署时建议根据具体场景调整参数特别是置信度阈值和IoU阈值这会对检测效果产生很大影响。
