YOLOv12游戏应用开发在Unity引擎中集成实时目标检测最近在琢磨怎么给游戏加点新花样比如让摄像头里的真实世界和虚拟游戏世界互动起来。试过一些传统方法要么识别不准要么速度跟不上直到我开始研究YOLOv12。这个目标检测模型速度快、精度高听起来很适合实时交互。但怎么把它塞进Unity里让游戏引擎能直接调用呢这中间有不少坑要踩。这篇文章我就来聊聊怎么把YOLOv12这个“火眼金睛”集成到Unity项目中实现基于摄像头画面的实时物体识别。无论是想做AR游戏还是开发体感交互应用这套思路都能给你一个扎实的起点。整个过程不复杂但有些细节需要注意我会把关键步骤和遇到的“坑”都分享出来。1. 为什么选择YOLOv12与Unity的组合在游戏和交互媒体领域实时性就是生命线。玩家或用户的一个动作系统必须在几十毫秒内给出反馈否则体验就会大打折扣。YOLOv12You Only Look Once系列模型的核心优势就在于此——它把目标检测任务当作一个回归问题来处理单次前向传播就能预测出图像中所有物体的位置和类别速度非常快。Unity作为一款主流的游戏引擎和实时内容创作平台它的强项在于渲染、物理模拟和跨平台部署。但它本身并不擅长复杂的计算机视觉算法。所以我们的思路很清晰让专业的模型YOLOv12干专业的活识别物体然后把识别结果交给Unity去渲染和交互。这种分工合作能最大化发挥各自的优势。具体到应用场景想象一下一个教育类AR应用摄像头对准课本屏幕上立刻浮现出3D动物模型进行讲解或者一个体感健身游戏系统能准确识别你手中的哑铃并计数。这些体验的背后都需要一个稳定、快速的“眼睛”。YOLOv12经过适当的优化和裁剪完全可以在消费级硬件上达到实时性能为这些创新场景提供了可能。2. 技术路线规划DLL封装 vs. ONNX Runtime要把YOLOv12模型在Unity里用起来主要有两条技术路径各有优劣。第一条路是将模型推理逻辑封装成动态链接库DLL。你可以用C配合OpenCV、LibTorchPyTorch C API或TensorRT等框架编写模型的加载、预处理、推理和后处理代码然后编译成一个.dll文件。Unity通过[DllImport]特性来调用这个库里的函数。这条路的好处是性能控制粒度细可以针对特定硬件如NVIDIA GPU做深度优化获得极限速度。但缺点也很明显跨平台麻烦Windows的DLL不能在Mac或Android上直接用而且对开发者的C和底层库的掌握程度要求比较高。第二条路也是目前更主流、更推荐的方式是使用ONNX Runtime。ONNXOpen Neural Network Exchange是一种开放的模型格式几乎所有主流训练框架PyTorch, TensorFlow等都能将模型导出为.onnx文件。ONNX Runtime则是一个高性能的推理引擎专门用于运行ONNX模型并且它提供了对Unity的官方支持即“ONNX Runtime for Unity”插件。这条路就友好多了。首先它跨平台同一套代码和模型文件稍作配置就能在Windows、Mac、iOS、Android上运行。其次部署简单你只需要把模型文件.onnx和插件导入Unity工程即可无需处理复杂的原生库编译。最后ONNX Runtime本身也在持续优化对CPU和多种GPU包括移动端的NNAPI、CoreML都有不错的支持性能有保障。对于我们游戏开发这种追求快速迭代和跨平台发布的场景ONNX Runtime方案无疑是更优解。下面的实践也将主要围绕这个方案展开。3. 实战第一步准备YOLOv12 ONNX模型模型是核心第一步得先把模型准备好。这里假设你已经有一个训练好的YOLOv12模型权重文件通常是.pt格式。从PyTorch到ONNX你需要使用PyTorch的torch.onnx.export函数将模型导出。关键点在于提供正确的输入输出名和动态维度支持。下面是一个简化的示例脚本import torch import onnx # 1. 加载你训练好的模型 model torch.load(your_yolov12_model.pt, map_locationcpu) model.eval() # 设置为评估模式 # 2. 创建一个示例输入张量模拟一帧图像 # 假设你的模型输入是 [batch_size, channels, height, width] # YOLO通常接受固定尺寸输入例如640x640 dummy_input torch.randn(1, 3, 640, 640) # 3. 定义输入输出的名称 input_names [images] output_names [output0] # 输出名需要根据你的模型结构确定可能是多个 # 4. 导出模型 torch.onnx.export( model, dummy_input, yolov12.onnx, export_paramsTrue, opset_version12, # 建议使用11或12兼容性较好 do_constant_foldingTrue, input_namesinput_names, output_namesoutput_names, dynamic_axes{ images: {0: batch_size}, # 支持动态batch output0: {0: batch_size} } ) # 5. (可选) 简化ONNX模型有时能提升性能 import onnxsim model_onnx onnx.load(yolov12.onnx) model_simp, check onnxsim.simplify(model_onnx) assert check, 简化失败 onnx.save(model_simp, yolov12_sim.onnx) print(ONNX模型导出并简化成功)导出成功后你会得到一个.onnx文件。建议用Netron一个可视化工具打开它确认一下输入输出的形状和名字这在Unity里配置时会用到。4. 在Unity中集成ONNX Runtime模型准备好了接下来就是在Unity里搭建推理环境。第一步获取ONNX Runtime Unity插件前往ONNX Runtime的GitHub仓库发布页面找到“ONNX Runtime for Unity”的.unitypackage文件并下载。或者你也可以通过一些包管理器来安装。将这个包导入你的Unity项目。第二步创建推理管理器我们需要一个C#脚本来管理ONNX Runtime的会话Session和执行推理。创建一个名为YOLOv12Inference.cs的脚本。using System; using System.Linq; using UnityEngine; using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; public class YOLOv12Inference : MonoBehaviour { // 公开变量方便在Inspector中配置 public TextAsset modelAsset; // 拖入你的yolov12.onnx文件 public int inputWidth 640; public int inputHeight 640; private InferenceSession _session; private string _inputName; void Start() { // 1. 从TextAsset中加载模型字节 byte[] modelData modelAsset.bytes; // 2. 创建ONNX Runtime会话选项可以配置线程、GPU等 SessionOptions options new SessionOptions(); // 尝试使用GPU如果可用且编译了GPU支持 // options.AppendExecutionProvider_CUDA(0); // 对于CUDA // options.AppendExecutionProvider_CoreML(0); // 对于iOS Mac // 默认使用CPU options.AppendExecutionProvider_CPU(); // 3. 创建推理会话 try { _session new InferenceSession(modelData, options); _inputName _session.InputMetadata.Keys.First(); // 获取输入节点名 Debug.Log($ONNX模型加载成功。输入节点: {_inputName}); } catch (Exception e) { Debug.LogError($加载ONNX模型失败: {e.Message}); } } // 核心推理函数输入Texture2D返回检测结果 public DetectionResult[] RunInference(Texture2D inputTexture) { if (_session null) { Debug.LogError(推理会话未初始化); return null; } // 1. 预处理将Texture2D转换为模型需要的张量 Tensorfloat inputTensor PreprocessTexture(inputTexture); // 2. 准备输入数据容器 var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(_inputName, inputTensor) }; // 3. 执行推理 using (IDisposableReadOnlyCollectionDisposableNamedOnnxValue results _session.Run(inputs)) { // 4. 后处理从输出中解析出边界框、置信度和类别 var outputTensor results.First().AsTensorfloat(); DetectionResult[] detections PostprocessOutput(outputTensor); return detections; } } // 预处理调整大小、归一化、转换维度顺序 (HWC - CHW) private Tensorfloat PreprocessTexture(Texture2D texture) { // 调整纹理大小到模型输入尺寸 Texture2D resizedTex ResizeTexture(texture, inputWidth, inputHeight); Color32[] pixels resizedTex.GetPixels32(); // 创建张量 [1, 3, H, W] var tensor new DenseTensorfloat(new[] { 1, 3, inputHeight, inputWidth }); // 将像素数据填充到张量中并进行归一化 (例如除以255) for (int y 0; y inputHeight; y) { for (int x 0; x inputWidth; x) { int index y * inputWidth x; Color32 pixel pixels[index]; // 假设模型训练时输入是RGB顺序且归一化到[0,1] tensor[0, 0, y, x] pixel.r / 255.0f; // R通道 tensor[0, 1, y, x] pixel.g / 255.0f; // G通道 tensor[0, 2, y, x] pixel.b / 255.0f; // B通道 } } return tensor; } // 后处理解析YOLO输出这里需要根据你的模型输出结构来写 private DetectionResult[] PostprocessOutput(Tensorfloat output) { ListDetectionResult results new ListDetectionResult(); // 示例假设输出形状是[1, 8400, 85] (YOLOv8常见格式) // 85 cx, cy, w, h, obj_conf 80个类别的概率 // 你需要实现非极大值抑制(NMS)来过滤重叠框 // 这里省略具体的解析和NMS代码它是一个独立且稍复杂的算法 // 伪代码逻辑 // 1. 遍历所有预测框 // 2. 根据对象置信度进行初步过滤 // 3. 对每个类别应用NMS去除重叠框 // 4. 将框的坐标从模型输入尺寸(640x640)映射回原始图像尺寸 // 5. 封装成DetectionResult数组返回 return results.ToArray(); } // 辅助函数调整纹理大小 private Texture2D ResizeTexture(Texture2D source, int newWidth, int newHeight) { RenderTexture rt RenderTexture.GetTemporary(newWidth, newHeight); Graphics.Blit(source, rt); Texture2D result new Texture2D(newWidth, newHeight, source.format, false); RenderTexture.active rt; result.ReadPixels(new Rect(0, 0, newWidth, newHeight), 0, 0); result.Apply(); RenderTexture.ReleaseTemporary(rt); return result; } void OnDestroy() { _session?.Dispose(); // 记得释放资源 } } // 用于存储检测结果的数据结构 public class DetectionResult { public Rect boundingBox; // 边界框相对于图像尺寸 public string label; // 类别标签 public float confidence; // 置信度 }这个脚本搭建了基本的推理框架。最复杂的部分在于PostprocessOutput函数你需要根据YOLOv12模型的具体输出格式来编写解析逻辑。通常需要实现非极大值抑制算法来去除重复的检测框。5. 构建实时摄像头检测循环有了推理核心下一步就是驱动它连续工作处理摄像头画面。创建摄像头捕捉与渲染管线在Unity中我们可以使用WebCamTexture来获取摄像头数据然后每一帧将其送入推理模型。using UnityEngine; using UnityEngine.UI; // 如果需要显示画面 public class CameraDetector : MonoBehaviour { public RawImage cameraDisplay; // UI上的RawImage用于显示摄像头画面 public YOLOv12Inference inferenceEngine; // 拖入上一步创建的推理管理器 private WebCamTexture _webcamTexture; private Texture2D _processedTexture; void Start() { // 1. 初始化摄像头 StartCoroutine(InitializeCamera()); } System.Collections.IEnumerator InitializeCamera() { // 请求摄像头权限移动端重要 yield return Application.RequestUserAuthorization(UserAuthorization.WebCam); if (!Application.HasUserAuthorization(UserAuthorization.WebCam)) { Debug.LogError(未获得摄像头权限。); yield break; } // 获取设备并创建WebCamTexture WebCamDevice[] devices WebCamTexture.devices; if (devices.Length 0) { Debug.LogError(未找到摄像头设备。); yield break; } // 通常使用第一个后置摄像头可根据需要选择 _webcamTexture new WebCamTexture(devices[0].name, 640, 480, 30); cameraDisplay.texture _webcamTexture; _webcamTexture.Play(); // 创建用于推理的Texture2D _processedTexture new Texture2D(_webcamTexture.width, _webcamTexture.height, TextureFormat.RGB24, false); } void Update() { if (_webcamTexture ! null _webcamTexture.didUpdateThisFrame inferenceEngine ! null) { // 1. 将WebCamTexture转换为Texture2D // 注意这是一个耗性能操作在实际项目中需要考虑优化如使用AsyncGPUReadback Graphics.CopyTexture(_webcamTexture, _processedTexture); // 2. 执行推理 DetectionResult[] detections inferenceEngine.RunInference(_processedTexture); // 3. 处理并可视化结果 if (detections ! null detections.Length 0) { VisualizeDetections(detections); } } } // 可视化检测结果例如在屏幕上绘制边界框 private void VisualizeDetections(DetectionResult[] detections) { // 这里你可以用Unity的GL API、UI Image或者Shader在画面上绘制矩形框和标签 // 例如为每个检测结果实例化一个UI预制体包含边框和文本 // 或者使用CommandBuffer在相机上直接绘制 // 具体实现取决于你的项目需求和性能考量 foreach (var det in detections) { if (det.confidence 0.5f) // 设置一个置信度阈值 { Debug.Log($检测到: {det.label}, 置信度: {det.confidence:F2}, 位置: {det.boundingBox}); // 调用你的绘制逻辑 DrawBoundingBox(det.boundingBox, det.label, det.confidence); } } } private void DrawBoundingBox(Rect box, string label, float confidence) { // 实现你的绘制逻辑 // 例如将归一化的box坐标转换为屏幕坐标然后绘制 } void OnDisable() { if (_webcamTexture ! null _webcamTexture.isPlaying) { _webcamTexture.Stop(); } } }这段代码创建了一个基本的实时检测循环。在Update函数中每一帧我们都将最新的摄像头图像送入YOLOv12模型进行推理并处理返回的结果。VisualizeDetections函数负责将检测到的物体边界框和标签显示在屏幕上这是连接“识别”与“交互”的关键一步。6. 性能优化与实用技巧直接按上面的方法做在PC上跑个Demo可能没问题但真要放到手机或追求高帧率的应用里性能瓶颈马上就出来了。这里分享几个关键的优化思路。推理性能优化降低输入分辨率YOLO模型的速度和输入图像尺寸强相关。如果不是必须检测小物体完全可以将输入从640x640降到416x416甚至320x320速度会有显著提升。模型量化将模型从FP32单精度浮点量化到FP16半精度或INT88位整数能大幅减少模型体积和内存占用提升推理速度对精度影响通常很小。ONNX Runtime支持运行时量化。使用GPU在支持CUDA的PC或支持特定加速API如Android NNAPI iOS CoreML的移动设备上务必启用GPU推理。在创建SessionOptions时配置相应的执行提供程序。异步推理不要让主线程等待推理完成。可以将RunInference调用放到另一个线程或使用Unity的Job System和Burst Compiler来处理图像预处理避免卡顿。渲染与交互优化避免每帧Graphics.CopyTextureCopyTexture是同步的且消耗较大。可以考虑使用AsyncGPUReadback来异步获取纹理数据或者直接在渲染管线中通过RenderTexture传递数据。合并绘制调用如果需要绘制大量检测框比如多人姿态估计不要为每个框实例化一个UI元素。应该使用一个专门的绘制管理器通过GL或Graphics.DrawMesh来批量绘制。对象池管理对于频繁创建和销毁的视觉反馈元素如高亮框、标签文本使用对象池来复用减少GC垃圾回收压力。一个简单的异步推理框架示意// 在YOLOv12Inference类中增加异步方法 public async TaskDetectionResult[] RunInferenceAsync(Texture2D inputTexture) { // 在后台线程执行预处理和推理 return await Task.Run(() { Tensorfloat inputTensor PreprocessTexture(inputTexture); // ... 推理逻辑 return PostprocessOutput(outputTensor); }); } // 在CameraDetector的Update中 void Update() { if (_canProcessNextFrame) { _canProcessNextFrame false; ProcessFrameAsync(_processedTexture); } } async void ProcessFrameAsync(Texture2D frame) { var detections await inferenceEngine.RunInferenceAsync(frame); // 回到主线程更新UI或游戏对象 await UniTask.SwitchToMainThread(); // 使用UniTask等库 VisualizeDetections(detections); _canProcessNextFrame true; }7. 总结把YOLOv12集成到Unity里做实时目标检测听起来高大上但拆解开来就是几个明确的步骤准备模型、搭建推理环境、处理摄像头流、可视化结果。ONNX Runtime大大简化了跨平台部署的难度让开发者能更专注于游戏逻辑和交互设计本身。实际做下来感觉最难的不是代码怎么写而是性能调优和平台适配。在PC上跑得飞快一到手机上可能就卡成幻灯片。这时候模型量化、降低分辨率、异步处理这些优化手段就派上用场了。另外后处理逻辑特别是NMS的效率和精度也直接影响到最终体验。这套方案的开销为游戏和交互媒体打开了很多新玩法。你可以用它来做AR游戏的实物触发器让玩家用手边的水杯当作游戏里的魔法道具也可以做体感交互装置识别人的姿势来控制游戏角色。可能性很多关键看你的创意。如果你刚开始尝试建议先从PC端Demo做起把流程跑通再逐步考虑移动端优化和更复杂的交互逻辑。模型和代码都可以在GitHub上找到不错的开源项目参考站在巨人的肩膀上能省不少力气。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
YOLOv12游戏应用开发：在Unity引擎中集成实时目标检测
YOLOv12游戏应用开发在Unity引擎中集成实时目标检测最近在琢磨怎么给游戏加点新花样比如让摄像头里的真实世界和虚拟游戏世界互动起来。试过一些传统方法要么识别不准要么速度跟不上直到我开始研究YOLOv12。这个目标检测模型速度快、精度高听起来很适合实时交互。但怎么把它塞进Unity里让游戏引擎能直接调用呢这中间有不少坑要踩。这篇文章我就来聊聊怎么把YOLOv12这个“火眼金睛”集成到Unity项目中实现基于摄像头画面的实时物体识别。无论是想做AR游戏还是开发体感交互应用这套思路都能给你一个扎实的起点。整个过程不复杂但有些细节需要注意我会把关键步骤和遇到的“坑”都分享出来。1. 为什么选择YOLOv12与Unity的组合在游戏和交互媒体领域实时性就是生命线。玩家或用户的一个动作系统必须在几十毫秒内给出反馈否则体验就会大打折扣。YOLOv12You Only Look Once系列模型的核心优势就在于此——它把目标检测任务当作一个回归问题来处理单次前向传播就能预测出图像中所有物体的位置和类别速度非常快。Unity作为一款主流的游戏引擎和实时内容创作平台它的强项在于渲染、物理模拟和跨平台部署。但它本身并不擅长复杂的计算机视觉算法。所以我们的思路很清晰让专业的模型YOLOv12干专业的活识别物体然后把识别结果交给Unity去渲染和交互。这种分工合作能最大化发挥各自的优势。具体到应用场景想象一下一个教育类AR应用摄像头对准课本屏幕上立刻浮现出3D动物模型进行讲解或者一个体感健身游戏系统能准确识别你手中的哑铃并计数。这些体验的背后都需要一个稳定、快速的“眼睛”。YOLOv12经过适当的优化和裁剪完全可以在消费级硬件上达到实时性能为这些创新场景提供了可能。2. 技术路线规划DLL封装 vs. ONNX Runtime要把YOLOv12模型在Unity里用起来主要有两条技术路径各有优劣。第一条路是将模型推理逻辑封装成动态链接库DLL。你可以用C配合OpenCV、LibTorchPyTorch C API或TensorRT等框架编写模型的加载、预处理、推理和后处理代码然后编译成一个.dll文件。Unity通过[DllImport]特性来调用这个库里的函数。这条路的好处是性能控制粒度细可以针对特定硬件如NVIDIA GPU做深度优化获得极限速度。但缺点也很明显跨平台麻烦Windows的DLL不能在Mac或Android上直接用而且对开发者的C和底层库的掌握程度要求比较高。第二条路也是目前更主流、更推荐的方式是使用ONNX Runtime。ONNXOpen Neural Network Exchange是一种开放的模型格式几乎所有主流训练框架PyTorch, TensorFlow等都能将模型导出为.onnx文件。ONNX Runtime则是一个高性能的推理引擎专门用于运行ONNX模型并且它提供了对Unity的官方支持即“ONNX Runtime for Unity”插件。这条路就友好多了。首先它跨平台同一套代码和模型文件稍作配置就能在Windows、Mac、iOS、Android上运行。其次部署简单你只需要把模型文件.onnx和插件导入Unity工程即可无需处理复杂的原生库编译。最后ONNX Runtime本身也在持续优化对CPU和多种GPU包括移动端的NNAPI、CoreML都有不错的支持性能有保障。对于我们游戏开发这种追求快速迭代和跨平台发布的场景ONNX Runtime方案无疑是更优解。下面的实践也将主要围绕这个方案展开。3. 实战第一步准备YOLOv12 ONNX模型模型是核心第一步得先把模型准备好。这里假设你已经有一个训练好的YOLOv12模型权重文件通常是.pt格式。从PyTorch到ONNX你需要使用PyTorch的torch.onnx.export函数将模型导出。关键点在于提供正确的输入输出名和动态维度支持。下面是一个简化的示例脚本import torch import onnx # 1. 加载你训练好的模型 model torch.load(your_yolov12_model.pt, map_locationcpu) model.eval() # 设置为评估模式 # 2. 创建一个示例输入张量模拟一帧图像 # 假设你的模型输入是 [batch_size, channels, height, width] # YOLO通常接受固定尺寸输入例如640x640 dummy_input torch.randn(1, 3, 640, 640) # 3. 定义输入输出的名称 input_names [images] output_names [output0] # 输出名需要根据你的模型结构确定可能是多个 # 4. 导出模型 torch.onnx.export( model, dummy_input, yolov12.onnx, export_paramsTrue, opset_version12, # 建议使用11或12兼容性较好 do_constant_foldingTrue, input_namesinput_names, output_namesoutput_names, dynamic_axes{ images: {0: batch_size}, # 支持动态batch output0: {0: batch_size} } ) # 5. (可选) 简化ONNX模型有时能提升性能 import onnxsim model_onnx onnx.load(yolov12.onnx) model_simp, check onnxsim.simplify(model_onnx) assert check, 简化失败 onnx.save(model_simp, yolov12_sim.onnx) print(ONNX模型导出并简化成功)导出成功后你会得到一个.onnx文件。建议用Netron一个可视化工具打开它确认一下输入输出的形状和名字这在Unity里配置时会用到。4. 在Unity中集成ONNX Runtime模型准备好了接下来就是在Unity里搭建推理环境。第一步获取ONNX Runtime Unity插件前往ONNX Runtime的GitHub仓库发布页面找到“ONNX Runtime for Unity”的.unitypackage文件并下载。或者你也可以通过一些包管理器来安装。将这个包导入你的Unity项目。第二步创建推理管理器我们需要一个C#脚本来管理ONNX Runtime的会话Session和执行推理。创建一个名为YOLOv12Inference.cs的脚本。using System; using System.Linq; using UnityEngine; using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; public class YOLOv12Inference : MonoBehaviour { // 公开变量方便在Inspector中配置 public TextAsset modelAsset; // 拖入你的yolov12.onnx文件 public int inputWidth 640; public int inputHeight 640; private InferenceSession _session; private string _inputName; void Start() { // 1. 从TextAsset中加载模型字节 byte[] modelData modelAsset.bytes; // 2. 创建ONNX Runtime会话选项可以配置线程、GPU等 SessionOptions options new SessionOptions(); // 尝试使用GPU如果可用且编译了GPU支持 // options.AppendExecutionProvider_CUDA(0); // 对于CUDA // options.AppendExecutionProvider_CoreML(0); // 对于iOS Mac // 默认使用CPU options.AppendExecutionProvider_CPU(); // 3. 创建推理会话 try { _session new InferenceSession(modelData, options); _inputName _session.InputMetadata.Keys.First(); // 获取输入节点名 Debug.Log($ONNX模型加载成功。输入节点: {_inputName}); } catch (Exception e) { Debug.LogError($加载ONNX模型失败: {e.Message}); } } // 核心推理函数输入Texture2D返回检测结果 public DetectionResult[] RunInference(Texture2D inputTexture) { if (_session null) { Debug.LogError(推理会话未初始化); return null; } // 1. 预处理将Texture2D转换为模型需要的张量 Tensorfloat inputTensor PreprocessTexture(inputTexture); // 2. 准备输入数据容器 var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(_inputName, inputTensor) }; // 3. 执行推理 using (IDisposableReadOnlyCollectionDisposableNamedOnnxValue results _session.Run(inputs)) { // 4. 后处理从输出中解析出边界框、置信度和类别 var outputTensor results.First().AsTensorfloat(); DetectionResult[] detections PostprocessOutput(outputTensor); return detections; } } // 预处理调整大小、归一化、转换维度顺序 (HWC - CHW) private Tensorfloat PreprocessTexture(Texture2D texture) { // 调整纹理大小到模型输入尺寸 Texture2D resizedTex ResizeTexture(texture, inputWidth, inputHeight); Color32[] pixels resizedTex.GetPixels32(); // 创建张量 [1, 3, H, W] var tensor new DenseTensorfloat(new[] { 1, 3, inputHeight, inputWidth }); // 将像素数据填充到张量中并进行归一化 (例如除以255) for (int y 0; y inputHeight; y) { for (int x 0; x inputWidth; x) { int index y * inputWidth x; Color32 pixel pixels[index]; // 假设模型训练时输入是RGB顺序且归一化到[0,1] tensor[0, 0, y, x] pixel.r / 255.0f; // R通道 tensor[0, 1, y, x] pixel.g / 255.0f; // G通道 tensor[0, 2, y, x] pixel.b / 255.0f; // B通道 } } return tensor; } // 后处理解析YOLO输出这里需要根据你的模型输出结构来写 private DetectionResult[] PostprocessOutput(Tensorfloat output) { ListDetectionResult results new ListDetectionResult(); // 示例假设输出形状是[1, 8400, 85] (YOLOv8常见格式) // 85 cx, cy, w, h, obj_conf 80个类别的概率 // 你需要实现非极大值抑制(NMS)来过滤重叠框 // 这里省略具体的解析和NMS代码它是一个独立且稍复杂的算法 // 伪代码逻辑 // 1. 遍历所有预测框 // 2. 根据对象置信度进行初步过滤 // 3. 对每个类别应用NMS去除重叠框 // 4. 将框的坐标从模型输入尺寸(640x640)映射回原始图像尺寸 // 5. 封装成DetectionResult数组返回 return results.ToArray(); } // 辅助函数调整纹理大小 private Texture2D ResizeTexture(Texture2D source, int newWidth, int newHeight) { RenderTexture rt RenderTexture.GetTemporary(newWidth, newHeight); Graphics.Blit(source, rt); Texture2D result new Texture2D(newWidth, newHeight, source.format, false); RenderTexture.active rt; result.ReadPixels(new Rect(0, 0, newWidth, newHeight), 0, 0); result.Apply(); RenderTexture.ReleaseTemporary(rt); return result; } void OnDestroy() { _session?.Dispose(); // 记得释放资源 } } // 用于存储检测结果的数据结构 public class DetectionResult { public Rect boundingBox; // 边界框相对于图像尺寸 public string label; // 类别标签 public float confidence; // 置信度 }这个脚本搭建了基本的推理框架。最复杂的部分在于PostprocessOutput函数你需要根据YOLOv12模型的具体输出格式来编写解析逻辑。通常需要实现非极大值抑制算法来去除重复的检测框。5. 构建实时摄像头检测循环有了推理核心下一步就是驱动它连续工作处理摄像头画面。创建摄像头捕捉与渲染管线在Unity中我们可以使用WebCamTexture来获取摄像头数据然后每一帧将其送入推理模型。using UnityEngine; using UnityEngine.UI; // 如果需要显示画面 public class CameraDetector : MonoBehaviour { public RawImage cameraDisplay; // UI上的RawImage用于显示摄像头画面 public YOLOv12Inference inferenceEngine; // 拖入上一步创建的推理管理器 private WebCamTexture _webcamTexture; private Texture2D _processedTexture; void Start() { // 1. 初始化摄像头 StartCoroutine(InitializeCamera()); } System.Collections.IEnumerator InitializeCamera() { // 请求摄像头权限移动端重要 yield return Application.RequestUserAuthorization(UserAuthorization.WebCam); if (!Application.HasUserAuthorization(UserAuthorization.WebCam)) { Debug.LogError(未获得摄像头权限。); yield break; } // 获取设备并创建WebCamTexture WebCamDevice[] devices WebCamTexture.devices; if (devices.Length 0) { Debug.LogError(未找到摄像头设备。); yield break; } // 通常使用第一个后置摄像头可根据需要选择 _webcamTexture new WebCamTexture(devices[0].name, 640, 480, 30); cameraDisplay.texture _webcamTexture; _webcamTexture.Play(); // 创建用于推理的Texture2D _processedTexture new Texture2D(_webcamTexture.width, _webcamTexture.height, TextureFormat.RGB24, false); } void Update() { if (_webcamTexture ! null _webcamTexture.didUpdateThisFrame inferenceEngine ! null) { // 1. 将WebCamTexture转换为Texture2D // 注意这是一个耗性能操作在实际项目中需要考虑优化如使用AsyncGPUReadback Graphics.CopyTexture(_webcamTexture, _processedTexture); // 2. 执行推理 DetectionResult[] detections inferenceEngine.RunInference(_processedTexture); // 3. 处理并可视化结果 if (detections ! null detections.Length 0) { VisualizeDetections(detections); } } } // 可视化检测结果例如在屏幕上绘制边界框 private void VisualizeDetections(DetectionResult[] detections) { // 这里你可以用Unity的GL API、UI Image或者Shader在画面上绘制矩形框和标签 // 例如为每个检测结果实例化一个UI预制体包含边框和文本 // 或者使用CommandBuffer在相机上直接绘制 // 具体实现取决于你的项目需求和性能考量 foreach (var det in detections) { if (det.confidence 0.5f) // 设置一个置信度阈值 { Debug.Log($检测到: {det.label}, 置信度: {det.confidence:F2}, 位置: {det.boundingBox}); // 调用你的绘制逻辑 DrawBoundingBox(det.boundingBox, det.label, det.confidence); } } } private void DrawBoundingBox(Rect box, string label, float confidence) { // 实现你的绘制逻辑 // 例如将归一化的box坐标转换为屏幕坐标然后绘制 } void OnDisable() { if (_webcamTexture ! null _webcamTexture.isPlaying) { _webcamTexture.Stop(); } } }这段代码创建了一个基本的实时检测循环。在Update函数中每一帧我们都将最新的摄像头图像送入YOLOv12模型进行推理并处理返回的结果。VisualizeDetections函数负责将检测到的物体边界框和标签显示在屏幕上这是连接“识别”与“交互”的关键一步。6. 性能优化与实用技巧直接按上面的方法做在PC上跑个Demo可能没问题但真要放到手机或追求高帧率的应用里性能瓶颈马上就出来了。这里分享几个关键的优化思路。推理性能优化降低输入分辨率YOLO模型的速度和输入图像尺寸强相关。如果不是必须检测小物体完全可以将输入从640x640降到416x416甚至320x320速度会有显著提升。模型量化将模型从FP32单精度浮点量化到FP16半精度或INT88位整数能大幅减少模型体积和内存占用提升推理速度对精度影响通常很小。ONNX Runtime支持运行时量化。使用GPU在支持CUDA的PC或支持特定加速API如Android NNAPI iOS CoreML的移动设备上务必启用GPU推理。在创建SessionOptions时配置相应的执行提供程序。异步推理不要让主线程等待推理完成。可以将RunInference调用放到另一个线程或使用Unity的Job System和Burst Compiler来处理图像预处理避免卡顿。渲染与交互优化避免每帧Graphics.CopyTextureCopyTexture是同步的且消耗较大。可以考虑使用AsyncGPUReadback来异步获取纹理数据或者直接在渲染管线中通过RenderTexture传递数据。合并绘制调用如果需要绘制大量检测框比如多人姿态估计不要为每个框实例化一个UI元素。应该使用一个专门的绘制管理器通过GL或Graphics.DrawMesh来批量绘制。对象池管理对于频繁创建和销毁的视觉反馈元素如高亮框、标签文本使用对象池来复用减少GC垃圾回收压力。一个简单的异步推理框架示意// 在YOLOv12Inference类中增加异步方法 public async TaskDetectionResult[] RunInferenceAsync(Texture2D inputTexture) { // 在后台线程执行预处理和推理 return await Task.Run(() { Tensorfloat inputTensor PreprocessTexture(inputTexture); // ... 推理逻辑 return PostprocessOutput(outputTensor); }); } // 在CameraDetector的Update中 void Update() { if (_canProcessNextFrame) { _canProcessNextFrame false; ProcessFrameAsync(_processedTexture); } } async void ProcessFrameAsync(Texture2D frame) { var detections await inferenceEngine.RunInferenceAsync(frame); // 回到主线程更新UI或游戏对象 await UniTask.SwitchToMainThread(); // 使用UniTask等库 VisualizeDetections(detections); _canProcessNextFrame true; }7. 总结把YOLOv12集成到Unity里做实时目标检测听起来高大上但拆解开来就是几个明确的步骤准备模型、搭建推理环境、处理摄像头流、可视化结果。ONNX Runtime大大简化了跨平台部署的难度让开发者能更专注于游戏逻辑和交互设计本身。实际做下来感觉最难的不是代码怎么写而是性能调优和平台适配。在PC上跑得飞快一到手机上可能就卡成幻灯片。这时候模型量化、降低分辨率、异步处理这些优化手段就派上用场了。另外后处理逻辑特别是NMS的效率和精度也直接影响到最终体验。这套方案的开销为游戏和交互媒体打开了很多新玩法。你可以用它来做AR游戏的实物触发器让玩家用手边的水杯当作游戏里的魔法道具也可以做体感交互装置识别人的姿势来控制游戏角色。可能性很多关键看你的创意。如果你刚开始尝试建议先从PC端Demo做起把流程跑通再逐步考虑移动端优化和更复杂的交互逻辑。模型和代码都可以在GitHub上找到不错的开源项目参考站在巨人的肩膀上能省不少力气。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
