M2LOrder 模型推理加速教程利用 GPU 算力优化情感分析性能你是不是也遇到过这样的情况一个情感分析模型在本地跑得慢吞吞处理一批数据要等上好几分钟一到业务高峰期就卡顿。明明模型效果不错却因为性能瓶颈迟迟不敢上线到真实的生产环境。今天我们就来聊聊怎么给 M2LOrder 这类模型“提提速”。核心思路很简单把计算的重活累活从 CPU 扔给更擅长并行计算的 GPU。这就像把手工编织换成自动化纺织机效率的提升是数量级的。接下来我会手把手带你走通从环境配置到引擎优化的完整加速流程让你也能轻松驾驭 GPU 的澎湃算力。1. 学习目标与环境准备在开始之前我们先明确一下这趟“加速之旅”能带给你什么。学完这篇教程你将能够在星图平台上为你的模型任务申请并配置合适的 GPU 资源。掌握模型批处理Batch Inference的核心参数设置理解其对吞吐量和延迟的影响。动手使用 TensorRT 工具将你的 PyTorch 模型转换为高度优化的推理引擎获得显著的性能提升。听起来有点技术别担心我会用最直白的方式解释并配上每一步的代码。你只需要对 Python 和深度学习框架如 PyTorch有基本的了解即可。环境准备获取你的“算力引擎”一切加速的基础是硬件。我们选择在星图平台进行操作因为它提供了开箱即用的 GPU 环境省去了自己配置驱动、CUDA 的繁琐步骤。访问平台登录星图平台进入你的项目空间。创建 GPU 实例在创建计算资源的页面选择带有 GPU 的规格。对于 M2LOrder 这类模型一块中高端的 GPU例如 NVIDIA T4 或 V100通常就足够了。关键是要确保实例镜像已预装好 CUDA 和 cuDNN。连接与验证实例启动后通过 JupyterLab 或 SSH 连接到你的环境。打开一个终端运行以下命令来确认 GPU 可用nvidia-smi你应该能看到一个表格显示了 GPU 的型号、内存使用情况等信息。这就好比汽车仪表盘告诉你引擎已经就绪。接下来我们需要安装必要的 Python 包。在你的工作环境中执行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 请根据你的CUDA版本调整 pip install transformers # 用于加载M2LOrder或类似的情感分析模型 pip install nvidia-pyindex # NVIDIA的Python包索引 pip install polygraphy onnx onnxruntime-gpu tensorrt # 优化工具链安装完成后我们的“赛车”和“维修工具”就全部到位了。2. 理解加速的核心批处理Batch Inference在单条数据上跑模型就像用大卡车一次只运一个快递效率极低。GPU 的强大在于它能同时处理海量数据。批处理就是把多个“快递”打包成一个“集装箱”让 GPU 一次性运送。我们来直观感受一下。首先我们模拟一个简单的 M2LOrder 模型推理流程这里用类似的文本分类模型做演示import torch from transformers import AutoModelForSequenceClassification, AutoTokenizer import time # 1. 加载模型和分词器 (假设模型为情感分析模型) model_name bert-base-uncased # 此处仅为示例请替换为你的M2LOrder模型路径 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name).cuda() # 将模型放到GPU上 model.eval() # 切换到评估模式 # 2. 准备一批测试句子 sentences [ This product is absolutely fantastic, I love it!, The service was terrible and the wait time was too long., Its okay, nothing special but gets the job done., Im extremely disappointed with the quality, it broke after two days., Highly recommended, great value for the price. ] * 20 # 复制20次得到100条数据方便对比 print(fTotal sentences to process: {len(sentences)}) # 3. 方法一逐条推理慢 def single_inference(sentences): results [] for sent in sentences: inputs tokenizer(sent, return_tensorspt, paddingTrue, truncationTrue).to(cuda) with torch.no_grad(): outputs model(**inputs) prediction torch.argmax(outputs.logits, dim-1) results.append(prediction.cpu().item()) return results # 4. 方法二批处理推理快 def batch_inference(sentences, batch_size16): results [] for i in range(0, len(sentences), batch_size): batch sentences[i:ibatch_size] inputs tokenizer(batch, return_tensorspt, paddingTrue, truncationTrue).to(cuda) with torch.no_grad(): outputs model(**inputs) predictions torch.argmax(outputs.logits, dim-1) results.extend(predictions.cpu().tolist()) return results # 5. 性能对比 print(\n--- 性能对比 ---) start time.time() single_results single_inference(sentences) single_time time.time() - start print(f逐条推理耗时: {single_time:.2f} 秒) start time.time() batch_results batch_inference(sentences, batch_size16) batch_time time.time() - start print(f批处理推理 (batch_size16) 耗时: {batch_time:.2f} 秒) print(f速度提升: {single_time / batch_time:.1f} 倍) # 验证结果一致性 print(f结果是否一致: {single_results batch_results})跑一下这段代码你会看到一个明显的耗时差距。批处理的核心参数是batch_size它决定了每个“集装箱”的大小。batch_size太小GPU 算力利用不足频繁的数据传输CPU到GPU成为瓶颈。batch_size太大可能超出 GPU 内存OOM导致程序崩溃同时延迟处理单个请求的等待时间会变长因为要等凑够一个批次。如何找到最佳batch_size没有一个万能值。你需要在自己的 GPU 和模型上做一次简单的“压力测试”def find_optimal_batch_size(sentences, model, tokenizer, max_batch64): import psutil import os pid os.getpid() py psutil.Process(pid) for bs in [1, 2, 4, 8, 16, 32, 64]: if bs max_batch: break try: # 清空GPU缓存 torch.cuda.empty_cache() # 模拟一个批次 batch sentences[:bs] inputs tokenizer(batch, return_tensorspt, paddingTrue, truncationTrue).to(cuda) with torch.no_grad(): _ model(**inputs) # 记录内存使用 memory_used torch.cuda.max_memory_allocated() / 1024**2 # 转换为MB system_memory py.memory_info().rss / 1024**2 print(fBatch Size {bs:2d}: GPU内存占用约 {memory_used:.0f} MB, 系统内存占用约 {system_memory:.0f} MB - [通过]) except RuntimeError as e: if CUDA out of memory in str(e): print(fBatch Size {bs:2d}: GPU内存不足 (OOM) - [失败]) break else: raise e运行这个函数它会从小到大尝试不同的批次大小并告诉你每个批次消耗多少 GPU 内存。选择那个在“不爆内存”前提下最大的batch_size通常就是吞吐量最优的点。对于实时性要求高的服务你可能需要适当调小batch_size以换取更低的延迟。3. 进阶加速使用 TensorRT 优化推理引擎批处理利用了 GPU 的并行能力而TensorRT则是 NVIDIA 推出的高性能深度学习推理优化器和运行时。它能把你的模型“编译”成一个为特定 GPU 高度定制的引擎通过层融合、精度校准如 FP16/INT8、内核自动调优等技术进一步榨干 GPU 的性能。简单理解如果说 PyTorch 模型是通用设计图TensorRT 就是为你的特定型号 GPU 量身定做的、用更优材料和工艺打造的专属引擎。3.1 将模型转换为 ONNX 格式TensorRT 通常不直接处理 PyTorch 模型我们需要一个中间格式——ONNX。import torch.onnx # 假设我们有一个简单的模型推理函数 def build_model_input(tokenizer, sample_text): return tokenizer(sample_text, return_tensorspt) # 准备示例输入动态轴非常重要 sample_text This is a sample for ONNX export. dummy_input build_model_input(tokenizer, sample_text) # 将输入转换为ONNX需要的格式并指定动态维度batch_size, sequence_length dynamic_axes { input_ids: {0: batch_size, 1: sequence_length}, attention_mask: {0: batch_size, 1: sequence_length} } # 导出ONNX模型 onnx_model_path m2lorder_model.onnx torch.onnx.export( model, (dummy_input[input_ids], dummy_input[attention_mask]), onnx_model_path, input_names[input_ids, attention_mask], output_names[logits], dynamic_axesdynamic_axes, opset_version13, # 使用较新的opset版本 do_constant_foldingTrue ) print(f模型已导出至: {onnx_model_path})关键点dynamic_axes参数定义了哪些维度是动态的如批次大小batch_size和序列长度sequence_length。这保证了转换后的引擎能处理不同大小的输入非常灵活。3.2 使用 TensorRT 构建优化引擎有了 ONNX 文件我们就可以请出 TensorRT 了。这里我们使用 NVIDIA 提供的trtexec命令行工具它非常强大且方便。# 在终端中执行以下命令 # 基本命令将ONNX模型转换为TensorRT引擎并指定优化参数 trtexec --onnxm2lorder_model.onnx \ --saveEnginem2lorder_model.trt \ --workspace2048 \ # 指定工作空间大小(MB)用于层融合等优化 --fp16 \ # 启用FP16精度大幅提升速度精度损失通常可接受 --verbose # 输出详细信息 # 更详细的性能分析命令 trtexec --onnxm2lorder_model.onnx \ --saveEnginem2lorder_model_fp16.trt \ --fp16 \ --shapesinput_ids:4x128,attention_mask:4x128 \ # 指定优化时的输入形状批次4序列128 --optShapesinput_ids:16x128,attention_mask:16x128 \ # 最优形状批次16序列128 --maxShapesinput_ids:32x256,attention_mask:32x256 \ # 最大形状批次32序列256 --workspace4096参数解释--fp16: 启用半精度浮点数。这是性能提升的关键通常能带来1.5-2倍的速度提升而精度损失对大多数 NLP 任务微乎其微。--shapes/--optShapes/--maxShapes: 这三个参数共同定义了动态形状的范围。TensorRT 会针对这个范围内的形状进行优化。你需要根据你的实际业务数据分布来设置。--workspace: GPU 内存工作区。更大的空间允许 TensorRT 尝试更多的层融合优化策略但会占用更多内存。转换成功后你会得到一个.trt引擎文件。这个文件就是为你当前 GPU 和指定输入形状范围优化过的“终极版本”。3.3 加载 TensorRT 引擎进行推理现在我们来使用这个优化后的引擎。这里使用pycuda和tensorrt的 Python API 来加载和运行。import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit import numpy as np class TRTInference: def __init__(self, engine_path): self.logger trt.Logger(trt.Logger.WARNING) with open(engine_path, rb) as f, trt.Runtime(self.logger) as runtime: self.engine runtime.deserialize_cuda_engine(f.read()) self.context self.engine.create_execution_context() # 分配输入输出缓冲区 self.bindings [] self.inputs [] self.outputs [] for binding in self.engine: size trt.volume(self.engine.get_binding_shape(binding)) dtype trt.nptype(self.engine.get_binding_dtype(binding)) # 分配主机CPU和设备GPU内存 host_mem cuda.pagelocked_empty(size, dtype) device_mem cuda.mem_alloc(host_mem.nbytes) self.bindings.append(int(device_mem)) if self.engine.binding_is_input(binding): self.inputs.append({host: host_mem, device: device_mem}) else: self.outputs.append({host: host_mem, device: device_mem}) self.stream cuda.Stream() def infer(self, input_ids_np, attention_mask_np): # 将numpy数据复制到输入缓冲区 np.copyto(self.inputs[0][host], input_ids_np.ravel()) np.copyto(self.inputs[1][host], attention_mask_np.ravel()) # 将数据从主机内存传输到设备内存 for inp in self.inputs: cuda.memcpy_htod_async(inp[device], inp[host], self.stream) # 设置动态输入形状非常重要 self.context.set_binding_shape(0, input_ids_np.shape) self.context.set_binding_shape(1, attention_mask_np.shape) # 执行推理 self.context.execute_async_v2(bindingsself.bindings, stream_handleself.stream.handle) # 将结果从设备内存传输回主机内存 for out in self.outputs: cuda.memcpy_dtoh_async(out[host], out[device], self.stream) self.stream.synchronize() # 等待流中所有操作完成 # 返回输出数据 return self.outputs[0][host].reshape(-1, 2) # 假设是二分类输出形状为[batch_size, 2] # 使用优化后的引擎进行推理 print(\n--- TensorRT 引擎推理测试 ---) trt_engine TRTInference(m2lorder_model_fp16.trt) # 准备批处理数据 batch_texts sentences[:8] # 取8条作为测试 inputs tokenizer(batch_texts, return_tensorspt, paddingTrue, truncationTrue) input_ids_np inputs[input_ids].int().numpy() attention_mask_np inputs[attention_mask].int().numpy() # 推理 start time.time() trt_logits trt_engine.infer(input_ids_np, attention_mask_np) trt_predictions np.argmax(trt_logits, axis-1) trt_time time.time() - start print(fTensorRT 引擎推理 (batch_size8) 耗时: {trt_time:.4f} 秒) # 与原始PyTorch模型对比 with torch.no_grad(): inputs_gpu {k: v.cuda() for k, v in inputs.items()} start time.time() torch_outputs model(**inputs_gpu) torch_time time.time() - start torch_predictions torch.argmax(torch_outputs.logits, dim-1).cpu().numpy() print(f原始 PyTorch 推理 (batch_size8) 耗时: {torch_time:.4f} 秒) print(fTensorRT 速度提升: {torch_time / trt_time:.1f} 倍) print(f预测结果一致性: {np.array_equal(trt_predictions, torch_predictions)})运行这段代码你应该能看到 TensorRT 引擎相比原始 PyTorch 模型又有了一次明显的速度飞跃。这就是“专用引擎”的魅力。4. 总结与建议走完这一整套流程从配置 GPU 环境到应用批处理技巧再到使用 TensorRT 进行深度优化你会发现模型推理的速度已经不可同日而语。批处理让你学会了如何高效地“喂”数据给 GPU而 TensorRT 则像是给 GPU 装上了为你的模型定制的“涡轮增压器”。实际应用中你可以根据业务需求灵活搭配这些技术。如果对延迟极其敏感可能以较小的批次运行 TensorRT 引擎是最佳选择如果追求极限吞吐量比如处理海量历史数据那么调大batch_size并启用 FP16 甚至 INT8 量化能将 GPU 的潜力发挥到极致。最后要提醒的是优化是一个迭代和权衡的过程。每次调整如改变batch_size、启用 FP16后最好都用一份验证集检查一下模型的准确率确保性能提升没有以牺牲过多精度为代价。现在带着这些方法去让你的 M2LOrder 模型飞起来吧。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
M2LOrder 模型推理加速教程：利用 GPU 算力优化情感分析性能
M2LOrder 模型推理加速教程利用 GPU 算力优化情感分析性能你是不是也遇到过这样的情况一个情感分析模型在本地跑得慢吞吞处理一批数据要等上好几分钟一到业务高峰期就卡顿。明明模型效果不错却因为性能瓶颈迟迟不敢上线到真实的生产环境。今天我们就来聊聊怎么给 M2LOrder 这类模型“提提速”。核心思路很简单把计算的重活累活从 CPU 扔给更擅长并行计算的 GPU。这就像把手工编织换成自动化纺织机效率的提升是数量级的。接下来我会手把手带你走通从环境配置到引擎优化的完整加速流程让你也能轻松驾驭 GPU 的澎湃算力。1. 学习目标与环境准备在开始之前我们先明确一下这趟“加速之旅”能带给你什么。学完这篇教程你将能够在星图平台上为你的模型任务申请并配置合适的 GPU 资源。掌握模型批处理Batch Inference的核心参数设置理解其对吞吐量和延迟的影响。动手使用 TensorRT 工具将你的 PyTorch 模型转换为高度优化的推理引擎获得显著的性能提升。听起来有点技术别担心我会用最直白的方式解释并配上每一步的代码。你只需要对 Python 和深度学习框架如 PyTorch有基本的了解即可。环境准备获取你的“算力引擎”一切加速的基础是硬件。我们选择在星图平台进行操作因为它提供了开箱即用的 GPU 环境省去了自己配置驱动、CUDA 的繁琐步骤。访问平台登录星图平台进入你的项目空间。创建 GPU 实例在创建计算资源的页面选择带有 GPU 的规格。对于 M2LOrder 这类模型一块中高端的 GPU例如 NVIDIA T4 或 V100通常就足够了。关键是要确保实例镜像已预装好 CUDA 和 cuDNN。连接与验证实例启动后通过 JupyterLab 或 SSH 连接到你的环境。打开一个终端运行以下命令来确认 GPU 可用nvidia-smi你应该能看到一个表格显示了 GPU 的型号、内存使用情况等信息。这就好比汽车仪表盘告诉你引擎已经就绪。接下来我们需要安装必要的 Python 包。在你的工作环境中执行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 请根据你的CUDA版本调整 pip install transformers # 用于加载M2LOrder或类似的情感分析模型 pip install nvidia-pyindex # NVIDIA的Python包索引 pip install polygraphy onnx onnxruntime-gpu tensorrt # 优化工具链安装完成后我们的“赛车”和“维修工具”就全部到位了。2. 理解加速的核心批处理Batch Inference在单条数据上跑模型就像用大卡车一次只运一个快递效率极低。GPU 的强大在于它能同时处理海量数据。批处理就是把多个“快递”打包成一个“集装箱”让 GPU 一次性运送。我们来直观感受一下。首先我们模拟一个简单的 M2LOrder 模型推理流程这里用类似的文本分类模型做演示import torch from transformers import AutoModelForSequenceClassification, AutoTokenizer import time # 1. 加载模型和分词器 (假设模型为情感分析模型) model_name bert-base-uncased # 此处仅为示例请替换为你的M2LOrder模型路径 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name).cuda() # 将模型放到GPU上 model.eval() # 切换到评估模式 # 2. 准备一批测试句子 sentences [ This product is absolutely fantastic, I love it!, The service was terrible and the wait time was too long., Its okay, nothing special but gets the job done., Im extremely disappointed with the quality, it broke after two days., Highly recommended, great value for the price. ] * 20 # 复制20次得到100条数据方便对比 print(fTotal sentences to process: {len(sentences)}) # 3. 方法一逐条推理慢 def single_inference(sentences): results [] for sent in sentences: inputs tokenizer(sent, return_tensorspt, paddingTrue, truncationTrue).to(cuda) with torch.no_grad(): outputs model(**inputs) prediction torch.argmax(outputs.logits, dim-1) results.append(prediction.cpu().item()) return results # 4. 方法二批处理推理快 def batch_inference(sentences, batch_size16): results [] for i in range(0, len(sentences), batch_size): batch sentences[i:ibatch_size] inputs tokenizer(batch, return_tensorspt, paddingTrue, truncationTrue).to(cuda) with torch.no_grad(): outputs model(**inputs) predictions torch.argmax(outputs.logits, dim-1) results.extend(predictions.cpu().tolist()) return results # 5. 性能对比 print(\n--- 性能对比 ---) start time.time() single_results single_inference(sentences) single_time time.time() - start print(f逐条推理耗时: {single_time:.2f} 秒) start time.time() batch_results batch_inference(sentences, batch_size16) batch_time time.time() - start print(f批处理推理 (batch_size16) 耗时: {batch_time:.2f} 秒) print(f速度提升: {single_time / batch_time:.1f} 倍) # 验证结果一致性 print(f结果是否一致: {single_results batch_results})跑一下这段代码你会看到一个明显的耗时差距。批处理的核心参数是batch_size它决定了每个“集装箱”的大小。batch_size太小GPU 算力利用不足频繁的数据传输CPU到GPU成为瓶颈。batch_size太大可能超出 GPU 内存OOM导致程序崩溃同时延迟处理单个请求的等待时间会变长因为要等凑够一个批次。如何找到最佳batch_size没有一个万能值。你需要在自己的 GPU 和模型上做一次简单的“压力测试”def find_optimal_batch_size(sentences, model, tokenizer, max_batch64): import psutil import os pid os.getpid() py psutil.Process(pid) for bs in [1, 2, 4, 8, 16, 32, 64]: if bs max_batch: break try: # 清空GPU缓存 torch.cuda.empty_cache() # 模拟一个批次 batch sentences[:bs] inputs tokenizer(batch, return_tensorspt, paddingTrue, truncationTrue).to(cuda) with torch.no_grad(): _ model(**inputs) # 记录内存使用 memory_used torch.cuda.max_memory_allocated() / 1024**2 # 转换为MB system_memory py.memory_info().rss / 1024**2 print(fBatch Size {bs:2d}: GPU内存占用约 {memory_used:.0f} MB, 系统内存占用约 {system_memory:.0f} MB - [通过]) except RuntimeError as e: if CUDA out of memory in str(e): print(fBatch Size {bs:2d}: GPU内存不足 (OOM) - [失败]) break else: raise e运行这个函数它会从小到大尝试不同的批次大小并告诉你每个批次消耗多少 GPU 内存。选择那个在“不爆内存”前提下最大的batch_size通常就是吞吐量最优的点。对于实时性要求高的服务你可能需要适当调小batch_size以换取更低的延迟。3. 进阶加速使用 TensorRT 优化推理引擎批处理利用了 GPU 的并行能力而TensorRT则是 NVIDIA 推出的高性能深度学习推理优化器和运行时。它能把你的模型“编译”成一个为特定 GPU 高度定制的引擎通过层融合、精度校准如 FP16/INT8、内核自动调优等技术进一步榨干 GPU 的性能。简单理解如果说 PyTorch 模型是通用设计图TensorRT 就是为你的特定型号 GPU 量身定做的、用更优材料和工艺打造的专属引擎。3.1 将模型转换为 ONNX 格式TensorRT 通常不直接处理 PyTorch 模型我们需要一个中间格式——ONNX。import torch.onnx # 假设我们有一个简单的模型推理函数 def build_model_input(tokenizer, sample_text): return tokenizer(sample_text, return_tensorspt) # 准备示例输入动态轴非常重要 sample_text This is a sample for ONNX export. dummy_input build_model_input(tokenizer, sample_text) # 将输入转换为ONNX需要的格式并指定动态维度batch_size, sequence_length dynamic_axes { input_ids: {0: batch_size, 1: sequence_length}, attention_mask: {0: batch_size, 1: sequence_length} } # 导出ONNX模型 onnx_model_path m2lorder_model.onnx torch.onnx.export( model, (dummy_input[input_ids], dummy_input[attention_mask]), onnx_model_path, input_names[input_ids, attention_mask], output_names[logits], dynamic_axesdynamic_axes, opset_version13, # 使用较新的opset版本 do_constant_foldingTrue ) print(f模型已导出至: {onnx_model_path})关键点dynamic_axes参数定义了哪些维度是动态的如批次大小batch_size和序列长度sequence_length。这保证了转换后的引擎能处理不同大小的输入非常灵活。3.2 使用 TensorRT 构建优化引擎有了 ONNX 文件我们就可以请出 TensorRT 了。这里我们使用 NVIDIA 提供的trtexec命令行工具它非常强大且方便。# 在终端中执行以下命令 # 基本命令将ONNX模型转换为TensorRT引擎并指定优化参数 trtexec --onnxm2lorder_model.onnx \ --saveEnginem2lorder_model.trt \ --workspace2048 \ # 指定工作空间大小(MB)用于层融合等优化 --fp16 \ # 启用FP16精度大幅提升速度精度损失通常可接受 --verbose # 输出详细信息 # 更详细的性能分析命令 trtexec --onnxm2lorder_model.onnx \ --saveEnginem2lorder_model_fp16.trt \ --fp16 \ --shapesinput_ids:4x128,attention_mask:4x128 \ # 指定优化时的输入形状批次4序列128 --optShapesinput_ids:16x128,attention_mask:16x128 \ # 最优形状批次16序列128 --maxShapesinput_ids:32x256,attention_mask:32x256 \ # 最大形状批次32序列256 --workspace4096参数解释--fp16: 启用半精度浮点数。这是性能提升的关键通常能带来1.5-2倍的速度提升而精度损失对大多数 NLP 任务微乎其微。--shapes/--optShapes/--maxShapes: 这三个参数共同定义了动态形状的范围。TensorRT 会针对这个范围内的形状进行优化。你需要根据你的实际业务数据分布来设置。--workspace: GPU 内存工作区。更大的空间允许 TensorRT 尝试更多的层融合优化策略但会占用更多内存。转换成功后你会得到一个.trt引擎文件。这个文件就是为你当前 GPU 和指定输入形状范围优化过的“终极版本”。3.3 加载 TensorRT 引擎进行推理现在我们来使用这个优化后的引擎。这里使用pycuda和tensorrt的 Python API 来加载和运行。import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit import numpy as np class TRTInference: def __init__(self, engine_path): self.logger trt.Logger(trt.Logger.WARNING) with open(engine_path, rb) as f, trt.Runtime(self.logger) as runtime: self.engine runtime.deserialize_cuda_engine(f.read()) self.context self.engine.create_execution_context() # 分配输入输出缓冲区 self.bindings [] self.inputs [] self.outputs [] for binding in self.engine: size trt.volume(self.engine.get_binding_shape(binding)) dtype trt.nptype(self.engine.get_binding_dtype(binding)) # 分配主机CPU和设备GPU内存 host_mem cuda.pagelocked_empty(size, dtype) device_mem cuda.mem_alloc(host_mem.nbytes) self.bindings.append(int(device_mem)) if self.engine.binding_is_input(binding): self.inputs.append({host: host_mem, device: device_mem}) else: self.outputs.append({host: host_mem, device: device_mem}) self.stream cuda.Stream() def infer(self, input_ids_np, attention_mask_np): # 将numpy数据复制到输入缓冲区 np.copyto(self.inputs[0][host], input_ids_np.ravel()) np.copyto(self.inputs[1][host], attention_mask_np.ravel()) # 将数据从主机内存传输到设备内存 for inp in self.inputs: cuda.memcpy_htod_async(inp[device], inp[host], self.stream) # 设置动态输入形状非常重要 self.context.set_binding_shape(0, input_ids_np.shape) self.context.set_binding_shape(1, attention_mask_np.shape) # 执行推理 self.context.execute_async_v2(bindingsself.bindings, stream_handleself.stream.handle) # 将结果从设备内存传输回主机内存 for out in self.outputs: cuda.memcpy_dtoh_async(out[host], out[device], self.stream) self.stream.synchronize() # 等待流中所有操作完成 # 返回输出数据 return self.outputs[0][host].reshape(-1, 2) # 假设是二分类输出形状为[batch_size, 2] # 使用优化后的引擎进行推理 print(\n--- TensorRT 引擎推理测试 ---) trt_engine TRTInference(m2lorder_model_fp16.trt) # 准备批处理数据 batch_texts sentences[:8] # 取8条作为测试 inputs tokenizer(batch_texts, return_tensorspt, paddingTrue, truncationTrue) input_ids_np inputs[input_ids].int().numpy() attention_mask_np inputs[attention_mask].int().numpy() # 推理 start time.time() trt_logits trt_engine.infer(input_ids_np, attention_mask_np) trt_predictions np.argmax(trt_logits, axis-1) trt_time time.time() - start print(fTensorRT 引擎推理 (batch_size8) 耗时: {trt_time:.4f} 秒) # 与原始PyTorch模型对比 with torch.no_grad(): inputs_gpu {k: v.cuda() for k, v in inputs.items()} start time.time() torch_outputs model(**inputs_gpu) torch_time time.time() - start torch_predictions torch.argmax(torch_outputs.logits, dim-1).cpu().numpy() print(f原始 PyTorch 推理 (batch_size8) 耗时: {torch_time:.4f} 秒) print(fTensorRT 速度提升: {torch_time / trt_time:.1f} 倍) print(f预测结果一致性: {np.array_equal(trt_predictions, torch_predictions)})运行这段代码你应该能看到 TensorRT 引擎相比原始 PyTorch 模型又有了一次明显的速度飞跃。这就是“专用引擎”的魅力。4. 总结与建议走完这一整套流程从配置 GPU 环境到应用批处理技巧再到使用 TensorRT 进行深度优化你会发现模型推理的速度已经不可同日而语。批处理让你学会了如何高效地“喂”数据给 GPU而 TensorRT 则像是给 GPU 装上了为你的模型定制的“涡轮增压器”。实际应用中你可以根据业务需求灵活搭配这些技术。如果对延迟极其敏感可能以较小的批次运行 TensorRT 引擎是最佳选择如果追求极限吞吐量比如处理海量历史数据那么调大batch_size并启用 FP16 甚至 INT8 量化能将 GPU 的潜力发挥到极致。最后要提醒的是优化是一个迭代和权衡的过程。每次调整如改变batch_size、启用 FP16后最好都用一份验证集检查一下模型的准确率确保性能提升没有以牺牲过多精度为代价。现在带着这些方法去让你的 M2LOrder 模型飞起来吧。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
