昇腾910B NPU环境配置全指南从驱动安装到容器化部署实战刚拿到一台搭载昇腾910B处理器的服务器时那种既兴奋又忐忑的心情我至今记忆犹新。作为国产AI加速卡中的佼佼者昇腾910B在LLM推理和计算机视觉任务中展现出的性能令人惊艳但配置环境的复杂性也曾让我在第一个项目上多花了整整两天时间排查问题。本文将分享我在openEuler 22.03 LTS系统上配置昇腾环境的完整经验包含那些官方文档没写清楚的细节和避坑指南。1. 环境准备与系统验证在开始安装前我们需要确认服务器的基础环境是否符合要求。不同于x86架构的服务器基于ARM架构的昇腾设备对系统版本和内核有着更严格的要求。登录服务器后首先运行以下命令检查系统架构和版本uname -m cat /etc/os-release理想输出应该显示aarch64架构和openEuler 22.03 LTS版本信息。如果系统版本不符后续安装很可能会失败。我曾遇到过客户自行安装openEuler 23.09导致驱动不兼容的情况最后不得不重装系统。关键检查点确保内核版本为4.19.90-23或更高确认已安装dkms包yum install -y dkms检查/usr/src/kernels目录下是否存在当前内核对应的头文件CPU信息验证同样重要特别是当服务器采用异构计算架构时lscpu | grep -E Architecture|Model name典型的海思Kunpeng-920处理器输出应包含aarch64架构和Kunpeng-920型号标识。这个步骤可以排除硬件混用的可能——我就曾发现过供应商误配了x86的机型。2. 驱动与固件安装详解昇腾910B需要三个核心软件组件协同工作驱动、固件和MCU。这三个组件的版本必须严格匹配任何版本错配都会导致NPU无法正常工作。2.1 驱动安装从昇腾社区获取的驱动包通常命名为Ascend-hdk-910b-npu-driver_version_linux-aarch64.run。下载后不要急于安装先进行完整性校验chmod x Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-aarch64.run ./Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-aarch64.run --check常见问题校验失败通常是因为下载不完整建议使用wget --continue断点续传在防火墙严格的环境中可能需要手动添加SHA256校验安装时的参数选择至关重要。对于生产环境我推荐使用以下命令./Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-aarch64.run \ --full \ --install-usernameHwHiAiUser \ --install-usergroupHwHiAiUser \ --install-for-all参数解析--full完整安装模式包含所有组件--install-for-all为所有用户安装设备节点用户名/组设置为HwHiAiUser可避免后续权限问题安装完成后验证驱动加载状态npu-smi info这个命令会显示NPU的详细信息表格包括NPU IDNameTempPowerMemory-UsageStatus0910B56°C75W12GB/32GBOK如果看到Status列为OK说明驱动加载成功。我第一次看到这个表格时那个OK状态让我悬着的心终于放下了。2.2 固件升级固件包通常以Ascend-hdk-910b-npu-firmware_version.run格式命名。安装前务必确认固件版本与驱动兼容./Ascend-hdk-910b-npu-firmware_7.7.0.1.231.run --check安装命令相对简单./Ascend-hdk-910b-npu-firmware_7.7.0.1.231.run --full特别注意固件升级过程中绝对不要断电升级后建议重启服务器使更改生效多卡设备上固件会并行升级所有芯片升级完成后再次使用npu-smi info确认固件版本号是否更新。记得有一次固件升级后性能提升了15%所以不要忽视这个步骤。3. MCU管理与批量升级技巧MCUMicrocontroller Unit是昇腾芯片的管理单元负责电源管理和任务调度。MCU版本不匹配会导致性能下降或功能异常。3.1 单卡升级解压MCU包后查看当前版本npu-smi upgrade -b mcu -i 0升级指定NPU卡npu-smi upgrade -t mcu -i 0 -f Ascend-hdk-910b-mcu_25.50.10.hpm激活新版本npu-smi upgrade -a mcu -i 03.2 批量升级方案对于8卡服务器手动操作每个卡效率太低。我编写了这个批量升级脚本upgrade_all_mcu.sh#!/bin/bash # 参数检查 [ $# -ne 1 ] echo Usage: $0 mcu_file.hpm exit 1 # 获取NPU数量 NPU_COUNT$(npu-smi info -m | grep -c 910B) # 并行升级所有卡 for ((i0; i$NPU_COUNT; i)); do echo 升级NPU $i npu-smi upgrade -t mcu -i $i -f $1 done # 等待所有后台任务完成 wait # 激活所有卡 for ((i0; i$NPU_COUNT; i)); do echo 激活NPU $i npu-smi upgrade -a mcu -i $i done使用方式chmod x upgrade_all_mcu.sh ./upgrade_all_mcu.sh Ascend-hdk-910b-mcu_25.50.10.hpm排错提示如果升级失败尝试先执行npu-smi reset -i npu_id升级过程中npu-smi命令可能暂时无响应这是正常现象日志文件位于/var/log/ascend_seclog/目录下4. 容器化部署实战昇腾环境配置完成后推荐使用容器化方式部署AI应用。这不仅能隔离环境还能简化依赖管理。4.1 Docker环境配置openEuler上的Docker安装略有不同tar -zxvf docker-28.3.3.tgz sudo cp docker/* /usr/bin/创建systemd服务文件/etc/systemd/system/docker.service特别注意昇腾设备映射[Service] ExecStart/usr/bin/dockerd \ --default-ulimit nofile65535:65535 \ --device /dev/davinci_manager \ --device /dev/hisi_hdc \ --device /dev/devmm_svm启动服务后验证NPU设备在容器中可见docker run --rm -it \ --device /dev/davinci0 \ ubuntu lspci | grep d8024.2 vLLM-Ascend容器部署昇腾社区提供了优化过的vLLM镜像部署命令示例docker run -d \ --name vllm \ --network host \ --shm-size2g \ --device /dev/davinci0 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /models:/models \ quay.io/ascend/vllm-ascend:v0.10.0rc1 \ serve /models/Qwen-7B \ --tensor-parallel-size 1 \ --port 8000性能调优参数--tensor-parallel-size根据NPU数量设置单卡为1PYTORCH_NPU_ALLOC_CONFmax_split_size_mb:128减少内存碎片--max-model-len根据模型大小调整4.3 多模型服务编排对于生产环境使用docker-compose管理多个模型服务更高效。示例docker-compose.ymlservices: qwen-7b: image: quay.io/ascend/vllm-ascend:v0.10.0rc1 devices: - /dev/davinci0 volumes: - /models/Qwen-7B:/models/Qwen-7B command: - serve - /models/Qwen-7B - --port8000 deepseek-7b: image: quay.io/ascend/vllm-ascend:v0.10.0rc1 devices: - /dev/davinci1 volumes: - /models/DeepSeek-7B:/models/DeepSeek-7B command: - serve - /models/DeepSeek-7B - --port8001启动服务docker-compose up -d这种部署方式我在三个客户项目中都采用过模型更新时只需要替换对应目录的文件然后重启相应容器即可大大简化了运维流程。5. 性能优化与监控配置完成后还需要对NPU进行性能调优。通过npu-smi工具可以监控和调整参数# 设置性能模式 npu-smi set -t performance -i 0 # 监控实时状态 watch -n 1 npu-smi info关键指标解读Memory-Usage超过80%可能需要优化模型或减少batch sizePower持续高功率可能触发降频Temperature超过85°C应考虑改善散热对于LLM推理我总结出这些优化经验使用--enable-fast-math加速计算合理设置--max-batch-size避免内存溢出对Qwen等模型使用--use-quant量化选项记得在第一次部署70B大模型时因为没设置好这些参数推理速度比预期慢了3倍。调整后不仅速度上来了显存占用还减少了20%。
手把手教你：在openEuler 22.03 LTS上为昇腾910B安装驱动、固件和MCU（含完整脚本）
昇腾910B NPU环境配置全指南从驱动安装到容器化部署实战刚拿到一台搭载昇腾910B处理器的服务器时那种既兴奋又忐忑的心情我至今记忆犹新。作为国产AI加速卡中的佼佼者昇腾910B在LLM推理和计算机视觉任务中展现出的性能令人惊艳但配置环境的复杂性也曾让我在第一个项目上多花了整整两天时间排查问题。本文将分享我在openEuler 22.03 LTS系统上配置昇腾环境的完整经验包含那些官方文档没写清楚的细节和避坑指南。1. 环境准备与系统验证在开始安装前我们需要确认服务器的基础环境是否符合要求。不同于x86架构的服务器基于ARM架构的昇腾设备对系统版本和内核有着更严格的要求。登录服务器后首先运行以下命令检查系统架构和版本uname -m cat /etc/os-release理想输出应该显示aarch64架构和openEuler 22.03 LTS版本信息。如果系统版本不符后续安装很可能会失败。我曾遇到过客户自行安装openEuler 23.09导致驱动不兼容的情况最后不得不重装系统。关键检查点确保内核版本为4.19.90-23或更高确认已安装dkms包yum install -y dkms检查/usr/src/kernels目录下是否存在当前内核对应的头文件CPU信息验证同样重要特别是当服务器采用异构计算架构时lscpu | grep -E Architecture|Model name典型的海思Kunpeng-920处理器输出应包含aarch64架构和Kunpeng-920型号标识。这个步骤可以排除硬件混用的可能——我就曾发现过供应商误配了x86的机型。2. 驱动与固件安装详解昇腾910B需要三个核心软件组件协同工作驱动、固件和MCU。这三个组件的版本必须严格匹配任何版本错配都会导致NPU无法正常工作。2.1 驱动安装从昇腾社区获取的驱动包通常命名为Ascend-hdk-910b-npu-driver_version_linux-aarch64.run。下载后不要急于安装先进行完整性校验chmod x Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-aarch64.run ./Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-aarch64.run --check常见问题校验失败通常是因为下载不完整建议使用wget --continue断点续传在防火墙严格的环境中可能需要手动添加SHA256校验安装时的参数选择至关重要。对于生产环境我推荐使用以下命令./Ascend-hdk-910b-npu-driver_25.0.rc1.1_linux-aarch64.run \ --full \ --install-usernameHwHiAiUser \ --install-usergroupHwHiAiUser \ --install-for-all参数解析--full完整安装模式包含所有组件--install-for-all为所有用户安装设备节点用户名/组设置为HwHiAiUser可避免后续权限问题安装完成后验证驱动加载状态npu-smi info这个命令会显示NPU的详细信息表格包括NPU IDNameTempPowerMemory-UsageStatus0910B56°C75W12GB/32GBOK如果看到Status列为OK说明驱动加载成功。我第一次看到这个表格时那个OK状态让我悬着的心终于放下了。2.2 固件升级固件包通常以Ascend-hdk-910b-npu-firmware_version.run格式命名。安装前务必确认固件版本与驱动兼容./Ascend-hdk-910b-npu-firmware_7.7.0.1.231.run --check安装命令相对简单./Ascend-hdk-910b-npu-firmware_7.7.0.1.231.run --full特别注意固件升级过程中绝对不要断电升级后建议重启服务器使更改生效多卡设备上固件会并行升级所有芯片升级完成后再次使用npu-smi info确认固件版本号是否更新。记得有一次固件升级后性能提升了15%所以不要忽视这个步骤。3. MCU管理与批量升级技巧MCUMicrocontroller Unit是昇腾芯片的管理单元负责电源管理和任务调度。MCU版本不匹配会导致性能下降或功能异常。3.1 单卡升级解压MCU包后查看当前版本npu-smi upgrade -b mcu -i 0升级指定NPU卡npu-smi upgrade -t mcu -i 0 -f Ascend-hdk-910b-mcu_25.50.10.hpm激活新版本npu-smi upgrade -a mcu -i 03.2 批量升级方案对于8卡服务器手动操作每个卡效率太低。我编写了这个批量升级脚本upgrade_all_mcu.sh#!/bin/bash # 参数检查 [ $# -ne 1 ] echo Usage: $0 mcu_file.hpm exit 1 # 获取NPU数量 NPU_COUNT$(npu-smi info -m | grep -c 910B) # 并行升级所有卡 for ((i0; i$NPU_COUNT; i)); do echo 升级NPU $i npu-smi upgrade -t mcu -i $i -f $1 done # 等待所有后台任务完成 wait # 激活所有卡 for ((i0; i$NPU_COUNT; i)); do echo 激活NPU $i npu-smi upgrade -a mcu -i $i done使用方式chmod x upgrade_all_mcu.sh ./upgrade_all_mcu.sh Ascend-hdk-910b-mcu_25.50.10.hpm排错提示如果升级失败尝试先执行npu-smi reset -i npu_id升级过程中npu-smi命令可能暂时无响应这是正常现象日志文件位于/var/log/ascend_seclog/目录下4. 容器化部署实战昇腾环境配置完成后推荐使用容器化方式部署AI应用。这不仅能隔离环境还能简化依赖管理。4.1 Docker环境配置openEuler上的Docker安装略有不同tar -zxvf docker-28.3.3.tgz sudo cp docker/* /usr/bin/创建systemd服务文件/etc/systemd/system/docker.service特别注意昇腾设备映射[Service] ExecStart/usr/bin/dockerd \ --default-ulimit nofile65535:65535 \ --device /dev/davinci_manager \ --device /dev/hisi_hdc \ --device /dev/devmm_svm启动服务后验证NPU设备在容器中可见docker run --rm -it \ --device /dev/davinci0 \ ubuntu lspci | grep d8024.2 vLLM-Ascend容器部署昇腾社区提供了优化过的vLLM镜像部署命令示例docker run -d \ --name vllm \ --network host \ --shm-size2g \ --device /dev/davinci0 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /models:/models \ quay.io/ascend/vllm-ascend:v0.10.0rc1 \ serve /models/Qwen-7B \ --tensor-parallel-size 1 \ --port 8000性能调优参数--tensor-parallel-size根据NPU数量设置单卡为1PYTORCH_NPU_ALLOC_CONFmax_split_size_mb:128减少内存碎片--max-model-len根据模型大小调整4.3 多模型服务编排对于生产环境使用docker-compose管理多个模型服务更高效。示例docker-compose.ymlservices: qwen-7b: image: quay.io/ascend/vllm-ascend:v0.10.0rc1 devices: - /dev/davinci0 volumes: - /models/Qwen-7B:/models/Qwen-7B command: - serve - /models/Qwen-7B - --port8000 deepseek-7b: image: quay.io/ascend/vllm-ascend:v0.10.0rc1 devices: - /dev/davinci1 volumes: - /models/DeepSeek-7B:/models/DeepSeek-7B command: - serve - /models/DeepSeek-7B - --port8001启动服务docker-compose up -d这种部署方式我在三个客户项目中都采用过模型更新时只需要替换对应目录的文件然后重启相应容器即可大大简化了运维流程。5. 性能优化与监控配置完成后还需要对NPU进行性能调优。通过npu-smi工具可以监控和调整参数# 设置性能模式 npu-smi set -t performance -i 0 # 监控实时状态 watch -n 1 npu-smi info关键指标解读Memory-Usage超过80%可能需要优化模型或减少batch sizePower持续高功率可能触发降频Temperature超过85°C应考虑改善散热对于LLM推理我总结出这些优化经验使用--enable-fast-math加速计算合理设置--max-batch-size避免内存溢出对Qwen等模型使用--use-quant量化选项记得在第一次部署70B大模型时因为没设置好这些参数推理速度比预期慢了3倍。调整后不仅速度上来了显存占用还减少了20%。
