MiniCPM-o-4.5-nvidia-FlagOS一键部署教程基于Ubuntu的AI编程环境搭建最近有不少朋友在问想试试最新的开源大模型但看到复杂的部署步骤就头疼。特别是对于刚入门的开发者来说从零开始配环境、装依赖、下模型每一步都可能踩坑。今天咱们就来聊聊一个特别省事的方案在Ubuntu系统上通过星图GPU平台一键部署MiniCPM-o-4.5-nvidia-FlagOS这个开源大模型镜像。整个过程就像安装一个软件一样简单十来分钟就能让你拥有一个功能齐全的本地AI编程和测试环境不管是跑模型推理还是做应用开发都能立刻上手。1. 部署前先看看你的“地基”稳不稳在开始安装任何软件之前检查一下系统环境是个好习惯能避免很多后续的麻烦。对于这个镜像主要关注两点你的Ubuntu版本和有没有可用的NVIDIA GPU。1.1 确认你的Ubuntu版本打开终端输入下面这条命令lsb_release -a你会看到类似这样的输出No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 22.04.4 LTS Release: 22.04 Codename: jammy这里的关键是Release: 22.04。这个镜像主要针对Ubuntu 20.04 (Focal Fossa)和Ubuntu 22.04 (Jammy Jellyfish)这两个长期支持版做过优化和测试。如果你的系统是这两个版本之一兼容性会最好。如果是其他版本比如18.04或24.04理论上也能运行但可能需要额外处理一些依赖库的问题。1.2 检查GPU驱动和CUDA既然叫nvidia-FlagOS这个镜像肯定是冲着利用GPU加速去的。所以确保你的NVIDIA显卡驱动和CUDA工具包已经正确安装是保证后续体验流畅的关键。首先检查显卡驱动是否安装nvidia-smi如果这个命令能正常运行并显示出一张关于你GPU信息的表格包括驱动版本、CUDA版本、显卡型号、显存使用情况等那就恭喜你驱动没问题。记下表格顶部显示的CUDA Version比如12.4。如果命令报错command not found那说明驱动没装好。对于Ubuntu我比较推荐通过系统自带的“附加驱动”工具来安装或者去NVIDIA官网下载对应显卡型号的驱动包手动安装。这个过程稍微有点繁琐网上教程很多这里就不展开了。有了驱动CUDA通常也会随之安装。你可以用下面这个命令再确认一下CUDA编译器的版本nvcc --version这个命令会输出CUDA编译器的详细信息。如果也能正常显示那你的GPU环境基本就准备好了。2. 获取并启动你的AI环境镜像环境检查完毕接下来就是核心步骤了。我们将使用Docker来拉取和运行这个预置好的镜像。Docker的好处是它把模型、依赖、环境全都打包好了你不需要在自己电脑上折腾Python版本、库冲突这些烦心事。2.1 安装与配置Docker如果你的系统还没有Docker需要先安装它。在Ubuntu上可以通过官方仓库安装# 更新软件包索引 sudo apt-get update # 安装必要的依赖允许apt通过HTTPS使用仓库 sudo apt-get install -y ca-certificates curl # 添加Docker的官方GPG密钥 sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo chmod ar /etc/apt/keyrings/docker.asc # 设置Docker的稳定版仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 再次更新并安装Docker引擎 sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin安装完成后将你的用户添加到docker组这样以后运行Docker命令就不需要每次都加sudo了sudo usermod -aG docker $USER重要执行完上面这条命令后你需要完全退出当前终端并重新登录或者重启电脑这个分组变更才会生效。验证Docker安装成功docker --version2.2 拉取并运行MiniCPM-o-4.5镜像现在我们可以从星图镜像仓库拉取我们需要的镜像了。在终端中执行以下命令docker pull csdn-docker.pkg.coding.net/ai-mirror/ai-models/minicpm-o-4.5-nvidia-flagos:latest这个镜像包含了MiniCPM-o-4.5模型、运行所需的Python环境、以及FlagOS这个便于交互的界面。拉取过程会下载几个GB的数据具体时间取决于你的网速。下载完成后使用下面的命令来启动容器docker run -itd \ --gpus all \ --name minicpm-flagos \ -p 7860:7860 \ csdn-docker.pkg.coding.net/ai-mirror/ai-models/minicpm-o-4.5-nvidia-flagos:latest我来解释一下这几个参数是干嘛的-itd:-i保持标准输入打开-t分配一个伪终端-d让容器在后台运行。--gpus all: 这是最关键的一步它把宿主机的所有GPU都“透传”给容器内部使用这样模型推理就能跑在GPU上了。--name minicpm-flagos: 给这个容器起个名字方便后续管理。-p 7860:7860: 将容器内部的7860端口映射到宿主机的7860端口。FlagOS的Web界面就是通过这个端口访问的。最后一行就是刚才拉取的镜像名称。运行成功后你可以用docker ps命令查看容器是否在运行。3. 与你的AI模型第一次对话容器跑起来之后怎么用呢主要有两种方式通过方便的Web界面或者通过更灵活的API接口。3.1 通过Web界面快速体验这是最简单直观的方式。打开你电脑上的浏览器在地址栏输入http://localhost:7860如果一切正常你会看到FlagOS的交互界面。这个界面通常很简洁会有一个明显的输入框让你输入问题Prompt。你可以试着问它一些简单的问题比如“介绍一下你自己”或者让它写一首关于春天的短诗。输入后点击发送或回车稍等片刻模型生成的回复就会显示在界面上。这个方式非常适合快速测试模型的基本对话能力、创意写作或者代码生成所见即所得不需要写任何代码。3.2 通过Python API进行调用对于开发者来说通过API编程调用才是将模型集成到自己应用中的正途。我们需要进入容器内部进行操作。首先进入正在运行的容器docker exec -it minicpm-flagos bash这个命令会打开一个容器的bash终端。你会发现Python环境、模型文件都已经在容器内准备好了。接下来我们可以写一个最简单的Python脚本来测试API。在容器内使用vi或nano创建一个文件比如叫test_api.py# test_api.py import requests import json # FlagOS服务在容器内部通常运行在7860端口 url http://localhost:7860/api/v1/chat/completions # 构造请求头和数据 headers { Content-Type: application/json } data { model: MiniCPM-o-4.5, # 指定模型名称 messages: [ {role: user, content: 用Python写一个函数计算斐波那契数列的前n项。} ], stream: False # 非流式输出一次性返回结果 } # 发送POST请求 response requests.post(url, headersheaders, datajson.dumps(data)) # 打印响应 if response.status_code 200: result response.json() # 提取模型返回的文本内容 reply result[choices][0][message][content] print(模型回复) print(reply) else: print(f请求失败状态码{response.status_code}) print(response.text)保存文件后在容器内运行它python test_api.py你应该能看到模型返回的Python代码。这个简单的例子演示了如何通过HTTP POST请求与模型交互。messages字段是一个列表你可以模拟多轮对话比如data { model: MiniCPM-o-4.5, messages: [ {role: user, content: 什么是机器学习}, {role: assistant, content: 机器学习是人工智能的一个分支它允许计算机系统通过数据学习和改进而无需明确编程。}, {role: user, content: 它主要分为哪几类} # 这是基于上文的新问题 ], stream: False }4. 配置独立的Python开发环境可选但推荐虽然容器内已经有一个可用的Python环境但如果你习惯使用Anaconda来管理不同的项目环境或者想在宿主机你的Ubuntu系统上直接开发调用容器API的应用那么在宿主机上配置一个干净的Python环境是个好主意。注意以下步骤是在你的Ubuntu宿主机上操作不是在Docker容器里。4.1 安装MinicondaMiniconda是Anaconda的轻量版只包含conda、Python和一些基础包。先去Miniconda官网查看最新版本的Linux安装脚本链接然后用wget下载。# 例如下载适用于Linux 64位的Python 3.10版本 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh下载后运行安装脚本bash Miniconda3-latest-Linux-x86_64.sh安装过程中按照提示按回车阅读许可协议输入yes同意然后选择安装路径通常直接回车用默认路径就行。最后安装程序会问你是否要初始化conda建议选择yes这样每次打开终端conda都会自动激活。安装完成后关闭并重新打开终端或者执行source ~/.bashrc你会发现命令行前面多了个(base)这表示conda的基础环境已经激活了。4.2 为AI项目创建专属环境我们不建议在base环境里安装各种包最好为每个项目创建独立环境。为我们的模型调用项目创建一个conda create -n ai-model-env python3.10这里创建了一个名叫ai-model-env的环境并指定安装Python 3.10。创建完成后激活它conda activate ai-model-env激活后命令行提示符前的(base)会变成(ai-model-env)。4.3 安装必要的Python库在这个独立环境里安装我们测试API时需要的requests库pip install requests现在你可以在宿主机上使用这个ai-model-env环境运行我们之前写的test_api.py脚本了记得把脚本里的URL改成http://localhost:7860因为容器端口已经映射到了宿主机。这样你的开发环境和模型的运行环境就完全分离开了非常清晰。5. 写在最后走完上面这几步一个基于MiniCPM-o-4.5模型的本地AI编程环境就搭建好了。整个过程其实比想象中简单尤其是利用Docker镜像把最复杂的模型部署和环境依赖问题都解决了。你现在既可以通过Web界面和模型聊天感受它的能力也可以通过Python API开始构思和开发你自己的AI应用比如做个智能客服原型、代码助手工具什么的。我自己的体验是这种一键部署的方式大大降低了入门门槛让你能把精力更多放在模型的应用和测试上而不是在环境配置里折腾。当然这个镜像是一个起点你可以基于它去探索模型的更多参数、尝试不同的提示词工程、或者学习如何将API集成到Web服务中。遇到问题也别慌多看看日志善用社区和文档大多数坑都有前人踩过。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
MiniCPM-o-4.5-nvidia-FlagOS一键部署教程：基于Ubuntu的AI编程环境搭建
MiniCPM-o-4.5-nvidia-FlagOS一键部署教程基于Ubuntu的AI编程环境搭建最近有不少朋友在问想试试最新的开源大模型但看到复杂的部署步骤就头疼。特别是对于刚入门的开发者来说从零开始配环境、装依赖、下模型每一步都可能踩坑。今天咱们就来聊聊一个特别省事的方案在Ubuntu系统上通过星图GPU平台一键部署MiniCPM-o-4.5-nvidia-FlagOS这个开源大模型镜像。整个过程就像安装一个软件一样简单十来分钟就能让你拥有一个功能齐全的本地AI编程和测试环境不管是跑模型推理还是做应用开发都能立刻上手。1. 部署前先看看你的“地基”稳不稳在开始安装任何软件之前检查一下系统环境是个好习惯能避免很多后续的麻烦。对于这个镜像主要关注两点你的Ubuntu版本和有没有可用的NVIDIA GPU。1.1 确认你的Ubuntu版本打开终端输入下面这条命令lsb_release -a你会看到类似这样的输出No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 22.04.4 LTS Release: 22.04 Codename: jammy这里的关键是Release: 22.04。这个镜像主要针对Ubuntu 20.04 (Focal Fossa)和Ubuntu 22.04 (Jammy Jellyfish)这两个长期支持版做过优化和测试。如果你的系统是这两个版本之一兼容性会最好。如果是其他版本比如18.04或24.04理论上也能运行但可能需要额外处理一些依赖库的问题。1.2 检查GPU驱动和CUDA既然叫nvidia-FlagOS这个镜像肯定是冲着利用GPU加速去的。所以确保你的NVIDIA显卡驱动和CUDA工具包已经正确安装是保证后续体验流畅的关键。首先检查显卡驱动是否安装nvidia-smi如果这个命令能正常运行并显示出一张关于你GPU信息的表格包括驱动版本、CUDA版本、显卡型号、显存使用情况等那就恭喜你驱动没问题。记下表格顶部显示的CUDA Version比如12.4。如果命令报错command not found那说明驱动没装好。对于Ubuntu我比较推荐通过系统自带的“附加驱动”工具来安装或者去NVIDIA官网下载对应显卡型号的驱动包手动安装。这个过程稍微有点繁琐网上教程很多这里就不展开了。有了驱动CUDA通常也会随之安装。你可以用下面这个命令再确认一下CUDA编译器的版本nvcc --version这个命令会输出CUDA编译器的详细信息。如果也能正常显示那你的GPU环境基本就准备好了。2. 获取并启动你的AI环境镜像环境检查完毕接下来就是核心步骤了。我们将使用Docker来拉取和运行这个预置好的镜像。Docker的好处是它把模型、依赖、环境全都打包好了你不需要在自己电脑上折腾Python版本、库冲突这些烦心事。2.1 安装与配置Docker如果你的系统还没有Docker需要先安装它。在Ubuntu上可以通过官方仓库安装# 更新软件包索引 sudo apt-get update # 安装必要的依赖允许apt通过HTTPS使用仓库 sudo apt-get install -y ca-certificates curl # 添加Docker的官方GPG密钥 sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo chmod ar /etc/apt/keyrings/docker.asc # 设置Docker的稳定版仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 再次更新并安装Docker引擎 sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin安装完成后将你的用户添加到docker组这样以后运行Docker命令就不需要每次都加sudo了sudo usermod -aG docker $USER重要执行完上面这条命令后你需要完全退出当前终端并重新登录或者重启电脑这个分组变更才会生效。验证Docker安装成功docker --version2.2 拉取并运行MiniCPM-o-4.5镜像现在我们可以从星图镜像仓库拉取我们需要的镜像了。在终端中执行以下命令docker pull csdn-docker.pkg.coding.net/ai-mirror/ai-models/minicpm-o-4.5-nvidia-flagos:latest这个镜像包含了MiniCPM-o-4.5模型、运行所需的Python环境、以及FlagOS这个便于交互的界面。拉取过程会下载几个GB的数据具体时间取决于你的网速。下载完成后使用下面的命令来启动容器docker run -itd \ --gpus all \ --name minicpm-flagos \ -p 7860:7860 \ csdn-docker.pkg.coding.net/ai-mirror/ai-models/minicpm-o-4.5-nvidia-flagos:latest我来解释一下这几个参数是干嘛的-itd:-i保持标准输入打开-t分配一个伪终端-d让容器在后台运行。--gpus all: 这是最关键的一步它把宿主机的所有GPU都“透传”给容器内部使用这样模型推理就能跑在GPU上了。--name minicpm-flagos: 给这个容器起个名字方便后续管理。-p 7860:7860: 将容器内部的7860端口映射到宿主机的7860端口。FlagOS的Web界面就是通过这个端口访问的。最后一行就是刚才拉取的镜像名称。运行成功后你可以用docker ps命令查看容器是否在运行。3. 与你的AI模型第一次对话容器跑起来之后怎么用呢主要有两种方式通过方便的Web界面或者通过更灵活的API接口。3.1 通过Web界面快速体验这是最简单直观的方式。打开你电脑上的浏览器在地址栏输入http://localhost:7860如果一切正常你会看到FlagOS的交互界面。这个界面通常很简洁会有一个明显的输入框让你输入问题Prompt。你可以试着问它一些简单的问题比如“介绍一下你自己”或者让它写一首关于春天的短诗。输入后点击发送或回车稍等片刻模型生成的回复就会显示在界面上。这个方式非常适合快速测试模型的基本对话能力、创意写作或者代码生成所见即所得不需要写任何代码。3.2 通过Python API进行调用对于开发者来说通过API编程调用才是将模型集成到自己应用中的正途。我们需要进入容器内部进行操作。首先进入正在运行的容器docker exec -it minicpm-flagos bash这个命令会打开一个容器的bash终端。你会发现Python环境、模型文件都已经在容器内准备好了。接下来我们可以写一个最简单的Python脚本来测试API。在容器内使用vi或nano创建一个文件比如叫test_api.py# test_api.py import requests import json # FlagOS服务在容器内部通常运行在7860端口 url http://localhost:7860/api/v1/chat/completions # 构造请求头和数据 headers { Content-Type: application/json } data { model: MiniCPM-o-4.5, # 指定模型名称 messages: [ {role: user, content: 用Python写一个函数计算斐波那契数列的前n项。} ], stream: False # 非流式输出一次性返回结果 } # 发送POST请求 response requests.post(url, headersheaders, datajson.dumps(data)) # 打印响应 if response.status_code 200: result response.json() # 提取模型返回的文本内容 reply result[choices][0][message][content] print(模型回复) print(reply) else: print(f请求失败状态码{response.status_code}) print(response.text)保存文件后在容器内运行它python test_api.py你应该能看到模型返回的Python代码。这个简单的例子演示了如何通过HTTP POST请求与模型交互。messages字段是一个列表你可以模拟多轮对话比如data { model: MiniCPM-o-4.5, messages: [ {role: user, content: 什么是机器学习}, {role: assistant, content: 机器学习是人工智能的一个分支它允许计算机系统通过数据学习和改进而无需明确编程。}, {role: user, content: 它主要分为哪几类} # 这是基于上文的新问题 ], stream: False }4. 配置独立的Python开发环境可选但推荐虽然容器内已经有一个可用的Python环境但如果你习惯使用Anaconda来管理不同的项目环境或者想在宿主机你的Ubuntu系统上直接开发调用容器API的应用那么在宿主机上配置一个干净的Python环境是个好主意。注意以下步骤是在你的Ubuntu宿主机上操作不是在Docker容器里。4.1 安装MinicondaMiniconda是Anaconda的轻量版只包含conda、Python和一些基础包。先去Miniconda官网查看最新版本的Linux安装脚本链接然后用wget下载。# 例如下载适用于Linux 64位的Python 3.10版本 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh下载后运行安装脚本bash Miniconda3-latest-Linux-x86_64.sh安装过程中按照提示按回车阅读许可协议输入yes同意然后选择安装路径通常直接回车用默认路径就行。最后安装程序会问你是否要初始化conda建议选择yes这样每次打开终端conda都会自动激活。安装完成后关闭并重新打开终端或者执行source ~/.bashrc你会发现命令行前面多了个(base)这表示conda的基础环境已经激活了。4.2 为AI项目创建专属环境我们不建议在base环境里安装各种包最好为每个项目创建独立环境。为我们的模型调用项目创建一个conda create -n ai-model-env python3.10这里创建了一个名叫ai-model-env的环境并指定安装Python 3.10。创建完成后激活它conda activate ai-model-env激活后命令行提示符前的(base)会变成(ai-model-env)。4.3 安装必要的Python库在这个独立环境里安装我们测试API时需要的requests库pip install requests现在你可以在宿主机上使用这个ai-model-env环境运行我们之前写的test_api.py脚本了记得把脚本里的URL改成http://localhost:7860因为容器端口已经映射到了宿主机。这样你的开发环境和模型的运行环境就完全分离开了非常清晰。5. 写在最后走完上面这几步一个基于MiniCPM-o-4.5模型的本地AI编程环境就搭建好了。整个过程其实比想象中简单尤其是利用Docker镜像把最复杂的模型部署和环境依赖问题都解决了。你现在既可以通过Web界面和模型聊天感受它的能力也可以通过Python API开始构思和开发你自己的AI应用比如做个智能客服原型、代码助手工具什么的。我自己的体验是这种一键部署的方式大大降低了入门门槛让你能把精力更多放在模型的应用和测试上而不是在环境配置里折腾。当然这个镜像是一个起点你可以基于它去探索模型的更多参数、尝试不同的提示词工程、或者学习如何将API集成到Web服务中。遇到问题也别慌多看看日志善用社区和文档大多数坑都有前人踩过。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
