EVA-02快速部署指南Ubuntu 20.04系统环境配置与模型启动如果你刚拿到一台装了Ubuntu 20.04的服务器或电脑想在上面跑起来最新的EVA-02模型可能会觉得有点无从下手。网上的教程要么太零散要么假设你已经懂了很多前置知识。别担心这篇指南就是为你准备的。我会带你从最基础的系统环境开始一步步走到模型成功运行整个过程就像搭积木一块一块来保证你能跟上。咱们的目标很简单在Ubuntu 20.04上把EVA-02模型跑起来并且能通过命令行和网页两种方式试试它的本事。整个过程我会尽量用大白话解释遇到关键命令也会直接给出来你复制粘贴就行。好了咱们开始吧。1. 动手之前看看你的“工具箱”在开始安装任何东西之前最好先检查一下你的Ubuntu系统是不是准备好了。这就像做饭前先看看厨房里有没有锅碗瓢盆。打开你的终端快捷键CtrlAltT挨个输入下面这几条命令看看# 1. 看看系统版本是不是20.04 lsb_release -a # 2. 看看硬盘空间够不够建议至少预留50GB df -h / # 3. 看看内存有多大建议不少于16GB free -h # 4. 最重要的看看有没有NVIDIA显卡 nvidia-smi最后一条nvidia-smi命令是关键。如果它报错说“命令未找到”那说明你的系统还没装NVIDIA显卡驱动。如果它能正常跑起来会显示你的显卡型号和驱动版本记得看一眼CUDA版本通常是11.x或12.x后面会用到。如果没装驱动可以去NVIDIA官网根据你的显卡型号下载或者用Ubuntu的“软件和更新”里的“附加驱动”选项卡来安装这个相对省事。2. 搭建基础环境安装必要的“零件”EVA-02模型的运行需要一些基础软件支持我们先把这些“零件”装好。2.1 更新系统并安装基础工具首先我们把系统的软件列表更新到最新并安装一些后续步骤需要的工具。# 更新软件包列表 sudo apt update # 升级所有已安装的软件包这步可能需要点时间 sudo apt upgrade -y # 安装一些必要的工具比如wget下载工具、git代码管理、还有编译需要的环境 sudo apt install -y wget git build-essential curl software-properties-common2.2 安装Python和PipUbuntu 20.04自带了Python 3.8这已经够用了。我们需要的是确保pipPython的包管理工具是最新的。# 安装python3-pip和python3-venv虚拟环境工具 sudo apt install -y python3-pip python3-venv # 升级pip到最新版本 pip3 install --upgrade pip # 验证安装 python3 --version pip3 --version2.3 安装Docker推荐方式用Docker来部署AI模型是目前最主流、最省事的方法。它能把模型需要的所有环境打包成一个“集装箱”避免和你的系统环境冲突。# 1. 卸载旧版本的Docker如果是全新系统可跳过 sudo apt remove docker docker-engine docker.io containerd runc # 2. 安装依赖让apt可以通过HTTPS使用仓库 sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release # 3. 添加Docker的官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 4. 设置稳定的Docker仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 5. 安装Docker引擎 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin # 6. 将当前用户添加到docker组这样就不用每次都加sudo了 sudo usermod -aG docker $USER # 7. 提示需要重新登录或者重启终端用户组更改才会生效 echo 请注销并重新登录或重启终端以使docker组权限生效。完成这步后请务必关闭当前所有终端窗口重新打开一个新的终端。然后运行docker --version来验证安装是否成功并且运行docker run hello-world看看能不能正常拉取和运行一个测试镜像。3. 获取并运行EVA-02镜像环境搭好了现在该请出主角了。我们将从一个集成了EVA-02模型和所有依赖的预置镜像开始这能省去大量手动配置的麻烦。假设我们已经找到了一个名为registry.example.com/eva-02:latest的可靠镜像在实际操作中你需要替换为真实的镜像地址例如从星图镜像广场获取的地址。# 1. 拉取EVA-02镜像请替换为实际镜像地址 # 例如docker pull csdn-mirror-registry.cn-beijing.cr.aliyuncs.com/ai-mirror/eva-02:latest docker pull 你的EVA-02镜像地址 # 2. 创建一个目录用来存放模型数据和你的测试文件 mkdir -p ~/eva-02-workspace cd ~/eva-02-workspace # 3. 运行容器 # 这里做了几件事 # -it: 交互式终端 # --gpus all: 把主机所有GPU都给容器用确保驱动已装 # -p 7860:7860: 把容器的7860端口映射到主机用于Web界面 # -v $(pwd):/workspace: 把当前目录挂载到容器里的/workspace方便文件交换 # --name eva02: 给容器起个名字方便管理 docker run -it --gpus all -p 7860:7860 -v $(pwd):/workspace --name eva02 你的EVA-02镜像地址 /bin/bash运行最后一条命令后你应该会进入一个全新的容器内部命令行提示符可能会变成root容器ID:/#。这说明你已经成功进入EVA-02的运行环境了。4. 在容器内加载模型与快速测试现在我们在容器的“内部”了。大部分预置镜像已经装好了Python环境、PyTorch、CUDA等。我们主要做两件事下载模型权重然后快速测试一下。4.1 下载模型权重文件EVA-02模型本身是一个架构它的“知识”保存在权重文件里。我们需要下载这些文件。# 通常预置镜像会提供下载脚本或者你可以手动下载 # 方法一使用镜像内可能提供的脚本请查阅具体镜像的文档 # ./download_weights.sh # 方法二假设我们从Hugging Face模型库下载以EVA-02-CLIP为例 # 先安装 huggingface-hub 库 pip install huggingface-hub # 使用Python交互模式快速下载 python3 -c from huggingface_hub import snapshot_download snapshot_download(repo_idYuxin-CV/EVA-02, allow_patterns[*.bin, *.json, *.txt], local_dir/workspace/model_weights) print(模型权重已下载至 /workspace/model_weights) 下载可能需要一些时间取决于模型大小和你的网速。完成后你可以在主机的~/eva-02-workspace目录下看到model_weights文件夹。4.2 通过命令行快速验证权重有了我们写个最简单的Python脚本来测试模型是否能正常加载和进行基础推理。在容器内创建一个测试文件cd /workspace cat test_eva02.py EOF import torch from PIL import Image import requests from transformers import AutoProcessor, AutoModelForImageClassification import sys # 1. 指定模型权重路径 model_path /workspace/model_weights print(正在加载模型和处理器...) try: # 2. 加载处理器和模型 processor AutoProcessor.from_pretrained(model_path) model AutoModelForImageClassification.from_pretrained(model_path) print(模型加载成功) except Exception as e: print(f模型加载失败: {e}) sys.exit(1) # 3. 准备一张测试图片这里用一张猫的图片URL示例 print(\n准备测试图片...) url http://images.cocodataset.org/val2017/000000039769.jpg try: image Image.open(requests.get(url, streamTrue).raw) print(f图片加载成功尺寸: {image.size}) except: # 如果网络不行我们创建一个随机图片代替 print(使用随机图片代替网络图片。) image Image.new(RGB, (224, 224), colorred) # 4. 处理图片并进行推理 print(\n进行推理...) inputs processor(imagesimage, return_tensorspt) with torch.no_grad(): outputs model(**inputs) logits outputs.logits # 5. 输出结果 predicted_class_idx logits.argmax(-1).item() predicted_label model.config.id2label[predicted_class_idx] print(f推理完成) print(f模型预测的类别索引是: {predicted_class_idx}) print(f对应的标签是: {predicted_label}) EOF # 运行测试脚本 python3 test_eva02.py如果一切顺利你会看到“模型加载成功”和“推理完成”的输出并看到一个预测的类别标签。这说明模型的核心功能是正常的。5. 启动Web界面进行交互测试命令行测试通过了但有个可视化界面玩起来会更直观。很多AI模型镜像都内置了基于Gradio或Streamlit的Web界面。5.1 查找并启动Web服务通常启动脚本会放在镜像的根目录或者一个明显的app文件夹里。# 在容器内尝试寻找启动脚本 find / -name app.py -o -name gradio_app.py -o -name run.py 2/dev/null | head -5 # 或者直接查看当前目录下有没有启动说明README ls -la | grep -i readme假设我们找到了一个app.py。启动它# 启动Web服务并指定端口和主机让外部能访问 python3 app.py --share --port 7860 # 或者 # gradio app.py --share --server-port 7860你会看到终端输出一个本地URL如http://127.0.0.1:7860和一个临时的公网URL因为用了--share参数。5.2 从主机访问Web界面现在在主机上不是容器里打开你的浏览器。如果你就在运行Ubuntu的机器前直接访问http://localhost:7860。如果你的Ubuntu是服务器需要通过IP访问。先查一下服务器IPhostname -I然后在浏览器访问http://你的服务器IP:7860。打开页面后你应该能看到一个上传图片的按钮和一个文本框。试着上传一张图片比如你电脑里的猫狗照片、风景图看看EVA-02模型会给出什么样的识别结果或描述。这个交互过程能让你更直观地感受模型的能力。6. 常见问题与解决思路第一次部署难免会遇到些小麻烦这里列举几个常见的问题docker pull速度太慢。解决可以配置Docker国内镜像加速器。修改或创建/etc/docker/daemon.json文件加入镜像地址然后重启Docker服务。问题运行容器时提示--gpus参数错误。解决这通常是因为Docker的NVIDIA容器工具包没装。可以运行以下命令安装distribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo systemctl restart docker问题Web界面打不开。检查1确认容器启动时-p 7860:7860端口映射正确。检查2确认主机防火墙放行了7860端口。Ubuntu上可以用sudo ufw allow 7860临时开放。检查3在容器内用curl http://localhost:7860看看服务是否真的在运行。问题模型推理速度很慢。检查首先用nvidia-smi命令确认GPU是否真的在被使用看GPU利用率。可能原因第一次推理需要加载模型到显存会慢一些。后续推理会快很多。确保你的图片输入尺寸没有过大。7. 写在最后跟着上面这些步骤走一遍你应该已经在Ubuntu 20.04上成功把EVA-02模型跑起来了。从检查系统环境到安装Docker再到拉取镜像、加载权重最后通过命令行和网页测试功能整个过程其实就是在搭建一个标准化的AI模型运行环境。用Docker镜像来部署的好处这时候就体现出来了它把复杂的依赖环境都打包好了我们只需要关心怎么使用模型本身。现在你可以多试试Web界面上传各种类型的图片看看这个视觉大模型到底有多聪明。如果想深入开发可以看看容器里提供的示例代码和文档试着修改test_eva02.py脚本调用模型的其他功能。部署本身不是目的只是一个开始。接下来怎么用这个强大的工具去解决你实际遇到的问题或者做出有趣的应用那才是更值得探索的部分。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
EVA-02快速部署指南：Ubuntu 20.04系统环境配置与模型启动
EVA-02快速部署指南Ubuntu 20.04系统环境配置与模型启动如果你刚拿到一台装了Ubuntu 20.04的服务器或电脑想在上面跑起来最新的EVA-02模型可能会觉得有点无从下手。网上的教程要么太零散要么假设你已经懂了很多前置知识。别担心这篇指南就是为你准备的。我会带你从最基础的系统环境开始一步步走到模型成功运行整个过程就像搭积木一块一块来保证你能跟上。咱们的目标很简单在Ubuntu 20.04上把EVA-02模型跑起来并且能通过命令行和网页两种方式试试它的本事。整个过程我会尽量用大白话解释遇到关键命令也会直接给出来你复制粘贴就行。好了咱们开始吧。1. 动手之前看看你的“工具箱”在开始安装任何东西之前最好先检查一下你的Ubuntu系统是不是准备好了。这就像做饭前先看看厨房里有没有锅碗瓢盆。打开你的终端快捷键CtrlAltT挨个输入下面这几条命令看看# 1. 看看系统版本是不是20.04 lsb_release -a # 2. 看看硬盘空间够不够建议至少预留50GB df -h / # 3. 看看内存有多大建议不少于16GB free -h # 4. 最重要的看看有没有NVIDIA显卡 nvidia-smi最后一条nvidia-smi命令是关键。如果它报错说“命令未找到”那说明你的系统还没装NVIDIA显卡驱动。如果它能正常跑起来会显示你的显卡型号和驱动版本记得看一眼CUDA版本通常是11.x或12.x后面会用到。如果没装驱动可以去NVIDIA官网根据你的显卡型号下载或者用Ubuntu的“软件和更新”里的“附加驱动”选项卡来安装这个相对省事。2. 搭建基础环境安装必要的“零件”EVA-02模型的运行需要一些基础软件支持我们先把这些“零件”装好。2.1 更新系统并安装基础工具首先我们把系统的软件列表更新到最新并安装一些后续步骤需要的工具。# 更新软件包列表 sudo apt update # 升级所有已安装的软件包这步可能需要点时间 sudo apt upgrade -y # 安装一些必要的工具比如wget下载工具、git代码管理、还有编译需要的环境 sudo apt install -y wget git build-essential curl software-properties-common2.2 安装Python和PipUbuntu 20.04自带了Python 3.8这已经够用了。我们需要的是确保pipPython的包管理工具是最新的。# 安装python3-pip和python3-venv虚拟环境工具 sudo apt install -y python3-pip python3-venv # 升级pip到最新版本 pip3 install --upgrade pip # 验证安装 python3 --version pip3 --version2.3 安装Docker推荐方式用Docker来部署AI模型是目前最主流、最省事的方法。它能把模型需要的所有环境打包成一个“集装箱”避免和你的系统环境冲突。# 1. 卸载旧版本的Docker如果是全新系统可跳过 sudo apt remove docker docker-engine docker.io containerd runc # 2. 安装依赖让apt可以通过HTTPS使用仓库 sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release # 3. 添加Docker的官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 4. 设置稳定的Docker仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 5. 安装Docker引擎 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin # 6. 将当前用户添加到docker组这样就不用每次都加sudo了 sudo usermod -aG docker $USER # 7. 提示需要重新登录或者重启终端用户组更改才会生效 echo 请注销并重新登录或重启终端以使docker组权限生效。完成这步后请务必关闭当前所有终端窗口重新打开一个新的终端。然后运行docker --version来验证安装是否成功并且运行docker run hello-world看看能不能正常拉取和运行一个测试镜像。3. 获取并运行EVA-02镜像环境搭好了现在该请出主角了。我们将从一个集成了EVA-02模型和所有依赖的预置镜像开始这能省去大量手动配置的麻烦。假设我们已经找到了一个名为registry.example.com/eva-02:latest的可靠镜像在实际操作中你需要替换为真实的镜像地址例如从星图镜像广场获取的地址。# 1. 拉取EVA-02镜像请替换为实际镜像地址 # 例如docker pull csdn-mirror-registry.cn-beijing.cr.aliyuncs.com/ai-mirror/eva-02:latest docker pull 你的EVA-02镜像地址 # 2. 创建一个目录用来存放模型数据和你的测试文件 mkdir -p ~/eva-02-workspace cd ~/eva-02-workspace # 3. 运行容器 # 这里做了几件事 # -it: 交互式终端 # --gpus all: 把主机所有GPU都给容器用确保驱动已装 # -p 7860:7860: 把容器的7860端口映射到主机用于Web界面 # -v $(pwd):/workspace: 把当前目录挂载到容器里的/workspace方便文件交换 # --name eva02: 给容器起个名字方便管理 docker run -it --gpus all -p 7860:7860 -v $(pwd):/workspace --name eva02 你的EVA-02镜像地址 /bin/bash运行最后一条命令后你应该会进入一个全新的容器内部命令行提示符可能会变成root容器ID:/#。这说明你已经成功进入EVA-02的运行环境了。4. 在容器内加载模型与快速测试现在我们在容器的“内部”了。大部分预置镜像已经装好了Python环境、PyTorch、CUDA等。我们主要做两件事下载模型权重然后快速测试一下。4.1 下载模型权重文件EVA-02模型本身是一个架构它的“知识”保存在权重文件里。我们需要下载这些文件。# 通常预置镜像会提供下载脚本或者你可以手动下载 # 方法一使用镜像内可能提供的脚本请查阅具体镜像的文档 # ./download_weights.sh # 方法二假设我们从Hugging Face模型库下载以EVA-02-CLIP为例 # 先安装 huggingface-hub 库 pip install huggingface-hub # 使用Python交互模式快速下载 python3 -c from huggingface_hub import snapshot_download snapshot_download(repo_idYuxin-CV/EVA-02, allow_patterns[*.bin, *.json, *.txt], local_dir/workspace/model_weights) print(模型权重已下载至 /workspace/model_weights) 下载可能需要一些时间取决于模型大小和你的网速。完成后你可以在主机的~/eva-02-workspace目录下看到model_weights文件夹。4.2 通过命令行快速验证权重有了我们写个最简单的Python脚本来测试模型是否能正常加载和进行基础推理。在容器内创建一个测试文件cd /workspace cat test_eva02.py EOF import torch from PIL import Image import requests from transformers import AutoProcessor, AutoModelForImageClassification import sys # 1. 指定模型权重路径 model_path /workspace/model_weights print(正在加载模型和处理器...) try: # 2. 加载处理器和模型 processor AutoProcessor.from_pretrained(model_path) model AutoModelForImageClassification.from_pretrained(model_path) print(模型加载成功) except Exception as e: print(f模型加载失败: {e}) sys.exit(1) # 3. 准备一张测试图片这里用一张猫的图片URL示例 print(\n准备测试图片...) url http://images.cocodataset.org/val2017/000000039769.jpg try: image Image.open(requests.get(url, streamTrue).raw) print(f图片加载成功尺寸: {image.size}) except: # 如果网络不行我们创建一个随机图片代替 print(使用随机图片代替网络图片。) image Image.new(RGB, (224, 224), colorred) # 4. 处理图片并进行推理 print(\n进行推理...) inputs processor(imagesimage, return_tensorspt) with torch.no_grad(): outputs model(**inputs) logits outputs.logits # 5. 输出结果 predicted_class_idx logits.argmax(-1).item() predicted_label model.config.id2label[predicted_class_idx] print(f推理完成) print(f模型预测的类别索引是: {predicted_class_idx}) print(f对应的标签是: {predicted_label}) EOF # 运行测试脚本 python3 test_eva02.py如果一切顺利你会看到“模型加载成功”和“推理完成”的输出并看到一个预测的类别标签。这说明模型的核心功能是正常的。5. 启动Web界面进行交互测试命令行测试通过了但有个可视化界面玩起来会更直观。很多AI模型镜像都内置了基于Gradio或Streamlit的Web界面。5.1 查找并启动Web服务通常启动脚本会放在镜像的根目录或者一个明显的app文件夹里。# 在容器内尝试寻找启动脚本 find / -name app.py -o -name gradio_app.py -o -name run.py 2/dev/null | head -5 # 或者直接查看当前目录下有没有启动说明README ls -la | grep -i readme假设我们找到了一个app.py。启动它# 启动Web服务并指定端口和主机让外部能访问 python3 app.py --share --port 7860 # 或者 # gradio app.py --share --server-port 7860你会看到终端输出一个本地URL如http://127.0.0.1:7860和一个临时的公网URL因为用了--share参数。5.2 从主机访问Web界面现在在主机上不是容器里打开你的浏览器。如果你就在运行Ubuntu的机器前直接访问http://localhost:7860。如果你的Ubuntu是服务器需要通过IP访问。先查一下服务器IPhostname -I然后在浏览器访问http://你的服务器IP:7860。打开页面后你应该能看到一个上传图片的按钮和一个文本框。试着上传一张图片比如你电脑里的猫狗照片、风景图看看EVA-02模型会给出什么样的识别结果或描述。这个交互过程能让你更直观地感受模型的能力。6. 常见问题与解决思路第一次部署难免会遇到些小麻烦这里列举几个常见的问题docker pull速度太慢。解决可以配置Docker国内镜像加速器。修改或创建/etc/docker/daemon.json文件加入镜像地址然后重启Docker服务。问题运行容器时提示--gpus参数错误。解决这通常是因为Docker的NVIDIA容器工具包没装。可以运行以下命令安装distribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo systemctl restart docker问题Web界面打不开。检查1确认容器启动时-p 7860:7860端口映射正确。检查2确认主机防火墙放行了7860端口。Ubuntu上可以用sudo ufw allow 7860临时开放。检查3在容器内用curl http://localhost:7860看看服务是否真的在运行。问题模型推理速度很慢。检查首先用nvidia-smi命令确认GPU是否真的在被使用看GPU利用率。可能原因第一次推理需要加载模型到显存会慢一些。后续推理会快很多。确保你的图片输入尺寸没有过大。7. 写在最后跟着上面这些步骤走一遍你应该已经在Ubuntu 20.04上成功把EVA-02模型跑起来了。从检查系统环境到安装Docker再到拉取镜像、加载权重最后通过命令行和网页测试功能整个过程其实就是在搭建一个标准化的AI模型运行环境。用Docker镜像来部署的好处这时候就体现出来了它把复杂的依赖环境都打包好了我们只需要关心怎么使用模型本身。现在你可以多试试Web界面上传各种类型的图片看看这个视觉大模型到底有多聪明。如果想深入开发可以看看容器里提供的示例代码和文档试着修改test_eva02.py脚本调用模型的其他功能。部署本身不是目的只是一个开始。接下来怎么用这个强大的工具去解决你实际遇到的问题或者做出有趣的应用那才是更值得探索的部分。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
