SEERS EYE 本地化部署详解基于Ubuntu系统的环境配置与依赖安装最近有不少朋友在问有没有那种能自己掌控、数据不出本地的大模型部署方案特别是对于一些对数据安全有要求的企业或者个人开发者来说把模型部署在自己的服务器上心里才踏实。今天我就来手把手带你走一遍 SEERS EYE 模型在 Ubuntu 20.04 服务器上的本地化部署全过程。整个过程其实不复杂核心就是搭好环境、装对依赖、跑起服务。我会尽量把每一步都讲清楚包括可能会遇到的坑和解决办法。只要你有一台带 NVIDIA GPU 的 Ubuntu 20.04 服务器跟着做基本上都能成功。1. 部署前准备检查你的“地基”在开始安装任何软件之前我们得先确保服务器这个“地基”是稳固的。这步做好了后面能省去很多麻烦。首先用 SSH 连接到你的 Ubuntu 20.04 服务器。登录后第一件事就是更新系统的软件包列表并升级已有的软件到最新版本。这能确保我们后续安装的依赖都是兼容的。打开终端输入以下命令sudo apt update sudo apt upgrade -y这个命令可能会运行几分钟取决于你的网络和需要更新的包数量。完成后我们还需要安装一些构建和编译软件时常用的基础工具包。sudo apt install -y build-essential software-properties-common wget curl git接下来确认一下你的 Ubuntu 版本。虽然我们目标是 20.04但最好还是确认一下。lsb_release -a你应该能看到类似Ubuntu 20.04.x LTS的输出。确认无误后我们进入最关键的一步GPU 环境准备。2. GPU 环境搭建安装 CUDA 与驱动SEERS EYE 这类大模型推理非常依赖 GPU 的算力所以正确安装 NVIDIA 驱动和 CUDA 工具包是重中之重。这里我们选择通过 NVIDIA 官方仓库来安装兼容性最好。首先添加 NVIDIA 的官方软件仓库和密钥。# 添加 NVIDIA 仓库的 GPG 密钥 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb # 更新软件包列表使新仓库生效 sudo apt update然后安装 CUDA 工具包。对于大多数大模型CUDA 11.8 是一个稳定且广泛支持的选择。我们同时安装配套的驱动。sudo apt install -y cuda-toolkit-11-8 nvidia-driver-535安装过程可能需要一些时间。完成后必须重启服务器让新的内核模块和驱动生效。sudo reboot重启并重新登录后我们来验证安装是否成功。# 检查 NVIDIA 驱动版本 nvidia-smi # 检查 CUDA 编译器版本 nvcc --version运行nvidia-smi后你应该能看到一个表格显示了你的 GPU 型号、驱动版本以及 CUDA 版本这里显示的是驱动支持的最高 CUDA 版本不影响我们已安装的 11.8。如果能看到这些信息恭喜你最复杂的一关已经过了。3. 创建独立的 Python 环境为了避免不同项目间的 Python 包版本冲突我们使用conda来创建一个干净、独立的虚拟环境。如果你还没有安装 conda可以安装轻量级的 Miniconda。# 下载 Miniconda 安装脚本以 Python 3.9 版本为例 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 运行安装脚本 bash Miniconda3-latest-Linux-x86_64.sh安装过程中按照提示操作即可一般直接按回车确认默认选项并在最后选择yes来初始化 conda。安装完成后关闭并重新打开终端或者执行source ~/.bashrc使 conda 命令生效。现在创建一个名为seers-eye的 Python 虚拟环境并指定 Python 版本为 3.9。conda create -n seers-eye python3.9 -y创建完成后激活这个环境。conda activate seers-eye你会注意到命令行提示符前面变成了(seers-eye)这表示你已经在这个独立的环境中工作了。后续所有 Python 包的安装都会局限在这个环境里。4. 安装核心依赖PyTorch 与 Transformers环境激活后我们来安装模型运行最核心的两个依赖PyTorch 和 Hugging Face Transformers。版本匹配很重要。首先安装 PyTorch。根据我们之前安装的 CUDA 11.8去 PyTorch 官网找到对应的安装命令。这里我们安装稳定版的 PyTorch 2.0。pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装完成后可以简单验证一下 PyTorch 是否能正确识别 CUDA。打开 Python 交互界面python -c import torch; print(fPyTorch version: {torch.__version__}); print(fCUDA available: {torch.cuda.is_available()})如果输出显示 CUDA 可用True那就没问题。接下来安装 Transformers 库和一些其他常用的工具包。pip install transformers accelerate sentencepiece protobuftransformers: Hugging Face 的核心库用于加载和运行模型。accelerate: 帮助优化模型在 GPU 上的加载和推理。sentencepiece: 某些模型分词器所需要的依赖。protobuf: 协议缓冲区支持常用于模型文件解析。5. 获取与启动 SEER‘S EYE 服务依赖全部就绪现在可以获取模型并启动服务了。这里我们假设你已经有 SEER‘S EYE 模型的镜像或部署包。通常它会是一个包含模型权重和简单推理脚本的压缩包。例如如果你从星图平台获取了镜像文件seers-eye.tar.gz可以这样操作# 1. 将镜像文件上传到服务器某个目录例如 /home/yourname/models/ # 2. 解压镜像文件 cd /home/yourname/models/ tar -xzf seers-eye.tar.gz # 3. 进入解压后的目录 cd seers-eye # 4. 查看目录结构通常会有模型文件.bin, .safetensors和推理脚本如 server.py, app.py ls -la一个最简单的启动方式可能是运行一个 Python 脚本。假设目录里有一个app.py文件它使用 Flask 或 FastAPI 启动了一个 Web 服务。# 确保在之前创建的 conda 环境中 conda activate seers-eye # 启动服务指定主机和端口 python app.py --host 0.0.0.0 --port 7860服务启动后你应该能在终端看到类似Running on http://0.0.0.0:7860的日志。现在你就可以在浏览器中通过http://你的服务器IP:7860来访问 SEER‘S EYE 的 Web 界面或者通过 API 端口与其交互了。6. 总结走完这一遍你会发现本地部署一个大模型其实就是一个系统化的环境配置过程。从确保 Ubuntu 系统更新开始到搞定 GPU 驱动和 CUDA再到用 conda 隔离 Python 环境最后安装对的 PyTorch 和 Transformers 版本每一步都踩稳了最后启动服务就是水到渠成。整个过程里最需要耐心的是 GPU 环境那部分有时候驱动和 CUDA 版本对不上会有点折腾。但只要按照官方文档的版本要求来问题都不大。用虚拟环境是个好习惯它能保证你的服务器干干净净以后想部署别的模型也不会互相打架。最后启动服务后如果遇到端口占用或者权限问题记得检查一下服务器的防火墙设置。好了部署完成后你就可以尽情在本地探索 SEER‘S EYE 的能力了数据安全完全由你自己掌控。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
SEER‘S EYE 本地化部署详解：基于Ubuntu系统的环境配置与依赖安装
SEERS EYE 本地化部署详解基于Ubuntu系统的环境配置与依赖安装最近有不少朋友在问有没有那种能自己掌控、数据不出本地的大模型部署方案特别是对于一些对数据安全有要求的企业或者个人开发者来说把模型部署在自己的服务器上心里才踏实。今天我就来手把手带你走一遍 SEERS EYE 模型在 Ubuntu 20.04 服务器上的本地化部署全过程。整个过程其实不复杂核心就是搭好环境、装对依赖、跑起服务。我会尽量把每一步都讲清楚包括可能会遇到的坑和解决办法。只要你有一台带 NVIDIA GPU 的 Ubuntu 20.04 服务器跟着做基本上都能成功。1. 部署前准备检查你的“地基”在开始安装任何软件之前我们得先确保服务器这个“地基”是稳固的。这步做好了后面能省去很多麻烦。首先用 SSH 连接到你的 Ubuntu 20.04 服务器。登录后第一件事就是更新系统的软件包列表并升级已有的软件到最新版本。这能确保我们后续安装的依赖都是兼容的。打开终端输入以下命令sudo apt update sudo apt upgrade -y这个命令可能会运行几分钟取决于你的网络和需要更新的包数量。完成后我们还需要安装一些构建和编译软件时常用的基础工具包。sudo apt install -y build-essential software-properties-common wget curl git接下来确认一下你的 Ubuntu 版本。虽然我们目标是 20.04但最好还是确认一下。lsb_release -a你应该能看到类似Ubuntu 20.04.x LTS的输出。确认无误后我们进入最关键的一步GPU 环境准备。2. GPU 环境搭建安装 CUDA 与驱动SEERS EYE 这类大模型推理非常依赖 GPU 的算力所以正确安装 NVIDIA 驱动和 CUDA 工具包是重中之重。这里我们选择通过 NVIDIA 官方仓库来安装兼容性最好。首先添加 NVIDIA 的官方软件仓库和密钥。# 添加 NVIDIA 仓库的 GPG 密钥 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb # 更新软件包列表使新仓库生效 sudo apt update然后安装 CUDA 工具包。对于大多数大模型CUDA 11.8 是一个稳定且广泛支持的选择。我们同时安装配套的驱动。sudo apt install -y cuda-toolkit-11-8 nvidia-driver-535安装过程可能需要一些时间。完成后必须重启服务器让新的内核模块和驱动生效。sudo reboot重启并重新登录后我们来验证安装是否成功。# 检查 NVIDIA 驱动版本 nvidia-smi # 检查 CUDA 编译器版本 nvcc --version运行nvidia-smi后你应该能看到一个表格显示了你的 GPU 型号、驱动版本以及 CUDA 版本这里显示的是驱动支持的最高 CUDA 版本不影响我们已安装的 11.8。如果能看到这些信息恭喜你最复杂的一关已经过了。3. 创建独立的 Python 环境为了避免不同项目间的 Python 包版本冲突我们使用conda来创建一个干净、独立的虚拟环境。如果你还没有安装 conda可以安装轻量级的 Miniconda。# 下载 Miniconda 安装脚本以 Python 3.9 版本为例 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 运行安装脚本 bash Miniconda3-latest-Linux-x86_64.sh安装过程中按照提示操作即可一般直接按回车确认默认选项并在最后选择yes来初始化 conda。安装完成后关闭并重新打开终端或者执行source ~/.bashrc使 conda 命令生效。现在创建一个名为seers-eye的 Python 虚拟环境并指定 Python 版本为 3.9。conda create -n seers-eye python3.9 -y创建完成后激活这个环境。conda activate seers-eye你会注意到命令行提示符前面变成了(seers-eye)这表示你已经在这个独立的环境中工作了。后续所有 Python 包的安装都会局限在这个环境里。4. 安装核心依赖PyTorch 与 Transformers环境激活后我们来安装模型运行最核心的两个依赖PyTorch 和 Hugging Face Transformers。版本匹配很重要。首先安装 PyTorch。根据我们之前安装的 CUDA 11.8去 PyTorch 官网找到对应的安装命令。这里我们安装稳定版的 PyTorch 2.0。pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装完成后可以简单验证一下 PyTorch 是否能正确识别 CUDA。打开 Python 交互界面python -c import torch; print(fPyTorch version: {torch.__version__}); print(fCUDA available: {torch.cuda.is_available()})如果输出显示 CUDA 可用True那就没问题。接下来安装 Transformers 库和一些其他常用的工具包。pip install transformers accelerate sentencepiece protobuftransformers: Hugging Face 的核心库用于加载和运行模型。accelerate: 帮助优化模型在 GPU 上的加载和推理。sentencepiece: 某些模型分词器所需要的依赖。protobuf: 协议缓冲区支持常用于模型文件解析。5. 获取与启动 SEER‘S EYE 服务依赖全部就绪现在可以获取模型并启动服务了。这里我们假设你已经有 SEER‘S EYE 模型的镜像或部署包。通常它会是一个包含模型权重和简单推理脚本的压缩包。例如如果你从星图平台获取了镜像文件seers-eye.tar.gz可以这样操作# 1. 将镜像文件上传到服务器某个目录例如 /home/yourname/models/ # 2. 解压镜像文件 cd /home/yourname/models/ tar -xzf seers-eye.tar.gz # 3. 进入解压后的目录 cd seers-eye # 4. 查看目录结构通常会有模型文件.bin, .safetensors和推理脚本如 server.py, app.py ls -la一个最简单的启动方式可能是运行一个 Python 脚本。假设目录里有一个app.py文件它使用 Flask 或 FastAPI 启动了一个 Web 服务。# 确保在之前创建的 conda 环境中 conda activate seers-eye # 启动服务指定主机和端口 python app.py --host 0.0.0.0 --port 7860服务启动后你应该能在终端看到类似Running on http://0.0.0.0:7860的日志。现在你就可以在浏览器中通过http://你的服务器IP:7860来访问 SEER‘S EYE 的 Web 界面或者通过 API 端口与其交互了。6. 总结走完这一遍你会发现本地部署一个大模型其实就是一个系统化的环境配置过程。从确保 Ubuntu 系统更新开始到搞定 GPU 驱动和 CUDA再到用 conda 隔离 Python 环境最后安装对的 PyTorch 和 Transformers 版本每一步都踩稳了最后启动服务就是水到渠成。整个过程里最需要耐心的是 GPU 环境那部分有时候驱动和 CUDA 版本对不上会有点折腾。但只要按照官方文档的版本要求来问题都不大。用虚拟环境是个好习惯它能保证你的服务器干干净净以后想部署别的模型也不会互相打架。最后启动服务后如果遇到端口占用或者权限问题记得检查一下服务器的防火墙设置。好了部署完成后你就可以尽情在本地探索 SEER‘S EYE 的能力了数据安全完全由你自己掌控。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
