Phi-3-Mini-128K在VMware虚拟机中的部署指南灵活测试与资源隔离如果你对AI大模型感兴趣想上手试试Phi-3-Mini-128K但又担心直接装在自己电脑上会搞乱环境或者你的主力机资源有限那今天这个方法就特别适合你。在VMware虚拟机里部署就像给你的电脑套了个“沙盒”。你可以在里面随便折腾安装各种库、配置环境就算不小心弄乱了大不了删掉虚拟机重来完全不影响你电脑上其他工作。这对于想学习、测试或者需要在不同配置下验证模型效果的朋友来说是个非常灵活又安全的选择。这篇指南我就带你一步步走通这个流程。从创建虚拟机、安装Linux系统到配置环境、部署运行Phi-3-Mini-128K最后还会告诉你怎么方便地和宿主机交换文件。整个过程不需要你有多深的虚拟化知识跟着做就行。1. 前期准备理清思路与备好工具在动手之前我们先花几分钟把整个流程和需要的东西理清楚这样后面操作起来会更顺畅。核心思路我们的目标是在一台物理电脑宿主机上通过VMware软件虚拟出一台“子电脑”虚拟机。然后在这台虚拟的“子电脑”里安装一个干净的Linux系统并在这个系统里部署和运行Phi-3-Mini-128K模型。这样做有几个明显的好处环境隔离所有依赖库、环境变量都局限在虚拟机内不会污染宿主机。安全可控测试有风险的操作时虚拟机是完美的试验场。资源灵活可以根据需要随时调整分配给虚拟机的CPU核心数、内存大小。快照与克隆VMware可以给虚拟机拍“快照”随时回滚到某个健康状态也能快速克隆出多个相同环境方便对比测试。你需要准备好的东西宿主机一台性能还不错的Windows或Linux电脑。运行大模型尤其是如果打算启用GPU宿主机本身需要有独立的NVIDIA显卡。VMware Workstation Player/Pro虚拟化软件。个人学习用途免费的VMware Workstation Player就足够了。去VMware官网下载并安装好。Linux系统镜像推荐使用Ubuntu 22.04 LTS。这是一个非常流行且对新手友好的Linux发行版社区支持完善。去Ubuntu官网下载桌面版Desktop的ISO镜像文件。Phi-3-Mini-128K模型文件从Hugging Face等模型仓库提前下载好模型权重文件通常是.safetensors或.bin格式。考虑到虚拟机磁盘性能建议先在宿主机下载好后面再传进去。好了工具备齐思路清晰我们正式开始。2. 创建并配置你的Linux虚拟机这一步我们要在VMware里“组装”出一台虚拟电脑。2.1 新建虚拟机与安装Ubuntu打开安装好的VMware Workstation Player点击“创建新虚拟机”。安装来源选择“安装程序光盘映像文件(iso)”然后浏览找到你下载的Ubuntu 22.04 ISO文件。简易安装VMware会识别出这是Ubuntu并提示你启用“简易安装”。强烈建议勾选。这样你只需要提前设置好用户名、密码和虚拟机名称后续安装过程会自动完成无需在安装过程中交互非常省心。设置一个你容易记住的Linux用户名和密码。给虚拟机起个名字比如“Ubuntu-Phi3-Test”。虚拟机存储指定虚拟机文件存放的位置。请确保这个磁盘分区有足够大的空间建议至少预留50GB以上因为系统、模型和Python环境都会占用空间。虚拟机硬件配置这是关键一步。点击“自定义硬件”。内存运行Phi-3-Mini-128K建议给虚拟机分配至少8GB内存。如果你的宿主机内存充足比如16G以上分配12GB或16GB体验会更流畅。处理器分配至少2个核心4个核心更好。这会影响模型加载和推理的速度。硬盘建议大小设置为40GB以上选择“将虚拟磁盘存储为单个文件”。网络适配器默认的“NAT”模式就行。这样虚拟机能通过宿主机的网络上网同时宿主机和虚拟机之间也能互相访问。其他声卡、打印机等不需要可以移除。配置完成后点击完成。VMware会自动启动虚拟机并开始无人值守安装Ubuntu。泡杯茶等几分钟系统就装好了。2.2 安装VMware Tools增强工具系统安装完成后第一件事就是安装VMware Tools。这个工具包至关重要它能让虚拟机屏幕分辨率自适应窗口大小。在宿主机和虚拟机之间无缝共享剪贴板可以直接复制粘贴文本。启用文件夹共享功能后面传文件就靠它。在VMware菜单栏点击“虚拟机” - “安装VMware Tools”。这时虚拟机会自动挂载一个包含安装程序的虚拟光盘。在虚拟机里打开文件管理器你应该能看到这个光盘。把里面的VMwareTools-xxx.tar.gz压缩包复制到你的用户目录比如/home/你的用户名/下。然后打开终端快捷键CtrlAltT执行以下命令# 进入你复制压缩包的目录 cd ~ # 解压 tar -xzvf VMwareTools-*.tar.gz # 进入解压出的目录目录名可能略有不同 cd vmware-tools-distrib/ # 以root权限运行安装脚本过程中一路按回车选择默认选项即可 sudo ./vmware-install.pl安装完成后根据提示重启虚拟机。重启后你会发现鼠标可以自由进出虚拟机窗口屏幕显示也更舒服了。3. 配置虚拟机内的AI运行环境现在我们有了一个干净的Ubuntu系统。接下来要把它打造成一个能跑AI模型的环境。3.1 系统更新与基础依赖首先打开终端更新系统软件包列表并升级现有软件sudo apt update sudo apt upgrade -y安装一些后续可能需要的编译工具和依赖sudo apt install -y build-essential git curl wget software-properties-common3.2 安装Python与PipUbuntu 22.04默认可能已经安装了Python 3.10但我们最好确保一下并安装Pip包管理工具sudo apt install -y python3 python3-pip python3-venv验证安装python3 --version pip3 --version3.3 可选但推荐配置GPU支持如果你想在虚拟机内使用GPU来加速模型推理需要完成一个稍微复杂但值得的步骤GPU直通Passthrough或使用vGPU。这里简述一下思路因为具体步骤严重依赖宿主机硬件和VMware版本。前提宿主机必须有独立NVIDIA显卡主板和CPU需要支持VT-d/AMD-Vi技术。VMware设置在虚拟机关机状态下编辑其设置在“硬件”选项卡中添加“PCI设备”然后选择你的物理GPU。宿主机准备需要在宿主机上提前安装好NVIDIA显卡驱动。虚拟机内操作启动虚拟机后同样需要安装对应版本的NVIDIA驱动和CUDA工具包。请注意GPU直通配置相对复杂且一旦直通给虚拟机宿主机将无法使用该GPU。对于纯学习测试如果模型不大如Phi-3-Mini仅用CPU推理也是可行的只是速度会慢一些。本篇教程后续步骤以CPU环境为例如果你成功配置了GPU只需在安装PyTorch时选择CUDA版本即可。3.4 创建Python虚拟环境并安装PyTorch为了避免包冲突我们为这个项目创建一个独立的Python虚拟环境。# 创建一个名为‘phi3_env’的虚拟环境 python3 -m venv phi3_env # 激活虚拟环境 source phi3_env/bin/activate激活后你的命令行提示符前面会出现(phi3_env)字样。接下来安装PyTorch。去 PyTorch官网 根据你的环境有无CUDA选择安装命令。例如对于仅CPU的Linux环境pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu如果配置了GPU并安装了CUDA 11.8则可能安装pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1183.5 安装Transformer等必要库Phi-3-Mini-128K可以通过Hugging Face的transformers库来调用。pip3 install transformers accelerate sentencepiecetransformers: Hugging Face的核心库用于加载和运行模型。accelerate: 帮助优化模型在CPU/GPU上的运行。sentencepiece: Phi-3模型使用的分词器依赖。4. 部署与运行Phi-3-Mini-128K环境终于准备好了现在让我们把模型请进来并让它开口说话。4.1 共享文件夹宿主机与虚拟机传文件之前安装的VMware Tools派上用场了。我们需要设置一个共享文件夹这样在宿主机下载好的模型文件就能直接在虚拟机里访问。在VMware中设置共享先关闭虚拟机。在VMware的虚拟机设置中找到“选项”选项卡 - “共享文件夹”。选择“总是启用”然后点击“添加”按照向导添加一个宿主机上的文件夹例如D:\Models。给它起个在虚拟机里能看到的名字比如shared_models。在虚拟机中访问启动虚拟机。共享文件夹通常会自动挂载在/mnt/hgfs/目录下。你可以通过以下命令查看和访问ls /mnt/hgfs/ # 应该能看到 shared_models cd /mnt/hgfs/shared_models现在你可以把宿主机上下载的Phi-3-Mini-128K模型文件夹直接复制到这个共享文件夹里虚拟机里就能立刻看到。4.2 加载模型并运行第一个推理假设你的模型文件已经通过共享文件夹放到了虚拟机的/mnt/hgfs/shared_models/phi-3-mini-128k-instruct路径下。在虚拟机的终端里确保虚拟环境phi3_env已激活创建一个Python脚本比如叫run_phi3.pyfrom transformers import AutoModelForCausalLM, AutoTokenizer import torch # 指定模型路径根据你的实际路径修改 model_path /mnt/hgfs/shared_models/phi-3-mini-128k-instruct print(正在加载模型和分词器这可能需要几分钟...) tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, # 使用半精度减少内存占用 device_mapauto, # 自动分配设备CPU或GPU trust_remote_codeTrue ) print(模型加载完成) # 准备对话 messages [ {role: user, content: 请用简单的语言解释一下什么是人工智能。} ] # 应用聊天模板并生成 inputs tokenizer.apply_chat_template(messages, add_generation_promptTrue, return_tensorspt) inputs inputs.to(model.device) # 将输入移动到模型所在的设备 # 生成回复 outputs model.generate(inputs, max_new_tokens200, do_sampleTrue, temperature0.7, top_p0.9) response tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokensTrue) print(\n--- 模型回复 ---) print(response)保存脚本后在终端运行python3 run_phi3.py第一次运行会需要一些时间加载模型。看到“模型加载完成”后稍等片刻你就能看到Phi-3-Mini生成的回答了。恭喜你在虚拟机里成功部署并运行了AI大模型5. 总结走完这一趟你应该已经成功在VMware虚拟机里搭建起了一个独立的Phi-3-Mini-128K测试环境。回顾一下整个过程的核心就是隔离与灵活通过虚拟机把复杂的Python环境、庞大的模型文件与你的主力工作系统分开通过共享文件夹又让两者之间能方便地传递数据。这种方式的优势在长期学习和迭代中会越来越明显。你可以随时为这个虚拟机创建“快照”在尝试安装新库或调整配置前保存一个稳定状态失败了就一键还原。你也可以基于这个干净的镜像克隆出多个环境分别测试不同版本的库或者不同的模型。当然虚拟机部署的性能开销是客观存在的尤其是没有GPU直通的情况下推理速度会比物理机慢。但对于学习、功能验证和安全性要求高的初步测试来说这点代价是完全值得的。下次当你又想尝试一个新鲜但不确定的AI项目时不妨先把它放进虚拟机这个“沙盒”里玩一玩。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Phi-3-Mini-128K在VMware虚拟机中的部署指南：灵活测试与资源隔离
Phi-3-Mini-128K在VMware虚拟机中的部署指南灵活测试与资源隔离如果你对AI大模型感兴趣想上手试试Phi-3-Mini-128K但又担心直接装在自己电脑上会搞乱环境或者你的主力机资源有限那今天这个方法就特别适合你。在VMware虚拟机里部署就像给你的电脑套了个“沙盒”。你可以在里面随便折腾安装各种库、配置环境就算不小心弄乱了大不了删掉虚拟机重来完全不影响你电脑上其他工作。这对于想学习、测试或者需要在不同配置下验证模型效果的朋友来说是个非常灵活又安全的选择。这篇指南我就带你一步步走通这个流程。从创建虚拟机、安装Linux系统到配置环境、部署运行Phi-3-Mini-128K最后还会告诉你怎么方便地和宿主机交换文件。整个过程不需要你有多深的虚拟化知识跟着做就行。1. 前期准备理清思路与备好工具在动手之前我们先花几分钟把整个流程和需要的东西理清楚这样后面操作起来会更顺畅。核心思路我们的目标是在一台物理电脑宿主机上通过VMware软件虚拟出一台“子电脑”虚拟机。然后在这台虚拟的“子电脑”里安装一个干净的Linux系统并在这个系统里部署和运行Phi-3-Mini-128K模型。这样做有几个明显的好处环境隔离所有依赖库、环境变量都局限在虚拟机内不会污染宿主机。安全可控测试有风险的操作时虚拟机是完美的试验场。资源灵活可以根据需要随时调整分配给虚拟机的CPU核心数、内存大小。快照与克隆VMware可以给虚拟机拍“快照”随时回滚到某个健康状态也能快速克隆出多个相同环境方便对比测试。你需要准备好的东西宿主机一台性能还不错的Windows或Linux电脑。运行大模型尤其是如果打算启用GPU宿主机本身需要有独立的NVIDIA显卡。VMware Workstation Player/Pro虚拟化软件。个人学习用途免费的VMware Workstation Player就足够了。去VMware官网下载并安装好。Linux系统镜像推荐使用Ubuntu 22.04 LTS。这是一个非常流行且对新手友好的Linux发行版社区支持完善。去Ubuntu官网下载桌面版Desktop的ISO镜像文件。Phi-3-Mini-128K模型文件从Hugging Face等模型仓库提前下载好模型权重文件通常是.safetensors或.bin格式。考虑到虚拟机磁盘性能建议先在宿主机下载好后面再传进去。好了工具备齐思路清晰我们正式开始。2. 创建并配置你的Linux虚拟机这一步我们要在VMware里“组装”出一台虚拟电脑。2.1 新建虚拟机与安装Ubuntu打开安装好的VMware Workstation Player点击“创建新虚拟机”。安装来源选择“安装程序光盘映像文件(iso)”然后浏览找到你下载的Ubuntu 22.04 ISO文件。简易安装VMware会识别出这是Ubuntu并提示你启用“简易安装”。强烈建议勾选。这样你只需要提前设置好用户名、密码和虚拟机名称后续安装过程会自动完成无需在安装过程中交互非常省心。设置一个你容易记住的Linux用户名和密码。给虚拟机起个名字比如“Ubuntu-Phi3-Test”。虚拟机存储指定虚拟机文件存放的位置。请确保这个磁盘分区有足够大的空间建议至少预留50GB以上因为系统、模型和Python环境都会占用空间。虚拟机硬件配置这是关键一步。点击“自定义硬件”。内存运行Phi-3-Mini-128K建议给虚拟机分配至少8GB内存。如果你的宿主机内存充足比如16G以上分配12GB或16GB体验会更流畅。处理器分配至少2个核心4个核心更好。这会影响模型加载和推理的速度。硬盘建议大小设置为40GB以上选择“将虚拟磁盘存储为单个文件”。网络适配器默认的“NAT”模式就行。这样虚拟机能通过宿主机的网络上网同时宿主机和虚拟机之间也能互相访问。其他声卡、打印机等不需要可以移除。配置完成后点击完成。VMware会自动启动虚拟机并开始无人值守安装Ubuntu。泡杯茶等几分钟系统就装好了。2.2 安装VMware Tools增强工具系统安装完成后第一件事就是安装VMware Tools。这个工具包至关重要它能让虚拟机屏幕分辨率自适应窗口大小。在宿主机和虚拟机之间无缝共享剪贴板可以直接复制粘贴文本。启用文件夹共享功能后面传文件就靠它。在VMware菜单栏点击“虚拟机” - “安装VMware Tools”。这时虚拟机会自动挂载一个包含安装程序的虚拟光盘。在虚拟机里打开文件管理器你应该能看到这个光盘。把里面的VMwareTools-xxx.tar.gz压缩包复制到你的用户目录比如/home/你的用户名/下。然后打开终端快捷键CtrlAltT执行以下命令# 进入你复制压缩包的目录 cd ~ # 解压 tar -xzvf VMwareTools-*.tar.gz # 进入解压出的目录目录名可能略有不同 cd vmware-tools-distrib/ # 以root权限运行安装脚本过程中一路按回车选择默认选项即可 sudo ./vmware-install.pl安装完成后根据提示重启虚拟机。重启后你会发现鼠标可以自由进出虚拟机窗口屏幕显示也更舒服了。3. 配置虚拟机内的AI运行环境现在我们有了一个干净的Ubuntu系统。接下来要把它打造成一个能跑AI模型的环境。3.1 系统更新与基础依赖首先打开终端更新系统软件包列表并升级现有软件sudo apt update sudo apt upgrade -y安装一些后续可能需要的编译工具和依赖sudo apt install -y build-essential git curl wget software-properties-common3.2 安装Python与PipUbuntu 22.04默认可能已经安装了Python 3.10但我们最好确保一下并安装Pip包管理工具sudo apt install -y python3 python3-pip python3-venv验证安装python3 --version pip3 --version3.3 可选但推荐配置GPU支持如果你想在虚拟机内使用GPU来加速模型推理需要完成一个稍微复杂但值得的步骤GPU直通Passthrough或使用vGPU。这里简述一下思路因为具体步骤严重依赖宿主机硬件和VMware版本。前提宿主机必须有独立NVIDIA显卡主板和CPU需要支持VT-d/AMD-Vi技术。VMware设置在虚拟机关机状态下编辑其设置在“硬件”选项卡中添加“PCI设备”然后选择你的物理GPU。宿主机准备需要在宿主机上提前安装好NVIDIA显卡驱动。虚拟机内操作启动虚拟机后同样需要安装对应版本的NVIDIA驱动和CUDA工具包。请注意GPU直通配置相对复杂且一旦直通给虚拟机宿主机将无法使用该GPU。对于纯学习测试如果模型不大如Phi-3-Mini仅用CPU推理也是可行的只是速度会慢一些。本篇教程后续步骤以CPU环境为例如果你成功配置了GPU只需在安装PyTorch时选择CUDA版本即可。3.4 创建Python虚拟环境并安装PyTorch为了避免包冲突我们为这个项目创建一个独立的Python虚拟环境。# 创建一个名为‘phi3_env’的虚拟环境 python3 -m venv phi3_env # 激活虚拟环境 source phi3_env/bin/activate激活后你的命令行提示符前面会出现(phi3_env)字样。接下来安装PyTorch。去 PyTorch官网 根据你的环境有无CUDA选择安装命令。例如对于仅CPU的Linux环境pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu如果配置了GPU并安装了CUDA 11.8则可能安装pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1183.5 安装Transformer等必要库Phi-3-Mini-128K可以通过Hugging Face的transformers库来调用。pip3 install transformers accelerate sentencepiecetransformers: Hugging Face的核心库用于加载和运行模型。accelerate: 帮助优化模型在CPU/GPU上的运行。sentencepiece: Phi-3模型使用的分词器依赖。4. 部署与运行Phi-3-Mini-128K环境终于准备好了现在让我们把模型请进来并让它开口说话。4.1 共享文件夹宿主机与虚拟机传文件之前安装的VMware Tools派上用场了。我们需要设置一个共享文件夹这样在宿主机下载好的模型文件就能直接在虚拟机里访问。在VMware中设置共享先关闭虚拟机。在VMware的虚拟机设置中找到“选项”选项卡 - “共享文件夹”。选择“总是启用”然后点击“添加”按照向导添加一个宿主机上的文件夹例如D:\Models。给它起个在虚拟机里能看到的名字比如shared_models。在虚拟机中访问启动虚拟机。共享文件夹通常会自动挂载在/mnt/hgfs/目录下。你可以通过以下命令查看和访问ls /mnt/hgfs/ # 应该能看到 shared_models cd /mnt/hgfs/shared_models现在你可以把宿主机上下载的Phi-3-Mini-128K模型文件夹直接复制到这个共享文件夹里虚拟机里就能立刻看到。4.2 加载模型并运行第一个推理假设你的模型文件已经通过共享文件夹放到了虚拟机的/mnt/hgfs/shared_models/phi-3-mini-128k-instruct路径下。在虚拟机的终端里确保虚拟环境phi3_env已激活创建一个Python脚本比如叫run_phi3.pyfrom transformers import AutoModelForCausalLM, AutoTokenizer import torch # 指定模型路径根据你的实际路径修改 model_path /mnt/hgfs/shared_models/phi-3-mini-128k-instruct print(正在加载模型和分词器这可能需要几分钟...) tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, # 使用半精度减少内存占用 device_mapauto, # 自动分配设备CPU或GPU trust_remote_codeTrue ) print(模型加载完成) # 准备对话 messages [ {role: user, content: 请用简单的语言解释一下什么是人工智能。} ] # 应用聊天模板并生成 inputs tokenizer.apply_chat_template(messages, add_generation_promptTrue, return_tensorspt) inputs inputs.to(model.device) # 将输入移动到模型所在的设备 # 生成回复 outputs model.generate(inputs, max_new_tokens200, do_sampleTrue, temperature0.7, top_p0.9) response tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokensTrue) print(\n--- 模型回复 ---) print(response)保存脚本后在终端运行python3 run_phi3.py第一次运行会需要一些时间加载模型。看到“模型加载完成”后稍等片刻你就能看到Phi-3-Mini生成的回答了。恭喜你在虚拟机里成功部署并运行了AI大模型5. 总结走完这一趟你应该已经成功在VMware虚拟机里搭建起了一个独立的Phi-3-Mini-128K测试环境。回顾一下整个过程的核心就是隔离与灵活通过虚拟机把复杂的Python环境、庞大的模型文件与你的主力工作系统分开通过共享文件夹又让两者之间能方便地传递数据。这种方式的优势在长期学习和迭代中会越来越明显。你可以随时为这个虚拟机创建“快照”在尝试安装新库或调整配置前保存一个稳定状态失败了就一键还原。你也可以基于这个干净的镜像克隆出多个环境分别测试不同版本的库或者不同的模型。当然虚拟机部署的性能开销是客观存在的尤其是没有GPU直通的情况下推理速度会比物理机慢。但对于学习、功能验证和安全性要求高的初步测试来说这点代价是完全值得的。下次当你又想尝试一个新鲜但不确定的AI项目时不妨先把它放进虚拟机这个“沙盒”里玩一玩。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
