Vllm运行模型并连接到Dify

一、运行模型首先打开终端管理员输入wsl进入Ubuntu进行下面的四步操作就可以把模型运行起来不知道怎么运行起来的可以参考我的文章本地安装部署vllm并运行大模型conda --version conda activate vllm cd /mnt/d/software/vllm/运行脚本 python qwen-3.5-0.8b.py二、连接Dify1、首先再打开一个wsl窗口输入下面的命令查看一下自己的地址hostname -I2、打开dify下载一个vllm然后添加模型地址http://你的wsl地址:8000/v13、添加成功