大模型本地部署tip

官网及github推荐安装方式以lmdeploy为例成功率较低建议用【推荐】方式0、准备好硬件环境然后下载conda地址https://www.anaconda.com/download/success对应操作系统下载安装linux之间传输用scp命令安装后可以通过source ~/anaconda3/etc/profile.d/conda.sh配置环境变量1、通过deepseek官网进入先点击最下栏目“研究”里的DeepSeek V3或者直接进入链接https://github.com/deepseek-ai/DeepSeek-V3【主要】2、选择LMDeploy点击进入https://github.com/InternLM/lmdeploy3、在安装好的conda我选择的是Linux和anaconda可以看第0点执行LMDeploy中对应的部署命令环境隔离多用户不会受需要多版本影响4、测试对话。【推荐】ps:用Ollama安装大模型更快配合open webui、docker可以实现快速建站和外部客户便携访问。以下介绍这种组合的部署方式1、下载Ollamacurl -fsSL https://ollama.com/install.sh | sh参考https://ollama.com/download/linux用Ollama pull命令下载模型直接调用可以参考文末图片要部署可视友好界面可以继续往下看2、安装dockers基于Ubuntusudo apt updatesudo apt install apt-transport-https ca-certificates curl software-properties-commoncurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -sudo add-apt-repository deb [archamd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stablesudo apt updatesudo apt install docker-ce基于CentOSsudo yum install -y yum-utils device-mapper-persistent-data lvm2sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.reposudo yum install docker-ceps:记得运行dockersudo systemctl start docker 检查docker服务状态可以使用sudo systemctl status docker3、安装open webui基于GPU的docker run -d -p 3000:8080 --gpusall -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama参考https://github.com/open-webui/open-webui?tabreadme-ov-file4、通过访问http://IP:3000登陆open webui首次登陆会提醒建账号)选择下载的模型即可使用本地大模型。