1. 云端开发环境搭建全攻略最近在帮实验室新来的研究生配置远程开发环境发现网上很多教程确实已经过时了。特别是Pycharm 2022版界面变化很大很多老教程里的按钮位置都找不到了。今天我就把整个配置过程详细记录下来从Miniconda3安装到GPU版PyTorch配置再到Pycharm远程调试和Jupyter Server设置保证新手也能轻松上手。为什么要用云端开发环境简单来说就是本地电脑性能不够跑深度学习模型而实验室或云端的服务器通常配有高性能GPU。通过这套配置你可以在自己熟悉的Pycharm界面写代码实际运行却在远程服务器的GPU上既享受了本地IDE的便利又获得了云端算力的加持。2. Miniconda3安装与环境配置2.1 安装Miniconda3的正确姿势很多教程直接让你用默认源下载Miniconda结果速度慢得让人怀疑人生。我强烈建议使用国内镜像源比如清华源速度能快10倍不止。下面是具体操作步骤# 创建安装目录 mkdir -p ~/miniconda3 # 使用清华源下载以Python3.8版本为例 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py38_4.8.3-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh # 静默安装 bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 # 清理安装包 rm -rf ~/miniconda3/miniconda.sh安装完成后有个常见坑点直接输入conda命令会提示找不到。这是因为还没把conda加入环境变量。解决方法很简单# 临时激活conda source ~/miniconda3/bin/activate # 永久生效可以添加到.bashrc echo export PATH~/miniconda3/bin:$PATH ~/.bashrc source ~/.bashrc2.2 虚拟环境管理技巧我强烈建议为每个项目创建独立的虚拟环境避免库版本冲突。比如我们要做深度学习项目# 创建名为dl_env的Python3.8环境 conda create -n dl_env python3.8 # 激活环境 conda activate dl_env # 查看已安装的包 conda list有个实用技巧在.bashrc中添加自动激活环境的配置。这样登录服务器后会自动进入指定环境echo conda activate dl_env ~/.bashrc3. GPU版PyTorch精准安装3.1 确认CUDA版本安装GPU版PyTorch前必须先确认服务器的CUDA版本nvidia-smi这个命令会显示CUDA版本右上角和GPU使用情况。比如看到CUDA 11.2就要选择对应的PyTorch版本。3.2 安装PyTorch的坑点解析PyTorch官网提供了安装命令生成器但直接复制官网命令可能会遇到两个坑默认从国外源下载速度极慢可能会错误安装成CPU版本我的解决方案是# 先添加国内镜像源 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ # 指定cudatoolkit版本安装 conda install pytorch torchvision torchaudio cudatoolkit11.2 -c pytorch安装完成后一定要验证GPU是否可用import torch print(torch.cuda.is_available()) # 应该返回True print(torch.rand(10).to(cuda)) # 测试GPU张量如果显示False很可能是安装了CPU版本。这时候需要conda uninstall pytorch torchvision torchaudio conda install pytorch torchvision torchaudio cudatoolkit11.2 -c pytorch4. PyCharm 2022远程开发配置4.1 SSH连接配置Pycharm 2022版的远程开发配置比老版本人性化很多。具体步骤打开Pycharm - Tools - Deployment - Configuration点击添加SFTP连接填写服务器IP、用户名、密码或SSH密钥在Mapping选项卡设置本地与远程路径映射关键点在于Root path的设置建议设为用户主目录比如/home/your_username/。这样在Mapping中设置的相对路径都会基于这个根目录。4.2 远程解释器配置这是最关键的步骤File - Settings - Python Interpreter点击齿轮图标 - Add选择SSH Interpreter选择之前配置好的SSH连接指定解释器路径如~/miniconda3/envs/dl_env/bin/python配置完成后Pycharm会自动同步本地代码到服务器并在远程执行。你可以在本地调试实际运行在服务器GPU上非常方便。4.3 文件同步技巧Pycharm默认不会自动同步所有文件。我建议右键项目文件夹 - Deployment - Options将Upload changed files automatically设为Always勾选Skip external changes这样修改文件后保存时会自动同步到服务器但不会同步IDE生成的临时文件。5. Jupyter Server远程配置5.1 基础Jupyter配置在服务器上安装Jupyterconda install jupyter生成配置文件jupyter notebook --generate-config设置访问密码jupyter notebook password5.2 远程访问配置修改Jupyter配置文件~/.jupyter/jupyter_notebook_config.pyc.NotebookApp.ip 0.0.0.0 c.NotebookApp.open_browser False c.NotebookApp.port 8888 # 可以改成其他端口在Pycharm中使用Jupyter打开.ipynb文件点击Configure Jupyter Server选择Existing并输入服务器地址如http://your_server:8888输入之前设置的密码5.3 Jupyter进程管理常见问题关闭笔记本后进程仍在运行。解决方法# 查看运行中的Jupyter进程 jupyter notebook list # 强制结束进程 lsof -n -i4TCP:8888 | grep LISTEN | awk {print $2} | xargs kill -9建议将常用命令写成脚本比如start_jupyter.sh#!/bin/bash nohup jupyter notebook --config ~/.jupyter/jupyter_notebook_config.py jupyter.log 21 6. 常见问题排查6.1 环境变量问题如果遇到命令找不到的情况检查环境变量echo $PATH python -c import sys; print(sys.path)确保conda环境路径在PATH中并且Python路径正确。6.2 GPU不可用问题如果torch.cuda.is_available()返回False确认PyTorch版本与CUDA版本匹配检查nvidia-smi显示GPU状态正常重新安装cudatoolkit6.3 Pycharm连接问题SSH连接失败时检查服务器sshd服务是否运行确认防火墙开放了相应端口尝试用命令行SSH连接测试7. 效率提升技巧7.1 使用tmux保持会话防止SSH断开后进程终止conda install tmux tmux new -s dev_session # 在tmux中启动Jupyter或其他长时间运行的任务 # 按CtrlB然后D退出tmux会话 # 重新连接时tmux attach -t dev_session7.2 配置SSH免密登录生成密钥对ssh-keygen -t rsa ssh-copy-id your_usernameserver_ip这样每次连接就不需要输入密码了。7.3 使用rsync高效同步文件比Pycharm自带同步更高效rsync -avz --delete --exclude.idea/ local_project/ userserver:remote_project/可以添加到Pycharm的External Tools中方便调用。这套配置方案在我们实验室已经服务了20研究生从配置到实际使用中的各种坑我都踩过了。刚开始可能需要花点时间配置但一旦搭建完成开发效率会大幅提升。特别是对于需要频繁实验不同模型参数的深度学习研究本地修改代码立即在服务器GPU上运行的感觉真的很爽。
（二）云端开发环境一站式部署：Miniconda3、GPU版PyTorch与PyCharm 2022远程调试及Jupyter Server配置实战
1. 云端开发环境搭建全攻略最近在帮实验室新来的研究生配置远程开发环境发现网上很多教程确实已经过时了。特别是Pycharm 2022版界面变化很大很多老教程里的按钮位置都找不到了。今天我就把整个配置过程详细记录下来从Miniconda3安装到GPU版PyTorch配置再到Pycharm远程调试和Jupyter Server设置保证新手也能轻松上手。为什么要用云端开发环境简单来说就是本地电脑性能不够跑深度学习模型而实验室或云端的服务器通常配有高性能GPU。通过这套配置你可以在自己熟悉的Pycharm界面写代码实际运行却在远程服务器的GPU上既享受了本地IDE的便利又获得了云端算力的加持。2. Miniconda3安装与环境配置2.1 安装Miniconda3的正确姿势很多教程直接让你用默认源下载Miniconda结果速度慢得让人怀疑人生。我强烈建议使用国内镜像源比如清华源速度能快10倍不止。下面是具体操作步骤# 创建安装目录 mkdir -p ~/miniconda3 # 使用清华源下载以Python3.8版本为例 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py38_4.8.3-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh # 静默安装 bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 # 清理安装包 rm -rf ~/miniconda3/miniconda.sh安装完成后有个常见坑点直接输入conda命令会提示找不到。这是因为还没把conda加入环境变量。解决方法很简单# 临时激活conda source ~/miniconda3/bin/activate # 永久生效可以添加到.bashrc echo export PATH~/miniconda3/bin:$PATH ~/.bashrc source ~/.bashrc2.2 虚拟环境管理技巧我强烈建议为每个项目创建独立的虚拟环境避免库版本冲突。比如我们要做深度学习项目# 创建名为dl_env的Python3.8环境 conda create -n dl_env python3.8 # 激活环境 conda activate dl_env # 查看已安装的包 conda list有个实用技巧在.bashrc中添加自动激活环境的配置。这样登录服务器后会自动进入指定环境echo conda activate dl_env ~/.bashrc3. GPU版PyTorch精准安装3.1 确认CUDA版本安装GPU版PyTorch前必须先确认服务器的CUDA版本nvidia-smi这个命令会显示CUDA版本右上角和GPU使用情况。比如看到CUDA 11.2就要选择对应的PyTorch版本。3.2 安装PyTorch的坑点解析PyTorch官网提供了安装命令生成器但直接复制官网命令可能会遇到两个坑默认从国外源下载速度极慢可能会错误安装成CPU版本我的解决方案是# 先添加国内镜像源 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ # 指定cudatoolkit版本安装 conda install pytorch torchvision torchaudio cudatoolkit11.2 -c pytorch安装完成后一定要验证GPU是否可用import torch print(torch.cuda.is_available()) # 应该返回True print(torch.rand(10).to(cuda)) # 测试GPU张量如果显示False很可能是安装了CPU版本。这时候需要conda uninstall pytorch torchvision torchaudio conda install pytorch torchvision torchaudio cudatoolkit11.2 -c pytorch4. PyCharm 2022远程开发配置4.1 SSH连接配置Pycharm 2022版的远程开发配置比老版本人性化很多。具体步骤打开Pycharm - Tools - Deployment - Configuration点击添加SFTP连接填写服务器IP、用户名、密码或SSH密钥在Mapping选项卡设置本地与远程路径映射关键点在于Root path的设置建议设为用户主目录比如/home/your_username/。这样在Mapping中设置的相对路径都会基于这个根目录。4.2 远程解释器配置这是最关键的步骤File - Settings - Python Interpreter点击齿轮图标 - Add选择SSH Interpreter选择之前配置好的SSH连接指定解释器路径如~/miniconda3/envs/dl_env/bin/python配置完成后Pycharm会自动同步本地代码到服务器并在远程执行。你可以在本地调试实际运行在服务器GPU上非常方便。4.3 文件同步技巧Pycharm默认不会自动同步所有文件。我建议右键项目文件夹 - Deployment - Options将Upload changed files automatically设为Always勾选Skip external changes这样修改文件后保存时会自动同步到服务器但不会同步IDE生成的临时文件。5. Jupyter Server远程配置5.1 基础Jupyter配置在服务器上安装Jupyterconda install jupyter生成配置文件jupyter notebook --generate-config设置访问密码jupyter notebook password5.2 远程访问配置修改Jupyter配置文件~/.jupyter/jupyter_notebook_config.pyc.NotebookApp.ip 0.0.0.0 c.NotebookApp.open_browser False c.NotebookApp.port 8888 # 可以改成其他端口在Pycharm中使用Jupyter打开.ipynb文件点击Configure Jupyter Server选择Existing并输入服务器地址如http://your_server:8888输入之前设置的密码5.3 Jupyter进程管理常见问题关闭笔记本后进程仍在运行。解决方法# 查看运行中的Jupyter进程 jupyter notebook list # 强制结束进程 lsof -n -i4TCP:8888 | grep LISTEN | awk {print $2} | xargs kill -9建议将常用命令写成脚本比如start_jupyter.sh#!/bin/bash nohup jupyter notebook --config ~/.jupyter/jupyter_notebook_config.py jupyter.log 21 6. 常见问题排查6.1 环境变量问题如果遇到命令找不到的情况检查环境变量echo $PATH python -c import sys; print(sys.path)确保conda环境路径在PATH中并且Python路径正确。6.2 GPU不可用问题如果torch.cuda.is_available()返回False确认PyTorch版本与CUDA版本匹配检查nvidia-smi显示GPU状态正常重新安装cudatoolkit6.3 Pycharm连接问题SSH连接失败时检查服务器sshd服务是否运行确认防火墙开放了相应端口尝试用命令行SSH连接测试7. 效率提升技巧7.1 使用tmux保持会话防止SSH断开后进程终止conda install tmux tmux new -s dev_session # 在tmux中启动Jupyter或其他长时间运行的任务 # 按CtrlB然后D退出tmux会话 # 重新连接时tmux attach -t dev_session7.2 配置SSH免密登录生成密钥对ssh-keygen -t rsa ssh-copy-id your_usernameserver_ip这样每次连接就不需要输入密码了。7.3 使用rsync高效同步文件比Pycharm自带同步更高效rsync -avz --delete --exclude.idea/ local_project/ userserver:remote_project/可以添加到Pycharm的External Tools中方便调用。这套配置方案在我们实验室已经服务了20研究生从配置到实际使用中的各种坑我都踩过了。刚开始可能需要花点时间配置但一旦搭建完成开发效率会大幅提升。特别是对于需要频繁实验不同模型参数的深度学习研究本地修改代码立即在服务器GPU上运行的感觉真的很爽。
