1. 为什么你需要aria2这个下载神器每次看着浏览器里那个慢吞吞的进度条是不是特别想砸键盘特别是当你急着要下载几个G的大文件时那种等待简直就是煎熬。作为一个在Linux下摸爬滚打多年的老司机我试过各种下载工具最后发现aria2才是真正的下载利器。aria2不像浏览器内置下载那样单线程工作它能同时从多个来源获取文件片段就像请了十几个工人同时搬砖一样。我实测下载同一个2GB的ISO文件浏览器单线程要40分钟而aria2开16线程只要8分钟速度直接翻了5倍。更棒的是它支持断点续传网络不稳定也不怕重头再来。这个工具特别适合以下几类人经常需要下载大文件的开发者比如Docker镜像、虚拟机镜像喜欢收集开源项目的技术爱好者需要批量下载资源的科研人员任何对下载速度不满意的Linux用户2. 从零开始安装aria22.1 不同Linux发行版的安装方法在Ubuntu/Debian系系统上安装最简单sudo apt update sudo apt install aria2如果你用的是CentOS/RHELsudo yum install epel-release sudo yum install aria2Arch用户可以直接用pacmansudo pacman -S aria2我建议安装完成后先检查下版本aria2c --version最新版通常功能最全遇到问题也容易找到解决方案。2.2 解决常见的安装问题有时候可能会遇到依赖问题特别是较老的系统。我遇到过libssl版本不兼容的情况这时候可以尝试从源码编译wget https://github.com/aria2/aria2/releases/download/release-1.36.0/aria2-1.36.0.tar.gz tar -xvf aria2-1.36.0.tar.gz cd aria2-1.36.0 ./configure make sudo make install如果提示缺少依赖可以根据错误信息安装对应的开发包比如sudo apt install libssl-dev libxml2-dev3. 基础使用从单线程到多线程3.1 最简单的下载命令最基本的下载命令和wget很像aria2c http://example.com/bigfile.iso但这样其实还是在用单线程完全没发挥aria2的优势。我刚开始用的时候犯过这个错误下载速度跟浏览器差不多差点就放弃这个工具了。3.2 开启多线程的正确姿势要让aria2真正飞起来必须使用这两个黄金参数aria2c -x16 -s16 http://example.com/bigfile.iso这里解释下参数含义-x16允许每个服务器建立最多16个连接-s16整个下载任务最多使用16个连接这两个数字不是越大越好。根据我的经验对于普通家用网络16是个比较平衡的值。太大反而会导致服务器拒绝连接或者本地网络拥堵。3.3 实测对比不同线程数的效果我做了一个小实验下载同一个500MB的文件线程数耗时速度提升14分30秒基准41分50秒2.4倍81分05秒4.1倍1645秒6倍3240秒6.7倍可以看到从1线程到16线程提升明显但再往上收益就递减了。而且线程数太多可能会导致IP被临时封禁所以16是个比较安全的选择。4. 配置文件一劳永逸的优化方案4.1 创建你的专属配置文件每次都输入一堆参数太麻烦了我们可以把常用设置写到配置文件里mkdir -p ~/.aria2 nano ~/.aria2/aria2.conf这是我的配置文件内容你可以参考# 连接设置 max-concurrent-downloads5 max-connection-per-server16 split16 min-split-size1M # 断点续传 continuetrue save-session-interval60 save-session~/.aria2/session.txt # 速度限制 max-overall-download-limit0 max-download-limit0 # 日志 log-levelwarn log~/.aria2/aria2.log4.2 配置文件详解重点说几个关键参数max-concurrent-downloads同时进行的下载任务数我设为5是因为我的SSD并发写入性能最佳值在这里min-split-size文件分段的最小大小设太小会导致请求头开销过大save-session-interval每60秒自动保存一次下载进度防止意外中断使用配置文件启动aria2aria2c --conf-path~/.aria2/aria2.conf http://example.com/file1 http://example.com/file24.3 高级配置技巧如果你经常下载国外资源可以设置代理注意仅限合法用途# 代理设置 #all-proxyhttp://proxy.example.com:8080 #all-proxy-userusername #all-proxy-passwdpassword对于BT下载建议添加这些设置# BT专用设置 bt-max-peers50 seed-ratio1.0 seed-time605. 分段下载与多源加速5.1 手动指定多个下载源aria2最强大的功能之一就是可以从多个镜像同时下载同一个文件aria2c http://mirror1.example.com/file.iso http://mirror2.example.com/file.iso工具会自动将文件分段从不同源下载不同部分。我测试过一个1GB的文件用单源下载要5分钟而用三个镜像源同时下载只要1分20秒。5.2 自动选择最快镜像aria2有个智能的URI选择器功能aria2c --uri-selectoradaptive http://mirror1.example.com/file.iso http://mirror2.example.com/file.iso这个adaptive模式会实时监测各镜像的速度自动将更多连接分配给速度快的源。实测比平均分配的方式还能再快15-20%。5.3 分段下载的注意事项虽然分段下载很强大但有几个坑需要注意不是所有服务器都支持分段下载有些会返回416错误下载完成后aria2需要时间合并分段大文件可能需要几分钟确保磁盘有足够空间因为合并时需要额外空间我建议对小于100MB的文件不必使用分段下载因为建立连接的开销可能抵消不了分段带来的好处。6. 种子和Metalink下载技巧6.1 BT下载的最佳实践aria2的BT下载功能非常完善aria2c --seed-time0 --bt-enable-lpdtrue torrent-file.torrent关键参数说明--seed-time0下载完成后不做种--bt-enable-lpd启用本地对等发现可以找到更多peer如果你想让下载更快可以添加tracker服务器aria2c --bt-trackerudp://tracker.opentrackr.org:1337/announce,tcp://tracker.leechers-paradise.org:6969/announce torrent-file.torrent6.2 Metalink下载的优势Metalink比普通HTTP下载更可靠因为它包含了文件校验信息和多个下载源aria2c file.metalinkaria2会自动选择最快的镜像并在下载完成后校验文件完整性。我收集Linux发行版ISO时特别爱用这个功能再也不用担心下载到损坏的文件了。7. RPC远程控制打造你的下载中心7.1 启动RPC服务要让aria2变成常驻的下载服务可以这样启动aria2c --enable-rpc --rpc-listen-all --rpc-secretmysecretpassword这样就会启动一个JSON-RPC服务默认监听6800端口。--rpc-secret参数设置了访问密码建议一定要设置。7.2 使用Web界面管理我最推荐的是AriaNg这个Web前端先安装nginxsudo apt install nginx下载AriaNg并解压到web目录wget https://github.com/mayswind/AriaNg/releases/download/1.3.4/AriaNg-1.3.4.zip sudo unzip AriaNg-1.3.4.zip -d /var/www/html/ariang浏览器访问http://你的服务器IP/ariang在设置里填入RPC密钥现在你就可以在任何设备上通过网页管理下载任务了还能看到实时的速度图表。7.3 命令行RPC客户端如果你喜欢命令行可以用aria2p这个Python客户端pip install aria2p aria2p --secretmysecretpassword常用操作# 添加任务 aria2p add http://example.com/file.iso # 查看任务列表 aria2p list # 暂停任务 aria2p pause 1 # 继续任务 aria2p resume 18. 高级技巧与疑难解答8.1 速度上不去怎么办如果发现速度不如预期可以尝试以下排查步骤检查网络带宽speedtest-cli测试单线程速度aria2c -x1 -s1 URL尝试不同线程数从4开始逐步增加检查磁盘IOiotop看是否有其他进程在占用磁盘我遇到过因为磁盘IO瓶颈导致速度上不去的情况特别是用机械硬盘的时候。解决办法是添加--file-allocationnone参数虽然这会增加碎片但能提高速度。8.2 下载目录管理技巧我习惯用这样的目录结构~/Downloads/ ├── aria2/ │ ├── configs/ │ ├── logs/ │ └── session/ └── data/ ├── movies/ ├── software/ └── temp/在配置文件中设置dir~/Downloads/data/temp on-download-complete~/scripts/move_download.sh然后写个简单的脚本自动分类#!/bin/bash # move_download.sh FILEPATH$3 FILENAME$(basename $FILEPATH) if [[ $FILENAME *.mkv || $FILENAME *.mp4 ]]; then mv $FILEPATH ~/Downloads/data/movies/ elif [[ $FILENAME *.deb || $FILENAME *.rpm ]]; then mv $FILEPATH ~/Downloads/data/software/ fi8.3 与其他工具集成aria2可以完美替代wget和curl。比如在脚本中# 下载并解压 aria2c -q -x4 -s4 https://example.com/archive.tar.gz tar xzf archive.tar.gz # 配合find批量下载 find . -name *.urls -exec aria2c -i {} \;对于开发者还可以用API集成import aria2p aria2 aria2p.API( aria2p.Client(hosthttp://localhost, port6800, secretmysecretpassword) ) download aria2.add(http://example.com/file.zip) while not download.is_complete: print(f进度: {download.progress:.1f}%) time.sleep(1)9. 安全使用注意事项虽然aria2功能强大但也要注意合理使用不要设置过高的线程数一般16-32就够了太多可能被服务器封禁下载BT时注意上传带宽设置避免影响其他网络应用定期清理已完成的任务避免session文件过大RPC接口一定要设置密码不要暴露在公网我自己的经验是在aria2.conf中添加这些限制# 速度限制样例 max-overall-upload-limit1M max-upload-limit500K # 连接限制 bt-request-peer-speed-limit50K10. 真实场景应用案例10.1 批量下载图片集假设有个包含1000张图片的列表# 生成下载列表 seq -f https://example.com/images/%04d.jpg 1 1000 imglist.txt # 使用5个并行任务每个任务16线程 aria2c -i imglist.txt -j5 -x16 -s16-j5表示同时进行5个下载任务。这样总连接数就是5x1680但aria2会智能调度不会一下子建立所有连接。10.2 下载YouTube视频配合youtube-dl使用youtube-dl --get-url https://youtu.be/视频ID | aria2c -i -或者更高级的用法youtube-dl -f bestvideobestaudio --get-url https://youtu.be/视频ID urls.txt aria2c -i urls.txt -j2 -x16 -s16这样视频和音频流会并行下载最后再用ffmpeg合并。10.3 自动同步网络资源我写了个定时脚本自动下载更新的播客#!/bin/bash # podcast-downloader.sh RSS_URLhttp://example.com/podcast/feed.xml DOWNLOAD_DIR~/Downloads/podcasts # 获取最新一集链接 EPISODE_URL$(curl -s $RSS_URL | grep -oP (?enclosure url)[^] | head -1) # 下载 aria2c -d $DOWNLOAD_DIR -x8 -s8 $EPISODE_URL然后加到crontab里每周运行一次0 20 * * 5 ~/scripts/podcast-downloader.sh
Linux下利用aria2进行高效多线程下载的完整指南
1. 为什么你需要aria2这个下载神器每次看着浏览器里那个慢吞吞的进度条是不是特别想砸键盘特别是当你急着要下载几个G的大文件时那种等待简直就是煎熬。作为一个在Linux下摸爬滚打多年的老司机我试过各种下载工具最后发现aria2才是真正的下载利器。aria2不像浏览器内置下载那样单线程工作它能同时从多个来源获取文件片段就像请了十几个工人同时搬砖一样。我实测下载同一个2GB的ISO文件浏览器单线程要40分钟而aria2开16线程只要8分钟速度直接翻了5倍。更棒的是它支持断点续传网络不稳定也不怕重头再来。这个工具特别适合以下几类人经常需要下载大文件的开发者比如Docker镜像、虚拟机镜像喜欢收集开源项目的技术爱好者需要批量下载资源的科研人员任何对下载速度不满意的Linux用户2. 从零开始安装aria22.1 不同Linux发行版的安装方法在Ubuntu/Debian系系统上安装最简单sudo apt update sudo apt install aria2如果你用的是CentOS/RHELsudo yum install epel-release sudo yum install aria2Arch用户可以直接用pacmansudo pacman -S aria2我建议安装完成后先检查下版本aria2c --version最新版通常功能最全遇到问题也容易找到解决方案。2.2 解决常见的安装问题有时候可能会遇到依赖问题特别是较老的系统。我遇到过libssl版本不兼容的情况这时候可以尝试从源码编译wget https://github.com/aria2/aria2/releases/download/release-1.36.0/aria2-1.36.0.tar.gz tar -xvf aria2-1.36.0.tar.gz cd aria2-1.36.0 ./configure make sudo make install如果提示缺少依赖可以根据错误信息安装对应的开发包比如sudo apt install libssl-dev libxml2-dev3. 基础使用从单线程到多线程3.1 最简单的下载命令最基本的下载命令和wget很像aria2c http://example.com/bigfile.iso但这样其实还是在用单线程完全没发挥aria2的优势。我刚开始用的时候犯过这个错误下载速度跟浏览器差不多差点就放弃这个工具了。3.2 开启多线程的正确姿势要让aria2真正飞起来必须使用这两个黄金参数aria2c -x16 -s16 http://example.com/bigfile.iso这里解释下参数含义-x16允许每个服务器建立最多16个连接-s16整个下载任务最多使用16个连接这两个数字不是越大越好。根据我的经验对于普通家用网络16是个比较平衡的值。太大反而会导致服务器拒绝连接或者本地网络拥堵。3.3 实测对比不同线程数的效果我做了一个小实验下载同一个500MB的文件线程数耗时速度提升14分30秒基准41分50秒2.4倍81分05秒4.1倍1645秒6倍3240秒6.7倍可以看到从1线程到16线程提升明显但再往上收益就递减了。而且线程数太多可能会导致IP被临时封禁所以16是个比较安全的选择。4. 配置文件一劳永逸的优化方案4.1 创建你的专属配置文件每次都输入一堆参数太麻烦了我们可以把常用设置写到配置文件里mkdir -p ~/.aria2 nano ~/.aria2/aria2.conf这是我的配置文件内容你可以参考# 连接设置 max-concurrent-downloads5 max-connection-per-server16 split16 min-split-size1M # 断点续传 continuetrue save-session-interval60 save-session~/.aria2/session.txt # 速度限制 max-overall-download-limit0 max-download-limit0 # 日志 log-levelwarn log~/.aria2/aria2.log4.2 配置文件详解重点说几个关键参数max-concurrent-downloads同时进行的下载任务数我设为5是因为我的SSD并发写入性能最佳值在这里min-split-size文件分段的最小大小设太小会导致请求头开销过大save-session-interval每60秒自动保存一次下载进度防止意外中断使用配置文件启动aria2aria2c --conf-path~/.aria2/aria2.conf http://example.com/file1 http://example.com/file24.3 高级配置技巧如果你经常下载国外资源可以设置代理注意仅限合法用途# 代理设置 #all-proxyhttp://proxy.example.com:8080 #all-proxy-userusername #all-proxy-passwdpassword对于BT下载建议添加这些设置# BT专用设置 bt-max-peers50 seed-ratio1.0 seed-time605. 分段下载与多源加速5.1 手动指定多个下载源aria2最强大的功能之一就是可以从多个镜像同时下载同一个文件aria2c http://mirror1.example.com/file.iso http://mirror2.example.com/file.iso工具会自动将文件分段从不同源下载不同部分。我测试过一个1GB的文件用单源下载要5分钟而用三个镜像源同时下载只要1分20秒。5.2 自动选择最快镜像aria2有个智能的URI选择器功能aria2c --uri-selectoradaptive http://mirror1.example.com/file.iso http://mirror2.example.com/file.iso这个adaptive模式会实时监测各镜像的速度自动将更多连接分配给速度快的源。实测比平均分配的方式还能再快15-20%。5.3 分段下载的注意事项虽然分段下载很强大但有几个坑需要注意不是所有服务器都支持分段下载有些会返回416错误下载完成后aria2需要时间合并分段大文件可能需要几分钟确保磁盘有足够空间因为合并时需要额外空间我建议对小于100MB的文件不必使用分段下载因为建立连接的开销可能抵消不了分段带来的好处。6. 种子和Metalink下载技巧6.1 BT下载的最佳实践aria2的BT下载功能非常完善aria2c --seed-time0 --bt-enable-lpdtrue torrent-file.torrent关键参数说明--seed-time0下载完成后不做种--bt-enable-lpd启用本地对等发现可以找到更多peer如果你想让下载更快可以添加tracker服务器aria2c --bt-trackerudp://tracker.opentrackr.org:1337/announce,tcp://tracker.leechers-paradise.org:6969/announce torrent-file.torrent6.2 Metalink下载的优势Metalink比普通HTTP下载更可靠因为它包含了文件校验信息和多个下载源aria2c file.metalinkaria2会自动选择最快的镜像并在下载完成后校验文件完整性。我收集Linux发行版ISO时特别爱用这个功能再也不用担心下载到损坏的文件了。7. RPC远程控制打造你的下载中心7.1 启动RPC服务要让aria2变成常驻的下载服务可以这样启动aria2c --enable-rpc --rpc-listen-all --rpc-secretmysecretpassword这样就会启动一个JSON-RPC服务默认监听6800端口。--rpc-secret参数设置了访问密码建议一定要设置。7.2 使用Web界面管理我最推荐的是AriaNg这个Web前端先安装nginxsudo apt install nginx下载AriaNg并解压到web目录wget https://github.com/mayswind/AriaNg/releases/download/1.3.4/AriaNg-1.3.4.zip sudo unzip AriaNg-1.3.4.zip -d /var/www/html/ariang浏览器访问http://你的服务器IP/ariang在设置里填入RPC密钥现在你就可以在任何设备上通过网页管理下载任务了还能看到实时的速度图表。7.3 命令行RPC客户端如果你喜欢命令行可以用aria2p这个Python客户端pip install aria2p aria2p --secretmysecretpassword常用操作# 添加任务 aria2p add http://example.com/file.iso # 查看任务列表 aria2p list # 暂停任务 aria2p pause 1 # 继续任务 aria2p resume 18. 高级技巧与疑难解答8.1 速度上不去怎么办如果发现速度不如预期可以尝试以下排查步骤检查网络带宽speedtest-cli测试单线程速度aria2c -x1 -s1 URL尝试不同线程数从4开始逐步增加检查磁盘IOiotop看是否有其他进程在占用磁盘我遇到过因为磁盘IO瓶颈导致速度上不去的情况特别是用机械硬盘的时候。解决办法是添加--file-allocationnone参数虽然这会增加碎片但能提高速度。8.2 下载目录管理技巧我习惯用这样的目录结构~/Downloads/ ├── aria2/ │ ├── configs/ │ ├── logs/ │ └── session/ └── data/ ├── movies/ ├── software/ └── temp/在配置文件中设置dir~/Downloads/data/temp on-download-complete~/scripts/move_download.sh然后写个简单的脚本自动分类#!/bin/bash # move_download.sh FILEPATH$3 FILENAME$(basename $FILEPATH) if [[ $FILENAME *.mkv || $FILENAME *.mp4 ]]; then mv $FILEPATH ~/Downloads/data/movies/ elif [[ $FILENAME *.deb || $FILENAME *.rpm ]]; then mv $FILEPATH ~/Downloads/data/software/ fi8.3 与其他工具集成aria2可以完美替代wget和curl。比如在脚本中# 下载并解压 aria2c -q -x4 -s4 https://example.com/archive.tar.gz tar xzf archive.tar.gz # 配合find批量下载 find . -name *.urls -exec aria2c -i {} \;对于开发者还可以用API集成import aria2p aria2 aria2p.API( aria2p.Client(hosthttp://localhost, port6800, secretmysecretpassword) ) download aria2.add(http://example.com/file.zip) while not download.is_complete: print(f进度: {download.progress:.1f}%) time.sleep(1)9. 安全使用注意事项虽然aria2功能强大但也要注意合理使用不要设置过高的线程数一般16-32就够了太多可能被服务器封禁下载BT时注意上传带宽设置避免影响其他网络应用定期清理已完成的任务避免session文件过大RPC接口一定要设置密码不要暴露在公网我自己的经验是在aria2.conf中添加这些限制# 速度限制样例 max-overall-upload-limit1M max-upload-limit500K # 连接限制 bt-request-peer-speed-limit50K10. 真实场景应用案例10.1 批量下载图片集假设有个包含1000张图片的列表# 生成下载列表 seq -f https://example.com/images/%04d.jpg 1 1000 imglist.txt # 使用5个并行任务每个任务16线程 aria2c -i imglist.txt -j5 -x16 -s16-j5表示同时进行5个下载任务。这样总连接数就是5x1680但aria2会智能调度不会一下子建立所有连接。10.2 下载YouTube视频配合youtube-dl使用youtube-dl --get-url https://youtu.be/视频ID | aria2c -i -或者更高级的用法youtube-dl -f bestvideobestaudio --get-url https://youtu.be/视频ID urls.txt aria2c -i urls.txt -j2 -x16 -s16这样视频和音频流会并行下载最后再用ffmpeg合并。10.3 自动同步网络资源我写了个定时脚本自动下载更新的播客#!/bin/bash # podcast-downloader.sh RSS_URLhttp://example.com/podcast/feed.xml DOWNLOAD_DIR~/Downloads/podcasts # 获取最新一集链接 EPISODE_URL$(curl -s $RSS_URL | grep -oP (?enclosure url)[^] | head -1) # 下载 aria2c -d $DOWNLOAD_DIR -x8 -s8 $EPISODE_URL然后加到crontab里每周运行一次0 20 * * 5 ~/scripts/podcast-downloader.sh
