axel - 多线程加速下载工具

axel是一款通过多线程加速下载的工具,实测比wgetcurl显著更快。

axel - 多线程加速下载工具

在使用PyTorch预训练模型的时候,发现PyTorch的预训练模型需要从https://download.pytorch.org上下载,该站点域名解析到cloudfront家的CDN,是具备全球缓存和分发能力的。不过由于一些众所周知的原因,境内下载时会遇到速度缓慢、连接不稳定、超时报错等问题,为了能够在服务器上正常下载预训练模型,进行fine-tune,我尝试了wgetcurl进行手动下载,但速度都非常缓慢。最终我找到了axel,通过多线程顺利下载成功。

1 Introduction

axel - GitHub.com

Axel tries to accelerate the download process by using multiple connections per file, and can also balance the load between different servers.

Axel tries to be as light as possible, so it might be useful on byte-critical systems.

Axel supports HTTP, HTTPS, FTP and FTPS protocols.

Axel通过建立多个连接来下载同一个文件,而且还具备在不同服务器之间负载均衡的能力。

Axel非常轻量,可适用于极端小内存设备。

Axel支持HTTP, HTTPS, FTP和FTPS协议。

2 Usage

1
axel <url>
  • 即可下载<url>对应的文件