超大文件分卷压缩与解压

日常开发中,有时候会遇到超大文件的压缩与解压,比如将一个超大的视频数据集上传到百度云,而百度云是有单个文件的大小限制的,也就需要我们按照固定的大小分卷来进行上传。与此同时,将超大的数据集上传到服务器上进行训练等操作,也需要按照分卷压缩的方式,并最终解压出来!

本文将介绍我处理超大文件压缩解压的方式,并推荐一下7-Zip这个压缩软件!

0、软件安装

首先,你需要在自己电脑上安装一个压缩软件,这里我使用的是7-Zip,不过大部分的软件都有类似的功能,大家灵活取用就可以了!

1、 分卷压缩

首先,点击我们想要压缩的数据集文件夹,选择好分卷的大小,如下图所示,这里我选择1000M1G为一个分卷;

image-20200731154007974

分卷完成之后就得到了如下这几个压缩包,每个大小不超过1G,这样无论是我们上传到百度云等云平台还是到服务器都比较方便!

image-20200731154836272

2、 分卷解压

linux系统中分卷解压的命令如下:

1
2
3
4
## 首先将所有的分卷合并为一个包
cat 周杰伦.zip* > Jay.zip
## 然后解压
unzip Jay.zip

然后就可以愉快地开展后续的工作了!

-------------本文结束感谢您的阅读-------------
0%