日常开发中,有时候会遇到超大文件的压缩与解压,比如将一个超大的视频数据集上传到百度云,而百度云是有单个文件的大小限制的,也就需要我们按照固定的大小分卷来进行上传。与此同时,将超大的数据集上传到服务器上进行训练等操作,也需要按照分卷压缩的方式,并最终解压出来!
本文将介绍我处理超大文件压缩解压的方式,并推荐一下7-Zip这个压缩软件!
0、软件安装
首先,你需要在自己电脑上安装一个压缩软件,这里我使用的是7-Zip,不过大部分的软件都有类似的功能,大家灵活取用就可以了!
1、 分卷压缩
首先,点击我们想要压缩的数据集文件夹,选择好分卷的大小,如下图所示,这里我选择1000M
即1G
为一个分卷;
分卷完成之后就得到了如下这几个压缩包,每个大小不超过1G
,这样无论是我们上传到百度云等云平台还是到服务器都比较方便!
2、 分卷解压
在linux
系统中分卷解压的命令如下:
1 | ## 首先将所有的分卷合并为一个包 |
然后就可以愉快地开展后续的工作了!