linux大文件压缩及解压需要注意问题

Linux】常用的压缩解压缩命令之zip命令 通过本文的介绍,读者对zip命令在Linux系统中的压缩解压缩操作有了更深入的了解。合理利用这些命令,可以在日常工作中更高效地处理文件,节省存储空间,提高数据传输效率。在选择压缩工具时,要根据实际需求综合考虑性能、压缩效果以及数据特性。希望本文对读者有所帮助,欢迎提出问题或分享使用经验。 阅读详情

注意:

  1. 大文件压缩及解压需要在后台进行,如果要查看解压详情,就要输出重定向。
  2. 远程服务器,要防止网络断开连接,导致终端关闭,此时终端断开,即使后台进行,解压以及压缩也会停止。解决方法:在指令前加nohup
  3. 小文件可以在前面加压缩及解压指令前加time,查看压缩及解压时间。
  4. 压缩时最好在需要压缩的源文件夹的同级目录运行。

常用压缩及解压指令

.tar.xz

压缩率最高,但需要压缩的时间较长。

//压缩
time tar -Jcvf test.tar.xz test  //压缩小文件查看压缩时间
nohup tar -Jcf test.tar.xz test &  //大文件后台压缩(输出后回车、再回车)--这里不加参数v
nohup tar -Jcvf test.tar.xz test  > test.xz.dump 2>&1 & //大文件后台压缩并将日志输出到test.xz.dump

//解压
tar -Jxvf test.tar.x //直接解压
time tar -Jxvf test.tar.xz -C test2/ //解压小文件到test2/查看压缩时间
nohup tar -Jxf test.tar.xz -C test2/ &  //大文件后台解压到test2/(输出后回车、再回车)--这里不加参数v
nohup tar -Jxvf test.tar.xz -C test2/ > test.xz.dump  2>&1  &  //大文件后台解压并将日志输出到test.xz.dump	

.zip

timenohup后台运行使用方法同上
比较常用的文档压缩格式,最大的有点是跨平台,缺点是支持的压缩率不是很高。

//压缩
zip -r test.zip test

//解压
unzip test.zip  //直接解压
unzip test.zip -d test2/  //解压到test2/

.tar

timenohup后台运行使用方法同上
好处是只消耗非常少的CPU及时间打包,只是一个打包工具,并不负责压缩

//压缩
tar -jcvf test.tar test

//解压
tar -xvf test.tar  //直接解压
tar -xvf test.tar -C test2/	//解压到test2/

.tar.gz

timenohup后台运行使用方法同上
压缩时不会占用太多的CPU,就可以得到一个非常理想的压缩率。

//压缩
tar -zcvf test.tar.gz test

//解压
tar -zxvf test.tar.gz
tar -zxvf test.tar.gz  -C test2/

.tar.bz2

timenohup后台运行使用方法同上
这种压缩格式是这几种方式中压缩率几乎最好的

//压缩
tar -jcvf test.tar.bz2 test

//解压
tar -jxvf test.tar.bz2
tar -jxvf test.tar.bz2 -C test2/

.7z

//压缩
7z a -r test.7z test/*

//解压
7z x test.7z.001 -r -otest2/
-r 表示递归所有的子文件夹
-o 是指定解压到的目录,这里大家要注意-o后是没有空格的直接接目录

//分包压缩
nohup 7z a -v256m test.7z test  > test.7z.dump 2>&1 & //压缩每个包256m,并输出日志到test.7z.dump
nohup 7z a -v1g test.7z test  > test.7z.dump 2>&1 & //压缩每个包1g,并输出日志到test.7z.dump
nohup 7z a -v1g test.7z test -mx=0  > test.7z.dump 2>&1 & //压缩每个包1g,并输出日志到test.7z.dump, -mx=0表示只打包,不压缩。

个人博客:http://www.wolfnx.com/2018/07/08/LinuxBigFileCompress

作者 : wolfnx
邮箱 : wolfnx@outlook.com
邮箱2 : lostnx@gmail.com

Linux Zip解压缩命令 Zip 命令用于在 Linux 系统上创建、压缩解压缩 zip 文件 阅读详情

相关推荐

一文了解向量数据库在RAG中扮演的角色

向量数据库:AI新纪元的基石。探索如何通过这一创新技术优化RAG,提高语言模型的信息处理能力

2401_82452722的博客 2427

Linux下文件压缩、打包,看这一篇就够了

Linux下超详细文件压缩、打包详解。

阳寜的博客 5270

YOLOv12改进策略【损失函数篇】| 替换Powerful-IoU(PIoU),增强对中等质量锚框的关注力,引导锚框更直接、高效地回归

本文针对现有基于IoU的损失函数在目标检测任务中存在的问题,提出了利用Powerful-IoU(PIoU)及其升级版PIoU v2改进YOLOv12的损失函数,以提高模型精度。文章详细介绍了PIoU和PIoU v2的结构原理,并提供了在YOLOv12中实现这些损失函数的具体步骤和代码修改方法。

Limiiiing的博客 879

linux把一个大文件压缩,Linux大文件传输

我们经常需要在机器之间传输文件。比如备份,复制数据等等。这个是很常见,也是很简单的。用scp或者rsync就能很好的完成任务。但是如果文件很大,需要占用一些传输时间的时候,怎样又快又好地完成任务就很重要了。在我的测试用例中,一个最佳的方案比最差的方案,性能提高了10倍。复制文件如果我们是复制一个未压缩的文件。这里走如下步骤:压缩数据发送到另外一台机器上数据解压缩校验正确性这样做会很有效率,数据压缩...

weixin_31131927的博客 1670

linux环境tar命令,Linux tar命令常用方法

#备份文件tar -zcvpf /backups/full-backup.tar.gz /home /etc#备份不需要的文件excludetar -zcvpf /backups/full-backup.tar.gz -C / --exclude=mnt --exclude=media#有txt需要备份文件列表tar -zcvpf /backups/full-backup.tar.gz -T wh...

weixin_33716865的博客 354

linux压缩100天以上的文件,如何提高几十甚至上百G文件的压缩解压效率

如何提高几十甚至上百G文件的压缩解压效率(2012-06-05 02:21:35)标签:的如何杂谈如何提高几十甚至上百G文件的压缩解压效率需求:有几十、上百G的文件需要压缩解压。前提是不能太耗系统资源,且要减小压缩解压时间。采用多线程、多进程都比较消耗资源。CPU一下就上去了。。有没有什么其他的方法呢?采用运算量小的压缩解压算法 本帖最后由 yulihua49 于 2011-08-03 ...

weixin_32943807的博客 1498

linux tar 100g,是时候压缩非常大的(100G)文件了

我发现自己不得不压缩许多非常大的文件(80-ish GB),并且我对我的系统表现出的(缺乏)速度感到惊讶。我得到大约500 MB / min的转换速度;使用top,我似乎正在以大约100%使用单个CPU。我非常确定这不是(只是)磁盘访问速度,因为创建tar文件(这就是80G文件的创建方式)仅花费了几分钟(也许5或10),但是经过2个小时多之后,我仍然使用了简单的gzip命令未完成。综上所述:tar...

weixin_29515393的博客 5819

linux把一个大文件压缩,linux大文件压缩解压需要注意问题

注意大文件压缩解压需要在后台进行,如果要查看解压详情,就要输出重定向。远程服务器,要防止网络断开连接,导致终端关闭,此时终端断开,即使后台进行,解压以及压缩也会停止。解决方法:在指令前加nohup。小文件可以在前面加压缩解压指令前加time,查看压缩解压时间。压缩时最好在需要压缩的源文件夹的同级目录运行。常用压缩解压指令.tar.xz压缩率最高,但需要压缩的时间较长。//压缩time t...

weixin_30499091的博客 1846

linux 压缩的tar.gz压缩包,可以在windows下解压

linux 压缩的tar.gz压缩包,可以在windows下解压

xie__jin__cheng的博客 801

Linux压缩解压缩命令

tar zip unzip

qq1929892209的博客 1万+

Linux下的tar压缩解压缩命令使用

tar参数: -c:建立压缩档案 -x:解压 -t:查看内容 -r:向压缩归档文件末尾追加文件 -u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩解压档案时可选的。 -z:有gzip属性的,通过 gzip 过滤归档 -j:有bz2属性的,通过 bzip2 过滤归档 -v:显示所有过程 -Z:有compress属...

mayue_web的博客 1万+

linux关于压缩解压tar包

tar -c: 建立压缩档案 -x:解压 -t:查看内容 -r:向压缩归档文件末尾追加文件 -u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩解压档案时可选的。 -z:有gzip属性的 -j:有bz2属性的 -Z:有compress属性的 -v:显示所有过程 -O:将文件解开到标准输出 下面的参数-f是必须的 ...

奔跑的菜鸡 1万+

Linux中分卷压缩和合并解压

目录一、通过tar分卷压缩解压1. 分卷压缩2. 解压3. 校验两个文件md5码是否一致二、通过zip分卷压缩解压1. 分卷压缩2. 解压3. 校验两个文件md5码是否一致 大家可能会遇到这样的情况,一个文件很大,压缩成一个压缩包后还是很大,不方便传输(比如需要微信给别人,微信限定传输的文件大小为100M),那我们可以通过分卷压缩成几个压缩包,然后分卷传输之后在合并解压,再通过md5码校验两...

fuyun6363的博客 1万+

LINUX文件解压

LINUX文件解压缩命令

qq_56673429的博客 1万+

Linux unzip 解压缩过大文件问题

linux 解压大文件zip包

suntongxue100的博客 5862

Linux服务器下解压缩超过4G的ZIP压缩文件

Linux的unzip命令解压缩4G以上的文件会报错,这个是unzip软件本身的限制导致的。如果需要解压4G以上的ZIP压缩包,可以使用7zip工具来进行解压缩大于4G的压缩文件。访问http://sourceforge.net/projects/p7zip/files/p7zip/下载7zip的压缩包。Linux服务器下解压缩超过4G的ZIP压缩文件。

午夜的行人 2574

20190923-08Linux压缩解压类 000 016

gzip/gunzip 压缩 1.基本语法 gzip 文件 (功能描述:压缩文件,只能将文件压缩为*.gz文件) gunzip 文件.gz (功能描述:解压缩文件命令) 2.经验技巧 (1)只能压缩文件不能压缩目录 (2)不保留原来的文件 3.案例实操 (1)gzip压缩 [root@hadoop101 ~]# ls test.java [root@hadoop10...

weixin_30642029的博客 759

一文讲解 Linux 所有文件压缩/解压缩操作(tar、gzip、zip/unzip、xz等命令)

Linux常用压缩/解压缩操作,一文理清楚。

zwl2220943286的博客 7218

Linux压缩文件常用操作的命令大全

Linux系统中,压缩文件操作是一个常见的任务,可以通过多种命令来实现。本文是一些常用的Linux压缩文件命令及其基本用法。

byte轻骑兵的技术小窝 13万+

linux下的压缩解压

linux常用命令压缩解压

weixin_51884452的博客 1058

UL 458-2025.pdf

UL 458-2025.pdf

上一篇: Android中C++文件logcat打印
下一篇: Android应用层通过echo拉高gpio
lostnx
博客等级 码龄10年 45粉丝 43原创
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值