我们会经常遇到有大文本文件(上GB或更大)的情况。假设需要我们手工的搜索和编辑这些大文件,或者为了解决一些特定的问题而需要手工分析多个上GB的日志文件。3种方法教你快速解决~
1、dd命令
生成一个1000M的test文件,文件内容为全0(因从/dev/zero中读取,/dev/zero为0源)。但是这样为实际写入硬盘,文件产生速度取决于硬盘读写速度,如果想要产生超大文件,速度很慢。
[root@izwz94jtz9hbdq165vpxpxz www]# dd if=/dev/zero of=test1 bs=1M count=1000 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 16.6081 s, 63.1 MB/s //内存操作速度
在某种场景下,我们只想让文件系统认为存在一个超大文件在此,但是并不实际写入硬盘。则可以使用 seek
1)count=0 表示读写 0次,指定生成文件的大小为0M
[root@izwz94jtz9hbdq165vpxpxz www]# dd if=/dev/zero of=test2 bs=1M count=0 seek=100000 0+0 records in 0+0 records out 0 bytes (0 B) copied, 0.000221494 s, 0.0 kB/s
2)count=50 表示读写 50次,指定生成文件的大小为50M
[root@izwz94jtz9hbdq165vpxpxz www]# dd if=/dev/zero of=test3 bs=1M count=50 seek=100000 50+0 records in 50+0 records out 52428800 bytes (52 MB) copied, 0.066445 s, 789 MB/s [root@izwz94jtz9hbdq165vpxpxz www]# ls -l test3 //查看目录大小 -rw-r--r-- 1 root root 104910028800 Aug 3 23:50 test3
此时创建的文件在文件系统中的显示大小为100000MB,但是并不实际占用block,因此创建速度与内存速度相当。
if (input file)代表输入文件/目录,如果不指定 if,默认就会从 stdin 中读取输入
of (output file)代表输出文件/目录,如果不指定 of,默认就会将 stdout 作为默认输出
bs 代表每次读入的block大小
count:读取的block个数
bs*count=文件大小
/dev/zero 是Linux提供的一个特殊的字符设备,它的特点是可以永远读该文件,每次读取的结果都是二进制0
seek:跳过输出文件中指定大小的部分,并不实际写入
2、truncate 命令
将文件缩减或扩展至指定大小。
选项 -s,即 size(大小)
1)指定文件不存在则创建。
2)指定文件超出指定大小则超出的数据将丢失。
3)指定文件小于指定大小则用0 补足。
[root@izwz94jtz9hbdq165vpxpxz www]# truncate -s 10G test4 [root@izwz94jtz9hbdq165vpxpxz www]# ls -l test4 -rw-r--r-- 1 root root 10737418240 Aug 3 23:14 test4
注意点:
这种文件被称为“空洞文件”,文件的部分内容并没有实际存在于硬盘上
du (disk use):默认显示的是真正的磁盘占用。
3、fallocate 命令
[root@izwz94jtz9hbdq165vpxpxz www]#fallocate -l 10G test4 fallocate: test4: fallocate failed: Operation not supported //目录创建失败,只生成了空目录 [root@izwz94jtz9hbdq165vpxpxz www]# ls -l test4 -rw-r--r-- 1 root root 0 Aug 4 00:29 test4 [root@izwz94jtz9hbdq165vpxpxz www]# du test4 0 test4
fallocate 命令可以为文件预分配物理空间。
后接空间大小,默认单位为字节。也可后跟k、m、g、t、p、e来指定单位,分别代表KB、MB、GB、TB、PB、EB