Python教程

python获取大文件行数

本文主要是介绍python获取大文件行数,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

python获取大文件行数

背景:处理一些日志或者请求数据时,几百万行的数据,有时候在做性能测试任务时估算出大概需要的词表数,需要一定行数的数据,需要提前看下原始文件大小,在这记一下,的确比较快

代码如下:

# 获取文件行数,一块一块读取
def get_file_lines(filePath):
    with open(filePath, 'rb') as f:
        count = 0
        buf_size = 1024 * 1024
        buf = f.read(buf_size)
        while buf:
            count += buf.count(b'\n')
            buf = f.read(buf_size)
        return count
		
# 用法
filePath = "/home/alisleepy/all_query"
lines = get_file_lines(filePath)
print "文件行数:" + str(lines)

这篇关于python获取大文件行数的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!