文章目录

• 文件操作（IO操作）
• • 文本文件和二进制文件
  • 文件操作相关模块概述
  • 创建文件对象open()
  • 文本文件的写入
  • • 基本的文件写入操作
  • 常用编码介绍
  • 中文乱码问题
  • • write()/writelines()写入数据
    • close()关闭文件流
    • with 语句(上下文管理器)
    • 文本文件的读取
    • 二进制文件的读取和写入
    • 文件对象的常用属性和方法
    • 文件任意位置操作
  • 使用 pickle 序列化
  • CSV 文件的操作
  • os 和 os.path 模块
  • os.path 模块
  • walk()递归遍历所有文件和目录
  • shutil 模块(拷贝和压缩)

文件操作（IO操作）

一个完整的程序一般都包括数据的存储和读取；我们在前面写的程序数据都没有进行实际的存储，因此 python 解释器执行完数据就消失了。

实际开发中，我们经常需要从外部存储介质（硬盘、光盘、U 盘等）读取数据，或者将程序产生的数据存储到文件中，实现“持久化”保存。

文本文件和二进制文件

按文件中数据组织形式，我们把文件分为文本文件和二进制文件两大类。

1. 文本文件
   文本文件存储的是普通“字符”文本，python 默认为 unicode 字符集（两个字节表示 一个字符，最多可以表示：65536 个），可以使用记事本程序打开。但是，像 word 软件 编辑的文档不是文本文件。
2. 二进制文件
   二进制文件把数据内容用“字节”进行存储，无法用记事本打开。必须使用专用的软件 解码。常见的有：MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。

文件操作相关模块概述

创建文件对象open()

open()函数用于创建文件对象，基本语法格式如下：

open(文件名[,打开方式])

如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：D:\a\b.txt。

为了减少“\”的输入，可以使用原始字符串：r“d:\b.txt”。
示例： f = open(r"d:\b.txt",“r”)

文本文件对象和二进制文件对象的创建： 如果我们没有增加模式“b”，则默认创建的是文本文件对象，处理的基本单元是“字 符”。如果是二进制模式“b”，则创建的是二进制文件对象，处理的基本单元是“字节”。

文本文件的写入

基本的文件写入操作

文本文件的写入一般就是三个步骤：

1. 创建文件对象
2. 写入数据
3. 关闭文件对象(关闭操作系统以及解释器占用资源)

常用编码介绍

编码间关系图

ASCII 码用 7 位表示，只能表示 128 个字符。只定义了 27=128 个字符，用 7bit 即可完全编码，而一字节 8bit 的容量是 256，所以一字节 ASCII 的编码最 高位总是 0。

ISO-8859-1 又称 Latin-1，是一个 8 位单字节字符集，它把 ASCII 的最高 位也利用起来，并兼容了 ASCII，新增的空间是 128。 在 ASCII 编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语 对应的文字符号，它是向下兼容 ASCII 编码

GB2312 全称为信息交换用汉字编码字符集。GB2312 主要收录了 6763 个汉字、682 个符号。 GB2312覆盖了汉字的大部分使用率，但不能处理像古汉语等特殊的罕用字， 所以后来出现了像 GBK、GB18030 这种编码。 GB2312 完全兼容 ISO8859-1。

Unicode 编码设计成了固定两个字节，所有的字符都用 16 位(2^16=65536) 表示，包括之前只占 8 位的英文字符等，所以会造成空间的浪费。

对于英文字母，unicode 也需要两个字节来表示。所以 unicode 不便 于传输和存储。因此而产生了 UTF 编码，UTF-8 编码兼容 iso8859-1 编码，同时也可以用来表示所有语言的字符， 不过，UTF 编码是不定长编码，每一个字符的长度从 1-4 个字节不等。其中， 英文字母都是用一个字节表示，而汉字使用三个字节。

【tips】一般项目都会使用 UTF-8。unicode 中虽然汉字是两个字节， UTF-8 中汉字是 3 个字节。但是互联网中一个网页也包含了大量的英文字母， 这些英文字母只占用 1 个字节，整体占用空间，UTF-8 仍然优于 Unicode。

中文乱码问题

windows 操作系统默认的编码是 GBK，Linux 操作系统默认的编码是 UTF-8。当我们 用 open()时，调用的是操作系统打开的文件，默认的编码是 GBK。

我们在文件编辑区单击右键，选择 FileEncoding，选择 GBK 即可


或者通过指定文件编码解决中文乱码问题
如

f = open(r"b.txt","w",encoding="utf-8")
f.write("尚学堂\n 百战程序员\n") 
f.close()

write()/writelines()写入数据

write(a)：把字符串 a 写入到文件中
writelines(b)：把字符串列表写入文件中，不添加换行符

close()关闭文件流

由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用 close()方法 关闭文件对象。当调用 close()方法时，首先会把缓冲区数据写入文件(也可以直接调用 flush() 方法)，再关闭文件，释放文件对象。

为了确保打开的文件对象正常关闭，一般结合异常机制的 finally 或者 with 关键字实现 无论何种情况都能关闭打开的文件对象。

with 语句(上下文管理器)

with 关键字（上下文管理器）可以自动管理上下文资源，不论什么原因跳出 with 块，都能 确保文件正确的关闭，并且可以在代码块执行完毕后自动还原进入该代码块时的现场。

文本文件的读取

文件的读取一般使用如下三个方法：

1. read([size])
   从文件中读取 size 个字符，并作为结果返回。如果没有 size 参数，则读取整个文件。 读取到文件末尾，会返回空字符串。
2. readline()
   读取一行内容作为结果返回。读取到文件末尾，会返回空字符串。
3. readlines()
   文本文件中，每一行作为一个字符串存入列表中，返回该列表

#a = ["wogoo\n","sfsa\n","asfgs\n"]
#b = enumerate (a)
#print(a)
#print(list(b))

with open("e","r",encoding= "utf-8")as f:
    print("文件名：{0}",format(f.name) )
    print(f.tell())
    print("读取的内容：{0}".format(str(f.readline())))
    print(f.tell())
    f.seek(3)

    print("读取的内容：{0}".format(str(f.readline())))

二进制文件的读取和写入

二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，不过，我们需要指 定二进制模式，从而创建出二进制文件对象。例如：

f = open(r"d:\a.txt", ‘wb’) #可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt", ‘ab’) #可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt", ‘rb’) #可读的二进制文件对象

创建好二进制文件对象后，仍然可以使用 write()、read()实现文件的读写操作。

文件对象的常用属性和方法

文件任意位置操作

seek()移动文件指针

使用 pickle 序列化

序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他 地方。反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。

序列化我们使用：
pickle.dump(obj, file) obj 就是要被序列化的对象，file 指的是存储的文件
pickle.load(file) 从 file 读取数据，反序列化成对象

import pickle
a1 = "高琪"
a2 = 234
a3 = [10,20,30,40]

with open("date.dat","wb") as f:
    pickle.dump(a1,f)
    pickle.dump(a2,f)
    pickle.dump(a3,f)

with open("date.dat","rb") as f:
    b1 = pickle.load(f);b2 = pickle.load(f);b3 = pickle.load(f)
    print(b1);print(b2);print(b3)

    print(id(a1));print(id(b1))

```python
高琪
234
[10, 20, 30, 40]
1588973674192
1588975321328

CSV 文件的操作

with open("ak.csv","r") as f:
    a_csv = csv.reader(f)
 #   print(list(a_csv))
    for row in a_csv:
        print(row)

with open ("ee.csv","w") as f:
    b_csv = csv.writer(f)
    b_csv .writerows(["ID","姓名","年龄"])
    b_csv .writerows(["1001","搞奇奇","18"])

    c = [["1002","嘻嘻"],["1003","dsff","sg"]]
    b_csv.writerows(c)

os 和 os.path 模块

os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行 文件、命令，直接操作文件、目录等等。在系统运维的核心基础。

#获取文件和文件夹相关信息

print(os.name) #windows-> nt linux和unix->posix
print(os.sep) #windows-> linux和unix->/
print(repr(os.linesep)) #windows->\r\n linux-->\n\

print(os.stat("python01.py "))
#关于工作目录
#print(os.getcwd() )
#os.chdir("d:") #改变当前工作目录
#os.mkdir("书籍")
#创建目录、多级目录、删除
#os.mkdir("书籍")
#os.rmdir("书籍") #相对路径都是相对于当前的工作目录
#os.makedirs("电影/港台/周星驰")
#os.removedirs("电影/港台/周星驰") #只能删除空目录
#os.makedirs("../音乐/香港/刘德华")  #../指上一级目录
#os.rename("电影","movie") #重命名
os.listdir ("movie")
print(dirs)

os.path 模块

import os
import os.path

print(os.path.isabs("d:/bb.txt"))
print(os.path.isdir("d:/bb.txt"))
print(os.path.isfile("d:/bb.txt"))
print(os.path.exists("d:/bb.txt"))

print(os.path.getsize("bb.txt") )
print(os.path.abspath("bb.txt")  )
print(os.path.dirname("bb.txt")  )

print(os.path .getatime("bb.txt ") )
print(os.path.getctime("bb.txt") )
print(os.path.getmtime("bb.txt") )

path = os.path.abspath("bb.txt .")
print(os.path.split(path))
print(os.path.splitext(path))

print(os.path.join("aa","bb","cc"))

import os
path  = os.getcwd ()
file_list = os.listdir(path)
for filename in file_list :
    if filename.endswith("py"):
        print(filename,end="\t ")

print("######")
file_list2 = [filename  for filename in os.listdir(path)if filename.endswith("py")]
for f in file_list2 :
    print(f,end="\t")

exiftool.py	 hough变换1.py	 No1.py	 NO2.py	 no3.py	 python01.py	 RGB.py	 RGB2.py	 rgb通道分离.py	 sdk-cs.py	 suyi.py	 test.py	 yanse.py	 二值图黑白像素比例.py	 伪彩色.py	 图像拼接.py	 均值方差.py	 大仓分割.py	 实际演练图像识别目标区域提取.py	 植物背景分割.py	 灰度值.py	 色块提取.py	 超红特征提取.py	 超绿特征提取.py	 面积轮廓.py	 高通滤波.py	 ######
exiftool.py	hough变换1.py	No1.py	NO2.py	no3.py	python01.py	RGB.py	RGB2.py	rgb通道分离.py	sdk-cs.py	suyi.py	test.py	yanse.py	二值图黑白像素比例.py	伪彩色.py	图像拼接.py	均值方差.py	大仓分割.py	实际演练图像识别目标区域提取.py	植物背景分割.py	灰度值.py	色块提取.py	超红特征提取.py	超绿特征提取.py	面积轮廓.py	高通滤波.py	

walk()递归遍历所有文件和目录

dirpath：要列出指定目录的路径
dirnames：目录下的所有文件夹
filenames：目录下的所有文件

#测试os.walk()地柜遍历的所有子目录

import os

all_files = []
path = os.getcwd()
list_files = os.walk(path)

for dirpath,dirnames,filenames in list_files :
    for dir in dirnames :
        all_files .append(os.path.join(dirpath,dir))
    for file in filenames :
        all_files.append(os.path.join(dirpath,file))

for file in all_files :
	print(file)

D:\tuxiangchuli\备用\00037.jpg
D:\tuxiangchuli\备用\00038.jpg
D:\tuxiangchuli\备用\00039.jpg
D:\tuxiangchuli\备用\00040.jpg
D:\tuxiangchuli\备用\00041.jpg

shutil 模块(拷贝和压缩)

shutil 模块是 python 标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做 文件和文件夹的压缩、解压缩操作。

【拷贝操作】

import shutil

shutil.copyfile("1.txt","1_copy.txt")

shutil.copytree("movie/港台","电影")
shutil.copytree("movie/港台","电影",ignore=shutil.ignore_patterns("*.txt","*.html") )

import shutil
import zipfile

#shutile.make_archive("电影/gg","zip","movie/港台")
z1 = zipfile.ZipFile("a.zip","w")
z1.write("1.txt")
z1.close()

z2 = zipfile.ZipFile ("d:/a.zip","r")
z2.extractall("电影")
z2.close() 

【压缩操作】

import os
allfiles =[]
def getAllFiles(path,level):
    childFiles = os.listdir (path)
    for file in childFiles :
        filepath = os.path .join(path,file)
        if os.path.isdir(filepath ):
            getAllFiles(filepath,level +1)
        allfiles.append("\t"*level+filepath )

getAllFiles("学习",0)

for f in reversed(allfiles ):
    print (f)