今天介绍一个Python库**【filestools】**,是由一位大家很熟悉的大佬开发的。
filestools库目前包含四个工具包,这4个功能我真的超级喜欢,分别是:
在使用之前,需要安装该库。一行命令即可搞定:
pip install filestools -i https://pypi.org/simple/ -U
这个功能可以帮助我们递归展示,指定目录下的所有文件和文件夹,并且展示每个文件和文件夹的大小,一目了然。
我们以windows为例,进行说明。
整个操作,是在CMD黑窗口进行的。首先你要学会如何切换到指定盘,指定目录。
# 这样即可将C盘,切换到D盘 C:\Users\Administrator>D: # 使用cd命令,可以切换到指定盘的指定目录 C:\Users\Administrator>cd C:\Users\Administrator\Desktop\python三剑客\加盟店爬虫
这里面有两个命令:tree和tree2。
以我的电脑为基础,演示给大家看:
可以看到: 我这里执行tree命令,显示的就是未安装该库之前的系统展示。
这是由于系统环境的优先级高于本地python导致的。
此时,我们直接执行tree2命令即可。
当然,大家也不喜欢在CMD窗口中执行命令。这里我们直接在jupyter notebook中,执行如下操作:
from treedir.tree import tree_dir tree_dir(r"C:\Users\Administrator\Desktop\python三剑客\加盟店爬虫", m_level=7, no_calc=False)
结果如下:
关于tree_dir()函数,分别介绍如下3个参数:
这个功能可以帮助我们比较两个文件的差异,输出到HTML网页中。比如说,我们写了一段代码,后面改动了。但是由于代码太多,我们不知道改了哪里,此时,使用这个功能,很好的帮助我们对比。
我们来看这样一个例子,我曾经有一个a.txt文件,经过一段时间后,我对其中的内容做了修改,得到了最后的b.txt。
**需求:**想看看对哪里做了修改(如果内容很多的话)
from filediff.diff import file_diff_compare file_diff_compare("a.txt", "b.txt")
这会在当前工作目录下,生成一个html网页文件。
双击打开,观察其中的内容:
其中:黄色表示改动过的内容,绿色表示新添加过的内容,红色表示已经删除过的内容。
对于file_diff_compare()函数,有如下7个参数:
from filediff.diff import file_diff_compare file_diff_compare(file1, file2, diff_out='diff_result.html', max_width=70, numlines=0, show_all=False, no_browser=False)
对这7个参数,分别介绍如下:
这应该是我见过的最棒的图片加水印代码,给图片加水印调用的是add_mark()函数。
from watermarker.marker import add_mark # 注意:有些参数是默认参数,你可以随意修改的; add_mark(file, mark, out='output', color='#8B8B1B', size=30, opacity=0.15, space=75, angle=30)
关于add_mark()函数,分别介绍如下8个参数:
比如我们执行如下命令:
from watermarker.marker import add_mark add_mark(file=r"C:\Users\Administrator\Desktop\大学.jpg", out=r"C:\Users\Administrator\Desktop\python三剑客\加盟店爬虫", mark="黄同学", opacity=0.2, angle=30, space=30)
我们想要给大学.jpg添加一个黄同学水印,保存的位置在加盟店爬虫文件夹下,透明度是0.2,旋转角度是30°,字体之间的间隔是30。
原图如下:
最终效果如下:
我们在写爬虫的时候,经常会使用到一些参数信息,比如这样:
如果一个个手动复制,会不会显得很麻烦?
这个功能就可以解决这个问题,它能够将cURL转换为Python代码,我们只需要复制即可。
大致步骤是这样的:
以实习网的Python岗位为例,进行说明。
http://www.shixi.com/search/index?key=python
按照下图操作,我们复制了单个请求的curl。
可以看到: 这里有各种不同的请求url,然后-H后面是该请求对应的各种参数。我们需要请求哪个链接,就复制对应的curl。
仔细观察下图哦:
复制了curl后,可以粘贴出来,看看有哪些东西。
curl 'http://www.shixi.com/search/index?key=python' \ -H 'Connection: keep-alive' \ -H 'Cache-Control: max-age=0' \ -H 'Upgrade-Insecure-Requests: 1' \ -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' \ -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \ -H 'Referer: http://www.shixi.com/' \ -H 'Accept-Language: zh-CN,zh;q=0.9' \ -H 'Cookie: UM_distinctid=17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff; PHPSESSID=rpprvtdrcrvt54fkr7msgcde17; CNZZDATA1261027457=1711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311; Hm_lvt_536f42de0bcce9241264ac5d50172db7=1627741268; Hm_lpvt_536f42de0bcce9241264ac5d50172db7=1627741334' \ --compressed \ --insecure
有了上述curl后,就可以通过curl2py命令,将其转换为python代码。
from curl2py.curlParseTool import curlCmdGenPyScript curl_cmd = """curl 'http://www.shixi.com/search/index?key=python' \ -H 'Connection: keep-alive' \ -H 'Cache-Control: max-age=0' \ -H 'Upgrade-Insecure-Requests: 1' \ -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' \ -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \ -H 'Referer: http://www.shixi.com/' \ -H 'Accept-Language: zh-CN,zh;q=0.9' \ -H 'Cookie: UM_distinctid=17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff; PHPSESSID=rpprvtdrcrvt54fkr7msgcde17; CNZZDATA1261027457=1711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311; Hm_lvt_536f42de0bcce9241264ac5d50172db7=1627741268; Hm_lpvt_536f42de0bcce9241264ac5d50172db7=1627741334' \ --compressed \ --insecure""" output = curlCmdGenPyScript(curl_cmd) print(output)
最终结果如下:
可以看到,很多参数都被转换为规则的Python代码了,我们直接拿着用即可,是不是很方便。
如果你觉得这篇文章,对你有帮助的话,记得不要忘记3连,你的肯定就将是我持续输出更多优质文章的最强动力!