背景:
工作中需要测试某个包是否正常上传到了 yum 仓库,所以需要检测对应地址是否有效,发现之前使用requests 库写的代码出奇的慢,所以做了优化。
分别使用 requests 和 urllib 库实现
结论:使用urllib 库要比 requests 库要快。尤其是对于链接为比较大的文件时。
代码如下:
import requests import urllib.request import time def get_excute_time(fun): def wrapper(*args): start = time.time() fun(*args) end = time.time() print("spend %.2fs"%(end - start)) return wrapper @get_excute_time def get_code_by_urllib(url): status = urllib.request.urlopen(url).code return status @get_excute_time def get_code_by_requests(url): status = requests.get(url).status_code return status if __name__ == "__main__": url = "https://mirrors.openanolis.cn/anolis/8/AppStream/x86_64/os/Packages/dotnet-sdk-6.0-6.0.107-1.0.1.an8_6.x86_64.rpm" get_code_by_urllib(url) get_code_by_requests(url)
执行结果
$ python request_code.py spend 0.19s spend 11.56s
备注:
如果测试多个 url,也可以使用 threading 模块编写多线程测试,减少 io 阻塞的情况,进一步提高效率。