Python教程

[转载] Python中 hash去重

本文主要是介绍[转载] Python中 hash去重,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

参考链接: Python hash()

现在有3000条数据,需要插入到数据库中去,使用的是对链接进行MD5加密, 

hashcode = md5(str(item_url)) 然后在数据库中设置 hashcode 为UNIQUE索引 

3000条数据全部插入完毕,耗时是32s 

不使用MD5加密,耗时30秒。(https://www.cnblogs.com/xuchunlin/p/8616604.html) 

结论:MD5加密去重对时间影响不大 

https://blog.csdn.net/Mao_code/article/details/53976511 

https://blog.csdn.net/sangky/article/details/80931040 

https://www.aliyun.com/jiaocheng/445004.html 

https://www.cnblogs.com/renyuanjun/p/5562084.html 

https://blog.csdn.net/katrina1rani/article/details/80907910 

https://blog.csdn.net/yangczcsdn/article/details/81327091 

https://blog.csdn.net/idkevin/article/details/47444237(Python中巧用set做去重) 

http://outofmemory.cn/code-snippet/1191/Python-usage-hashlib-module-do-string-jiami 

python中的hashlib和base64加密模块使用实例(https://www.jb51.net/article/54631.htm) 

python学习之11 加密解密hashlib hashlib是python专门用来加密解密的库,有md5, sha1, sha224, sha256, sha384, sha512。  Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等。  什么是摘要算法呢?摘要算法又称哈希算法、散列算法。它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示)。 

(https://blog.csdn.net/lyffly2011/article/details/50733830) 

函数 用于计算用户名和密码相加得到的加密值。 

def calc_md5(username, password):     md5 = hashlib.md5()     str_dd = username + password     md5.update(str_dd.encode('utf-8'))     return md5.hexdigest() 测试源码 import hashlib 

test_string = '123456' 

md5 = hashlib.md5() md5.update(test_string.encode('utf-8')) md5_encode = md5.hexdigest() print(md5_encode) 

sha1 = hashlib.sha1() sha1.update(test_string.encode('utf-8')) sha1_encode = sha1.hexdigest() print(sha1_encode) 输出结果为 e10adc3949ba59abbe56e057f20f883e  7c4a8d09ca3762af61e59520943dc26494f8941b   

  

过程是先把文件根据hash算法转为一个唯一的hash值再进行比较,可适用于图片,txt文件等比较 

import hashlib

password = 'password'

#以md5方式加密

hash = hashlib.md5(b'j#$%^&;FD')

# hash = hashlib.md5('password')

hash.update(password.encode('utf-8'))

haword = hash.hexdigest()

print(haword)

 

import sys

import hashlib

 

def md5sum(filename):

    file_object = open(filename, 'rb')

    file_content = file_object.read()

    file_object.close()

    file_md5 = hashlib.md5(file_content)

    return file_md5

 

if __name__ == "__main__":

    hash_text = md5sum('tt.txt')

    print(hash_text.hexdigest())

    print(len(hash_text.hexdigest())) 

注意,需要以二进制的方式读入文件,若写成hashlib.md5(filename),则会变成对字符串filename计算md5 

另外对较大文件进行校验,一次性读入太大内容,导致性能低下,故一般读取部分进行处理。 

# 大文件的MD5值 def getFileMd5(self, filename): 

if not os.path.isfile(filename): 

return myhash = hashlib.md5() 

f = file(filename, 'rb') 

while True: 

b = f.read(8096) 

if not b: 

break 

myhash.update(b) 

f.close() 

return myhash.hexdigest()

这篇关于[转载] Python中 hash去重的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!