MD5簡介
Message Digest Algorithm MD5(中文名為消息摘要算法第五版)為計算機安全領域廣泛使用的一種散列函數(shù)，用以提供消息的完整性保護。該算法的文件號為RFC 1321(R.Rivest,MIT Laboratory for Computer Science and RSA Data Security Inc. April 1992)。
MD5即Message-Digest Algorithm 5(信息-摘要算法5)，用于確保信息傳輸完整一致。是計算機廣泛使用的雜湊算法之一(又譯摘要算法、哈希算法)，主流編程語言普遍已有MD5實現(xiàn)。將數(shù)據(jù)(如漢字)運算為另一固定長度值，是雜湊算法的基礎原理，MD5的前身有MD2、MD3和MD4。
MD5算法具有以下特點:
1、壓縮性:任意長度的數(shù)據(jù)，算出的MD5值長度都是固定的。
2、容易計算:從原數(shù)據(jù)計算出MD5值很容易。
3、抗修改性:對原數(shù)據(jù)進行任何改動，哪怕只修改1個字節(jié)，所得到的MD5值都有很大區(qū)別。
4、強抗碰撞:已知原數(shù)據(jù)和其MD5值，想找到一個具有相同MD5值的數(shù)據(jù)(即偽造數(shù)據(jù))是非常困難的。
MD5的作用是讓大容量信息在用數(shù)字簽名軟件簽署私人密鑰前被"壓縮"成一種保密的格式(就是把一個任意長度的字節(jié)串變換成一定長的十六進制數(shù)字串)。除了MD5以外，其中比較有名的還有sha-1、RIPEMD以及Haval等。
舉個實際應用的例子。比如你在百度云qq群文件等上傳文件的時候，有時上傳幾百兆的文件可以幾秒內(nèi)完成，是真的網(wǎng)絡有這么快么？不是，通常是服務器已經(jīng)存在你所上傳的文件。那么系統(tǒng)是如何確定服務器已經(jīng)存在你要上傳的文件的呢？多為計算你要上傳文件的MD5，如果MD5和已有文件的MD5一致，就認為文件已經(jīng)存在。
參考資料
計算MD5
linux 下 shell命令行工具md5sum用于計算與校驗RFC 1321所描述的128位MD5哈希值。
$ echo "hello" > hello
$ md5sum hello
b1946ac92492d2347c6235b4d2611184 hello
上述過程也可以用python3實現(xiàn)
>>> import hashlib
>>> hashlib.md5(open('hello','rb').read()).hexdigest()
'b1946ac92492d2347c6235b4d2611184'
上述代碼的函數(shù)封裝，參見get_md5函數(shù)。
[Md5sum 英文維基百科參考](https://en.wikipedia.org/wiki/Md5sum）
MD5值重復文件多進程檢查工具
測試過程中經(jīng)常發(fā)現(xiàn)MD5值相同的圖片。之前沒有用并發(fā)，檢查過程經(jīng)常需要一個小時，現(xiàn)在改成多進程。一般3分鐘以內(nèi)可以完成處理(48核)。
此模式也是自行開發(fā)性能測試工具的模型之一。
代碼：
#!/usr/bin/python3
# -*- coding: utf-8 -*-
# Author: xurongzhong#126.com 技術支持qq群：144081101
# CreateDate: 2018-1-8
# check_md5.py
import multiprocessing
from pathlib import Path
import argparse
import os
import data_common
def consumer(queue, results, lock):
while True:
item = queue.get()
if item is None:
break
name = os.path.basename(item)
md5 = data_common.get_md5(item, is_file=True)
with lock:
if md5 in results:
print("Same md5", results[md5], name)
else:
results[md5] =[]
results[md5] = results[md5] + [name]
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('directory', action="store", help=u'目錄')
parser.add_argument('-t', action="store", dest="typename",
default="*", help=u'文件擴展名')
parser.add_argument('--version', action='version',
version='%(prog)s 1.1 Rongzhong xu 2018 03 22')
options = parser.parse_args()
process = []
queue = multiprocessing.Queue()
results = multiprocessing.Manager().dict()
lock = multiprocessing.Lock()
if multiprocessing.cpu_count() < 3:
number = multiprocessing.cpu_count()
else:
number = multiprocessing.cpu_count() - 1
# Launch the consumer process
for i in range(number):
t = multiprocessing.Process(
target=consumer,args=(queue, results, lock))
t.daemon=True
process.append(t)
for i in range(number):
process[i].start()
p = Path(options.directory)
for item in p.glob('**/*.{}'.format(options.typename)):
queue.put(str(item))
for i in range(number):
queue.put(None)
for i in range(number):
process[i].join()
f = open("md5_files.txt",'w')
f2 = open("files.txt",'w')
for item in dict(results):
f2.write("{},{}\n".format(item,results[item]))
if len(results[item]) > 1:
f.write("{},{}\n".format(item,results[item]))
演示
#!python
$ python3 check_md5.py /home/andrew/code/paper
Same md5 ['2018.01.07-19.38.15_0.9999967.jpg'] 2018.01.07-19.38.15_0.99999679.jpg
$ cat md5_files.txt
43c5a6e1dcf79d095e97ce63885c5cd7,['2018.01.07-19.38.15_0.9999967.jpg', '2018.01.07-19.38.15_0.99999679.jpg']
andrew@andrew-PowerEdge-T630:~/code/mobile_data/tools$
注意，求MD5值依賴data_common.py
上面使用的多進程屬于python高性能的內(nèi)容，如需想深入了解可以參考書籍 。
