摘要算法簡介
Python的hashlib提供了常見的摘要算法，如MD5，SHA1等等。
什么是摘要算法呢？摘要算法又稱哈希算法、散列算法。它通過一個函數，把任意長度的數據轉換為一個長度固定的數據串（通常用16進制的字符串表示）。
舉個例子，你寫了一篇文章，內容是一個字符串'how to use python hashlib - by Michael'，并附上這篇文章的摘要是'2d73d4f15c0db7f5ecb321b6a65e5d6d'。如果有人篡改了你的文章，并發表為'how to use python hashlib - by Bob'，你可以一下子指出Bob篡改了你的文章，因為根據'how to use python hashlib - by Bob'計算出的摘要不同于原始文章的摘要。
可見，摘要算法就是通過摘要函數f()對任意長度的數據data計算出固定長度的摘要digest，目的是為了發現原始數據是否被人篡改過。
摘要算法之所以能指出數據是否被篡改過，就是因為摘要函數是一個單向函數，計算f(data)很容易，但通過digest反推data卻非常困難。而且，對原始數據做一個bit的修改，都會導致計算出的摘要完全不同。
我們以常見的摘要算法MD5為例，計算出一個字符串的MD5值：
import hashlib
md5 = hashlib.md5()
md5.update('how to use md5 in python hashlib?'.encode('utf-8'))
print(md5.hexdigest())
計算結果如下：
d26a53750bc40b38b65a520292f69306
如果數據量很大，可以分塊多次調用update()，最后計算的結果是一樣的：
import hashlib
md5 = hashlib.md5()
md5.update('how to use md5 in '.encode('utf-8'))
md5.update('python hashlib?'.encode('utf-8'))
print(md5.hexdigest())
試試改動一個字母，看看計算的結果是否完全不同。
MD5是最常見的摘要算法，速度很快，生成結果是固定的128 bit字節，通常用一個32位的16進制字符串表示。
另一種常見的摘要算法是SHA1，調用SHA1和調用MD5完全類似：
import hashlib
sha1 = hashlib.sha1()
sha1.update('how to use sha1 in '.encode('utf-8'))
sha1.update('python hashlib?'.encode('utf-8'))
print(sha1.hexdigest())
SHA1的結果是160 bit字節，通常用一個40位的16進制字符串表示。
比SHA1更安全的算法是SHA256和SHA512，不過越安全的算法不僅越慢，而且摘要長度更長。
有沒有可能兩個不同的數據通過某個摘要算法得到了相同的摘要？完全有可能，因為任何摘要算法都是把無限多的數據集合映射到一個有限的集合中。這種情況稱為碰撞，比如Bob試圖根據你的摘要反推出一篇文章'how to learn hashlib in python - by Bob'，并且這篇文章的摘要恰好和你的文章完全一致，這種情況也并非不可能出現，但是非常非常困難。
摘要算法應用
摘要算法能應用到什么地方？舉個常用例子：
任何允許用戶登錄的網站都會存儲用戶登錄的用戶名和口令。如何存儲用戶名和口令呢？方法是存到數據庫表中：
| name | password |
|---|---|
| michael | 123456 |
| bob | abc999 |
| alice | alice2008 |
如果以明文保存用戶口令，如果數據庫泄露，所有用戶的口令就落入黑客的手里。此外，網站運維人員是可以訪問數據庫的，也就是能獲取到所有用戶的口令。
正確的保存口令的方式是不存儲用戶的明文口令，而是存儲用戶口令的摘要，比如MD5：
| username | password |
|---|---|
| michael | e10adc3949ba59abbe56e057f20f883e |
| bob | 878ef96e86145580c38c87f0410ad153 |
| alice | 99b1c2188db85afee403b1536010c2c9 |
當用戶登錄時，首先計算用戶輸入的明文口令的MD5，然后和數據庫存儲的MD5對比，如果一致，說明口令輸入正確，如果不一致，口令肯定錯誤。
練習
根據用戶輸入的口令，計算出存儲在數據庫中的MD5口令：
def calc_md5(password):
pass
存儲MD5的好處是即使運維人員能訪問數據庫，也無法獲知用戶的明文口令。
設計一個驗證用戶登錄的函數，根據用戶輸入的口令是否正確，返回True或False：
# -*- coding: utf-8 -*-
db = {
'michael': 'e10adc3949ba59abbe56e057f20f883e',
'bob': '878ef96e86145580c38c87f0410ad153',
'alice': '99b1c2188db85afee403b1536010c2c9'
}
import hashlib
def login(user, password):
md5 = hashlib.md5()
md5.update(password.encode('utf-8'))
return md5.hexdigest() == db[user]
采用MD5存儲口令是否就一定安全呢？也不一定。假設你是一個黑客，已經拿到了存儲MD5口令的數據庫，如何通過MD5反推用戶的明文口令呢？暴力破解費事費力，真正的黑客不會這么干。
考慮這么個情況，很多用戶喜歡用123456，888888，password這些簡單的口令，于是，黑客可以事先計算出這些常用口令的MD5值，得到一個反推表：
'e10adc3949ba59abbe56e057f20f883e': '123456'
'21218cca77804d2ba1922c33e0151105': '888888'
'5f4dcc3b5aa765d61d8327deb882cf99': 'password'
這樣，無需破解，只需要對比數據庫的MD5，黑客就獲得了使用常用口令的用戶賬號。
對于用戶來講，當然不要使用過于簡單的口令。但是，我們能否在程序設計上對簡單口令加強保護呢？
由于常用口令的MD5值很容易被計算出來，所以，要確保存儲的用戶口令不是那些已經被計算出來的常用口令的MD5，這一方法通過對原始口令加一個復雜字符串來實現，俗稱“加鹽”：
def calc_md5(password):
return get_md5(password + 'the-Salt')
經過Salt處理的MD5口令，只要Salt不被黑客知道，即使用戶輸入簡單口令，也很難通過MD5反推明文口令。
但是如果有兩個用戶都使用了相同的簡單口令比如123456，在數據庫中，將存儲兩條相同的MD5值，這說明這兩個用戶的口令是一樣的。有沒有辦法讓使用相同口令的用戶存儲不同的MD5呢？
如果假定用戶無法修改登錄名，就可以通過把登錄名作為Salt的一部分來計算MD5，從而實現相同口令的用戶也存儲不同的MD5。
練習
根據用戶輸入的登錄名和口令模擬用戶注冊，計算更安全的MD5：
db = {}
def register(username, password):
db[username] = get_md5(password + username + 'the-Salt')
然后，根據修改后的MD5算法實現用戶登錄的驗證：
# -*- coding: utf-8 -*-
import hashlib, random
def get_md5(s):
return hashlib.md5(s.encode('utf-8')).hexdigest()
class User(object):
def __init__(self, username, password):
self.username = username
self.salt = ''.join([chr(random.randint(48, 122)) for i in range(20)])
self.password = get_md5(password + self.salt)
db = {
'michael': User('michael', '123456'),
'bob': User('bob', 'abc999'),
'alice': User('alice', 'alice2008')
}
def login(username, password):
user = db[username]
return user.password == get_md5(password+user.salt)
hmac
通過哈希算法，我們可以驗證一段數據是否有效，方法就是對比該數據的哈希值，例如，判斷用戶口令是否正確，我們用保存在數據庫中的password_md5對比計算md5(password)的結果，如果一致，用戶輸入的口令就是正確的。
為了防止黑客通過彩虹表根據哈希值反推原始口令，在計算哈希的時候，不能僅針對原始輸入計算，需要增加一個salt來使得相同的輸入也能得到不同的哈希，這樣，大大增加了黑客破解的難度。
如果salt是我們自己隨機生成的，通常我們計算MD5時采用md5(message + salt)。但實際上，把salt看做一個“口令”，加salt的哈希就是：計算一段message的哈希時，根據不通口令計算出不同的哈希。要驗證哈希值，必須同時提供正確的口令。
這實際上就是Hmac算法：Keyed-Hashing for Message Authentication。它通過一個標準算法，在計算哈希的過程中，把key混入計算過程中。
和我們自定義的加salt算法不同，Hmac算法針對所有哈希算法都通用，無論是MD5還是SHA-1。采用Hmac替代我們自己的salt算法，可以使程序算法更標準化，也更安全。
Python自帶的hmac模塊實現了標準的Hmac算法。我們來看看如何使用hmac實現帶key的哈希。
我們首先需要準備待計算的原始消息message，隨機key，哈希算法，這里采用MD5，使用hmac的代碼如下：
>>> import hmac
>>> message = b'Hello, world!'
>>> key = b'secret'
>>> h = hmac.new(key, message, digestmod='MD5')
>>> # 如果消息很長，可以多次調用h.update(msg)
>>> h.hexdigest()
'fa4ee7d173f2d97ee79022d1a7355bcf'
可見使用hmac和普通hash算法非常類似。hmac輸出的長度和原始哈希算法的長度一致。需要注意傳入的key和message都是bytes類型，str類型需要首先編碼為bytes。
練習
將上一節的salt改為標準的hmac算法，驗證用戶口令：
# -*- coding: utf-8 -*-
import hmac, random
def hmac_md5(key, s):
return hmac.new(key.encode('utf-8'), s.encode('utf-8'), 'MD5').hexdigest()
class User(object):
def __init__(self, username, password):
self.username = username
self.key = ''.join([chr(random.randint(48, 122)) for i in range(20)])
self.password = hmac_md5(self.key, password)
db = {
'michael': User('michael', '123456'),
'bob': User('bob', 'abc999'),
'alice': User('alice', 'alice2008')
}
def login(username, password):
user = db[username]
return user.password == hmac_md5(user.key, password)
