序
我們在分析http請求時一般時使用Charles或其他類似的代理工具，這類工具雖然在分析上有著比較大時優勢，在修改上也有一定的支持，不過在實際使用中會有些困難，你可能需要一些有著更大自由度的工具，用來修改報文、固化攻擊策略以及在團隊協作上的標準交互(口頭描述什么的太。。。)。所以這里講介紹如何使用Mitmproxy(Man-in-the-middle proxy)進行http的攔截/篡改。
安裝
運行環境
Python 3.6 + pip及以上版本
Python的安裝請自行百度，這里就不展開 Download Python | Python.orgPython編程的基本知識
安裝Mitmproxy
Mitmproxy是Python上的一個工具包(當然也有打包后的，但是自由度就沒了)，安裝完Python3后只要一條命令就可以了：
pip3 install mitmproxy
安裝完成后你將擁有mitmproxy(Linux)、mitmdump、mitmweb 三條命令
使用
命令
三個命令實際功能都差不多，只是展示的形式不太一樣，大家可以選擇性的使用。
- mitmproxy
這個是Linux上才支持的命令，可以實時查看http請求情況。是一個命令行的窗口形式。 - mitmweb
提供一個web頁面，可以實時查看http請求情況。 - mitmdump
純后臺的一種狀態。
腳本
腳本就是Mitmproxy的精華了，Mitmproxy可以有兩種形式的腳本：一個是直接在Python文件中實現指定的方法，比如request()、response()；還有一個是將這些方法放到一個類中，作為一個addon加入到addons里面，下面我們只介紹這一種(第一種只是第二種的簡化版)。
最小例子
import mitmproxy.http
from mitmproxy import ctx
class Interceptor:
def __init__(self):
ctx.log.info("init")
def request(self, flow: mitmproxy.http.HTTPFlow):
ctx.log.info("request() called")
def response(self, flow: mitmproxy.http.HTTPFlow):
ctx.log.info("response() called")
addons = [
Interceptor()
]
將上面這部分存為interceptor.py，將系統代理設置到本機即可
注：我這里指定里代理端口為8888，可根據需要自行配置(默認為8080)
Windows10代理設置
執行以下命令，即可看到瀏覽信息
mitmweb --listen-port 8888 --web-port 8848 -s interceptor.py
攔截記錄
Log記錄
- https證書問題
訪問https地址時你可能會發現瀏覽器不能正常顯示了(302錯誤)，這是因為你還沒有安裝Mitmproxy的CA證書。
啟動代理后，打開http://mitm.it/，不出意外你會看到以下這個頁面，如果沒有請檢查你的代理有沒有設置正常。
CA證書下載
事件
當我們執行一次http請求時實際時發生很多事件的，并非上面寫的只有request()和response()(不過一般用這兩個也就夠了)，以下是Mitmproxy定義的一系列事件，我們可以在每個事件中做操作，其中http的事件比較常用，這里大概了解即可，用到再查也不遲。
官方文檔-Events
HTTP事件
- def http_connect(self, flow: mitmproxy.http.HTTPFlow)
收到了來自客戶端的 HTTP CONNECT 請求。在 flow 上設置非 2xx 響應將返回該響應并斷開連接。CONNECT 不是常用的 HTTP 請求方法，目的是與服務器建立代理連接，僅是 client 與 proxy 的之間的交流，所以 CONNECT 請求不會觸發 request、response 等其他常規的 HTTP 事件。 - def requestheaders(self, flow: mitmproxy.http.HTTPFlow):
來自客戶端的 HTTP 請求的頭部被成功讀取。此時 flow 中的 request 的 body 是空的。 - def request(self, flow: mitmproxy.http.HTTPFlow):
來自客戶端的 HTTP 請求被成功完整讀取。 - def responseheaders(self, flow: mitmproxy.http.HTTPFlow):
來自服務端的 HTTP 響應的頭部被成功讀取。此時 flow 中的 response 的 body 是空的。 - def response(self, flow: mitmproxy.http.HTTPFlow):
來自服務端端的 HTTP 響應被成功完整讀取。 - def error(self, flow: mitmproxy.http.HTTPFlow):
發生了一個 HTTP 錯誤。比如無效的服務端響應、連接斷開等。注意與“有效的 HTTP 錯誤返回”不是一回事，后者是一個正確的服務端響應，只是 HTTP code 表示錯誤而已。
通用事件
- def configure(self, updated: typing.Set[str]):
配置發生變化。updated 參數是一個類似集合的對象，包含了所有變化了的選項。在 mitmproxy 啟動時，該事件也會觸發，且 updated 包含所有選項。 - def done(self):
addon 關閉或被移除，又或者 mitmproxy 本身關閉。由于會先等事件循環終止后再觸發該事件，所以這是一個 addon 可以看見的最后一個事件。由于此時 log 也已經關閉，所以此時調用 log 函數沒有任何輸出。 - def load(self, entry: mitmproxy.addonmanager.Loader):
addon 第一次加載時。entry 參數是一個 Loader 對象，包含有添加選項、命令的方法。這里是 addon 配置它自己的地方。 - def log(self, entry: mitmproxy.log.LogEntry):
通過 mitmproxy.ctx.log 產生了一條新日志。小心不要在這個事件內打日志，否則會造成死循環。 - def running(self):
mitmproxy 完全啟動并開始運行。此時，mitmproxy 已經綁定了端口，所有的 addon 都被加載了。 - def update(self, flows: typing.Sequence[mitmproxy.flow.Flow]):
一個或多個 flow 對象被修改了，通常是來自一個不同的 addon。
TCP事件
- def tcp_start(self, flow: mitmproxy.tcp.TCPFlow):
建立了一個 TCP 連接。 - def tcp_message(self, flow: mitmproxy.tcp.TCPFlow):
TCP 連接收到了一條消息，最近一條消息存于 flow.messages[-1]。消息是可修改的。 - def tcp_error(self, flow: mitmproxy.tcp.TCPFlow):
發生了 TCP 錯誤。 - def tcp_end(self, flow: mitmproxy.tcp.TCPFlow):
TCP 連接關閉。
Websocket事件
- def websocket_handshake(self, flow: mitmproxy.http.HTTPFlow):
客戶端試圖建立一個 websocket 連接。可以通過控制 HTTP 頭部中針對 websocket 的條目來改變握手行為。flow 的 request 屬性保證是非空的的。 - def websocket_start(self, flow: mitmproxy.websocket.WebSocketFlow):
建立了一個 websocket 連接。 - def websocket_message(self, flow: mitmproxy.websocket.WebSocketFlow):
收到一條來自客戶端或服務端的 websocket 消息。最近一條消息存于 flow.messages[-1]。消息是可修改的。目前有兩種消息類型，對應 BINARY 類型的 frame 或 TEXT 類型的 frame。 - def websocket_error(self, flow: mitmproxy.websocket.WebSocketFlow):
發生了 websocket 錯誤。 - def websocket_end(self, flow: mitmproxy.websocket.WebSocketFlow):
websocket 連接關閉。
網絡連接事件
- def clientconnect(self, layer: mitmproxy.proxy.protocol.Layer):
客戶端連接到了 mitmproxy。注意一條連接可能對應多個 HTTP 請求。 - def clientdisconnect(self, layer: mitmproxy.proxy.protocol.Layer):
客戶端斷開了和 mitmproxy 的連接。 - def serverconnect(self, conn: mitmproxy.connections.ServerConnection):
mitmproxy 連接到了服務端。注意一條連接可能對應多個 HTTP 請求。 - def serverdisconnect(self, conn: mitmproxy.connections.ServerConnection):
mitmproxy 斷開了和服務端的連接。 - def next_layer(self, layer: mitmproxy.proxy.protocol.Layer):
網絡 layer 發生切換。你可以通過返回一個新的 layer 對象來改變將被使用的 layer。
事例
沒有什么事情不是來一個例子不能解決的
import mitmproxy.http
from mitmproxy import ctx
from mitmproxy import flowfilter
class Interceptor:
def __init__(self):
# 添加網址過濾器
self.filter = flowfilter.parse("~u https://www.baidu.com")
def request(self, flow: mitmproxy.http.HTTPFlow):
if flowfilter.match(self.filter, flow):
ctx.log.info("match request")
# 替換搜索詞
flow.request.query["wd"] = "富婆通訊錄"
def response(self, flow: mitmproxy.http.HTTPFlow):
if flowfilter.match(self.filter, flow):
ctx.log.info("match response")
# 添加/修改headers
flow.response.headers["md5"] = "00112233445566778899AABBCCDDEEFF"
flow.response.content = bytes("想啥呢",encoding='utf8')
addons = [
Interceptor()
]
再執行一下這個例子，訪問百度看看？刪掉response()部分再試試？
注：Mitmproxy支持熱更新，修改腳本保存后悔自動加載，不用重新啟動。
瀏覽器F12，你懂的
這里只是簡單的一個例子，更多例子可以參考官方的例子。
Example Addons (mitmproxy.org)
錯誤
- 執行命令時你可能會遇到這樣的錯誤：
啟動錯誤
這個一般是因為端口被占用里，指定一個空閑的端口即可
mitmweb --listen-port 8888 --web-port 8848
- 部分https不能正常請求
有些https有做證書校驗，即使加了Mitmproxy的CA，由于證書不同也會被拒絕，可以在web頁面中配置allow_hosts選項，忽略部分請求。
