來源：https://www.normshield.com/machine-learning-in-cyber-security-domain-9-botnet-detection/
機器學(xué)習(xí)僵尸網(wǎng)絡(luò)檢測;僵尸網(wǎng)絡(luò)指的是由僵尸組成的有組織的自動化軍隊，它可以用來創(chuàng)建DDoS攻擊以及垃圾郵件行為，如淹沒任何收件箱或傳播病毒。事實上，這支軍隊由大量的計算機組成。攻擊者利用這支軍隊進(jìn)行惡意攻擊，通常僵尸甚至不知道他們被用于惡意攻擊。
僵尸被廣泛用于發(fā)送垃圾郵件;截至2005年，全球約有50-80%的垃圾郵件是由僵尸電腦發(fā)送的。這使得垃圾郵件發(fā)送者可以避免被檢測到，并可能降低了他們的帶寬成本，因為僵尸的所有者為他們自己的帶寬付費。僵尸網(wǎng)絡(luò)攻擊的一般結(jié)構(gòu)如下。
這個過程由一個名為C&C的集中實體執(zhí)行，C&C也稱為botmaster。botmaster是一個實體，協(xié)調(diào)發(fā)起、管理或暫停對所有受感染機器(bot)的攻擊。因此，C&C機制的目的是增加僵尸機器的數(shù)量，并協(xié)調(diào)這些機器進(jìn)行如此多的破壞性操作。僵尸網(wǎng)絡(luò)與其他類型網(wǎng)絡(luò)攻擊的區(qū)別在于網(wǎng)絡(luò)中存在C&C。此外，機器人從C&C接收指令，并根據(jù)這些指令采取行動。這些指令/命令的范圍從在互聯(lián)網(wǎng)上發(fā)起蠕蟲或垃圾郵件攻擊到破壞合法的用戶請求。
僵尸網(wǎng)絡(luò)可以做任何你可以想象到的事情，通過使用許多計算機連接到一個網(wǎng)絡(luò)。分布式能力是僵尸網(wǎng)絡(luò)能力的關(guān)鍵。
一、機器學(xué)習(xí)僵尸網(wǎng)絡(luò)檢測
隨著技術(shù)的發(fā)展，每臺個人計算機都具有巨大的處理能力(CPU、GPU)和帶寬容量。因此，每一臺加入僵尸網(wǎng)絡(luò)的個人電腦都使得僵尸網(wǎng)絡(luò)更加強大。
需要太多處理能力的工作可以很容易地在分布式網(wǎng)絡(luò)中完成。在這種類型的網(wǎng)絡(luò)中，工作被劃分為子工作，并分配給各個機器。僵尸網(wǎng)絡(luò)攻擊的主要目的是將多個資源組合在一起，并構(gòu)建一個非常強大的資源。組合源可以是帶寬或處理能力。在創(chuàng)建了足夠多的僵尸網(wǎng)絡(luò)之后，攻擊者可以將其用于許多惡意目的。一些例子;
分布式拒絕服務(wù)攻擊(DDoS)
垃圾郵件
嗅探流量和鍵記錄
感染新的宿主
身份盜竊
攻擊IRC聊天網(wǎng)絡(luò)
托管非法軟件
谷歌廣告濫用和廣告插件
點擊欺詐
操縱在線調(diào)查
遠(yuǎn)程使用電腦
攻擊銀行計算機(Atm或任何其他計算機，因為它們也是聯(lián)網(wǎng)的)
操縱比賽
利用私人文件
人類目睹了如此多的僵尸網(wǎng)絡(luò)及其攻擊。每一種都對目標(biāo)公司造成實質(zhì)性損害。一些僵尸網(wǎng)絡(luò)的發(fā)展令人難以置信，并在全世界造成了巨大的破壞。黑客新聞用戶報告說，以下網(wǎng)站宕機:witter、Etsy、Github、Soundcloud、Spotify、Heroku、Pagerduty、Shopify、Intercom。
Netflix、Slack、Imgur、HBO Now、貝寶(PayPal)、PlayStation Network、Yammer、Seamless等更多服務(wù)也在攻擊日遭遇中斷?？梢钥隙ǖ氖?，Mirai不僅僅是物聯(lián)網(wǎng)僵尸網(wǎng)絡(luò)，在不久的將來，我們可以看到另一個物聯(lián)網(wǎng)僵尸網(wǎng)絡(luò)攻擊。
因此，僵尸網(wǎng)絡(luò)的檢測和消除是網(wǎng)絡(luò)安全領(lǐng)域的重要挑戰(zhàn)。擔(dān)心安全問題的大公司已經(jīng)付出了巨大的努力來檢測和消除僵尸網(wǎng)絡(luò)。例如，運行在微軟操作系統(tǒng)上的宙斯僵尸網(wǎng)絡(luò)惡意軟件包就在這件事上運行了三年多，最終導(dǎo)致了大約7000萬美元的被盜資金，并在2010年被聯(lián)邦調(diào)查局逮捕了100多名個人。宙斯是活躍的，甚至當(dāng)宙斯的創(chuàng)造者被捕。微軟是這個僵尸網(wǎng)絡(luò)的受害者，它花費了巨大的努力來消滅宙斯。最終，在2012年3月，微軟宣布成功關(guān)閉了ZeuS的“大多數(shù)”C&C服務(wù)器。
據(jù)觀察，發(fā)現(xiàn)僵尸機器不是一件容易的事。即使檢測到一臺僵尸機器，那么網(wǎng)絡(luò)的其他部分呢?檢測所有關(guān)于特定僵尸網(wǎng)絡(luò)的網(wǎng)絡(luò)是一項艱巨的任務(wù)。因此，如果僵尸是物聯(lián)網(wǎng)設(shè)備，就更難識別僵尸網(wǎng)絡(luò)。
二、如何檢測僵尸網(wǎng)絡(luò)?這就是機器學(xué)習(xí)發(fā)揮作用的地方。
僵尸網(wǎng)絡(luò)檢測與其他惡意軟件/異常檢測系統(tǒng)的檢測機制有所不同。在解釋僵尸網(wǎng)絡(luò)檢測技術(shù)之前，我們想先解釋一下僵尸網(wǎng)絡(luò)檢測和惡意軟件/異常檢測之間的異同，以便大家有一個清晰的認(rèn)識。
異常檢測是指在網(wǎng)絡(luò)流量中發(fā)現(xiàn)不符合預(yù)期正常行為的異常通信模式的問題。針對每一類異常檢測技術(shù)，作者對正常和異常數(shù)據(jù)的概念作了獨特的假設(shè)。
與其他攻擊檢測類型不同，僵尸網(wǎng)絡(luò)檢測是指在受控的網(wǎng)絡(luò)環(huán)境中檢測受控制的惡意/異?；顒印阂廛浖咒N商認(rèn)為僵尸網(wǎng)絡(luò)是在全球范圍內(nèi)傳播惡意和異?；顒拥氖侄?。因此，僵尸網(wǎng)絡(luò)變得流行起來，因為它是由被劫持的計算機組成的遠(yuǎn)程控制網(wǎng)絡(luò)。
這個分布式協(xié)調(diào)網(wǎng)絡(luò)的基本目標(biāo)是在網(wǎng)絡(luò)上發(fā)起各種惡意活動，包括網(wǎng)絡(luò)釣魚、點擊欺詐、垃圾郵件生成、侵犯版權(quán)、鍵盤記錄，以及最重要的DoS攻擊。(上面給出了一些其他的例子。)僵尸網(wǎng)絡(luò)被認(rèn)為是對互聯(lián)網(wǎng)網(wǎng)絡(luò)資源的嚴(yán)重威脅?？傊贗DS/IPSs中檢測到的攻擊代表一個單獨的模式，這些攻擊應(yīng)用于一個特定的源。僵尸網(wǎng)絡(luò)產(chǎn)生的攻擊是一個大網(wǎng)絡(luò)的一部分。僵尸網(wǎng)絡(luò)檢測的興趣是破壞僵尸網(wǎng)絡(luò)的所有資產(chǎn)并摧毀C&C服務(wù)器。
在本章中，我們只關(guān)注使用機器學(xué)習(xí)開發(fā)的僵尸網(wǎng)絡(luò)檢測技術(shù)，并對這些技術(shù)的工作機制作了簡要的說明。文獻(xiàn)中有很多技巧。僵尸網(wǎng)絡(luò)檢測技術(shù)的一般結(jié)構(gòu)如下。
僵尸網(wǎng)絡(luò)檢測技術(shù)分為兩大類:IDSs和蜜網(wǎng)。蜜網(wǎng)用于收集來自機器人的信息，以進(jìn)一步分析所使用的技術(shù)、僵尸網(wǎng)絡(luò)特征和攻擊強度。此外，利用機器人收集到的信息來發(fā)現(xiàn)C&C系統(tǒng)、未知的易感性、攻擊者使用的技術(shù)和工具以及攻擊者的動機。蜜網(wǎng)被用來收集能夠穿透僵尸網(wǎng)絡(luò)的僵尸二進(jìn)制文件。然而，入侵者開發(fā)了新的方法來克服蜜網(wǎng)陷阱。蜜網(wǎng)陷阱的關(guān)鍵組成部分是蜜墻，它用于將蜜機器人從世界其他地方分離出來。
另一種基于IDS的僵尸網(wǎng)絡(luò)檢測技術(shù)。IDS是一種軟件應(yīng)用程序或硬件機器，用于監(jiān)視惡意活動的系統(tǒng)服務(wù)。IDS檢測技術(shù)進(jìn)一步分為基于簽名和基于異常的兩種方法。
在基于簽名的系統(tǒng)中，僵尸網(wǎng)絡(luò)簽名用于提供關(guān)于特定僵尸網(wǎng)絡(luò)行為的信息。但這類技術(shù)不能檢測未知的僵尸網(wǎng)絡(luò)，其簽名之前沒有創(chuàng)建。
基于異常的檢測是僵尸網(wǎng)絡(luò)檢測的一個重要研究領(lǐng)域。其基本思想來自于分析幾種網(wǎng)絡(luò)流量異常，包括通過不尋常端口的流量、高網(wǎng)絡(luò)延遲、流量增加以及表明網(wǎng)絡(luò)中存在惡意活動的系統(tǒng)行為?；诋惓５姆椒ㄟM(jìn)一步分為基于主機的方法和基于網(wǎng)絡(luò)的方法。在基于主機的方法中，監(jiān)視各個機器以發(fā)現(xiàn)可疑的操作。盡管基于主機的監(jiān)視非常重要，但是這種方法是不可伸縮的，因為所有的機器都需要完全配備有效的監(jiān)視工具。
與其他技術(shù)不同，基于網(wǎng)絡(luò)的方法使用機器學(xué)習(xí)技術(shù)分析網(wǎng)絡(luò)流量并收集關(guān)于僵尸網(wǎng)絡(luò)的一些含義。網(wǎng)絡(luò)監(jiān)控工具根據(jù)不同的網(wǎng)絡(luò)特性來檢查網(wǎng)絡(luò)行為，例如帶寬、僵尸網(wǎng)絡(luò)C&C證據(jù)的突發(fā)速率和包定時。它過濾不太可能屬于僵尸網(wǎng)絡(luò)活動的流量，將剩余的流量分類為可能屬于僵尸網(wǎng)絡(luò)的一個組。
機器學(xué)習(xí)技術(shù)在這兩種基于異常的方法中都得到了廣泛的應(yīng)用;基于主機和網(wǎng)絡(luò)。常用的機器學(xué)習(xí)技術(shù)有決策樹、神經(jīng)網(wǎng)絡(luò)、圖論、人工免疫系統(tǒng)、基于聚類的技術(shù)、基于數(shù)據(jù)挖掘的技術(shù)、相關(guān)性、熵等。
三、基于機器學(xué)習(xí)主機的僵尸網(wǎng)絡(luò)檢測技術(shù)
在基于主機的異常檢測技術(shù)中，通過掃描與安裝在主機上的特定應(yīng)用程序相關(guān)的進(jìn)程來研究機器人的行為。每個機器人獨立地初始化從C&C系統(tǒng)接收到的命令。每個命令都有特定的參數(shù)、特定的類型和預(yù)先確定的執(zhí)行順序。
基于主機的僵尸網(wǎng)絡(luò)檢測方法在客戶端應(yīng)用研究較多。下面將解釋其中的一些。在編寫這篇僵尸網(wǎng)絡(luò)檢測文章時，我們已經(jīng)從本文中得到了很大的利用。
BotSwat (Stinson and Mitchell, 2007)是一個用于監(jiān)視家庭操作系統(tǒng)(如Windows XP、Windows 2000和Windows 7)并將預(yù)期的家庭機器識別為機器人的工具。最初，BotSwat充當(dāng)掃描器，監(jiān)視Win32庫的執(zhí)行狀態(tài)，并觀察處理器創(chuàng)建的運行時系統(tǒng)調(diào)用。此外，盡管有特定的C&C體系結(jié)構(gòu)、通信協(xié)議或僵尸網(wǎng)絡(luò)結(jié)構(gòu)，但它試圖發(fā)現(xiàn)具有通用屬性的機器人。這種方法的問題是缺乏系統(tǒng)調(diào)用的安全性。Masud等人(2008)通過將安裝在主機上的多個日志文件關(guān)聯(lián)起來，使用基于流的檢測方法，開發(fā)了一種有效的基于主機的僵尸網(wǎng)絡(luò)檢測技術(shù)。由于機器人的響應(yīng)通常比人類更快，因此可以很容易地識別多個日志文件的挖掘和關(guān)聯(lián)。通過將多個基于主機的日志文件關(guān)聯(lián)起來用于某些C&C流量檢測，提出了這些技術(shù)可以有效地用于IRC和非IRC機器人。多智能體機器人檢測系統(tǒng)(MABDS) (Szymczyk, 2009)是一種將事件日志分析儀與基于主機的入侵檢測系統(tǒng)(HIDS)相結(jié)合的混合技術(shù)。該系統(tǒng)采用多代理技術(shù)，結(jié)合了管理代理、用戶代理、蜜罐代理、系統(tǒng)分析和知識庫。該技術(shù)的基本問題是新簽名與知識庫的收斂速度較慢。
四、基于機器學(xué)習(xí)網(wǎng)絡(luò)的僵尸網(wǎng)絡(luò)檢測技術(shù)
在基于網(wǎng)絡(luò)的僵尸網(wǎng)絡(luò)檢測策略中，通過觀察不同參數(shù)下的網(wǎng)絡(luò)流量來捕獲惡意流量，這些參數(shù)包括網(wǎng)絡(luò)流量行為、流量模式、響應(yīng)時間、網(wǎng)絡(luò)負(fù)載和鏈接特征?；诰W(wǎng)絡(luò)的方法進(jìn)一步分為兩種類型，主動監(jiān)視和被動監(jiān)視。
主動監(jiān)控:在主動監(jiān)控僵尸網(wǎng)絡(luò)檢測策略中，為了檢測惡意活動，會向網(wǎng)絡(luò)注入新的數(shù)據(jù)包。
被動監(jiān)視:在被動監(jiān)視中，當(dāng)數(shù)據(jù)通過介質(zhì)時，網(wǎng)絡(luò)流量被嗅探。應(yīng)用不同的異常檢測技術(shù)對網(wǎng)絡(luò)流量進(jìn)行分析。采用各種應(yīng)用模型的被動監(jiān)測技術(shù)包括統(tǒng)計方法、圖論、機器學(xué)習(xí)、相關(guān)、熵、隨機模型、決策樹、離散時間序列、傅立葉變換、基于組的分析、數(shù)據(jù)挖掘、聚類方法、神經(jīng)網(wǎng)絡(luò)、可視化以及這些技術(shù)的組合。
BotProb (Tokhtabayev and Skormin, 2007)被認(rèn)為是一種主動監(jiān)控策略，它將數(shù)據(jù)包注入到網(wǎng)絡(luò)有效負(fù)載中，以發(fā)現(xiàn)由人類或機器人引起的可疑活動。由于非人類機器人通常按照預(yù)定的模式發(fā)送命令，這與C&C與機器人之間的因果關(guān)系相對應(yīng)。這種命令和響應(yīng)體系結(jié)構(gòu)可以很容易地確定機器人的存在，因為響應(yīng)來自預(yù)先確定的命令行為。
