來源:Lidong Wang, “Big Data in Intrusion Detection Systems and Intrusion Prevention

Systems.”Journal of Computer Networks, vol. 4, no. 1 (2017): 48-55. doi: 10.12691/jcn-4-1-5.

摘要：介紹了網絡攻擊、入侵檢測系統、入侵預防系統以及基于簽名的檢測和基于異常的檢測方法。比較了入侵檢測/防范系統(ID/PS)的方法。介紹了一些數據挖掘和機器學習方法及其在入侵檢測中的應用。介紹了大數據入侵檢測系統和大數據分析的海量數據、異構特征和實時流處理。文中還討論了入侵檢測系統的挑戰和系統中大數據流處理帶來的挑戰。

網絡犯罪和恐怖主義的許多類別和應用都包含身份的錯誤表述，或者試圖通過身份驗證訪問攻擊者沒有合法權限的業務或服務。在歐盟內部，eIDentity、Authentication & signature法規于2014年10月發布。歐洲CAMINO項目介紹了在打擊網絡犯罪和網絡恐怖主義的現實路線圖方面的初步成果。CAMINO項目的主要目標是為提高抵御網絡恐怖主義和網絡犯罪[1]的能力提供一個現實的路線圖。入侵檢測系統(IDS)通常被認為是經過認證、防火墻、密碼學、授權技術等一線安全措施[2]后的二線安全解決方案。IDS是使入侵檢測過程自動化的軟件。入侵預防系統(IPS)是一種軟件，具有IDS的所有功能，并且可以試圖阻止可能發生的事件。IDS和IPS技術可以提供許多相同的功能，但是管理員也可以禁用IPS產品中的預防功能，讓它們發揮IDSs的功能。許多入侵檢測和預防系統(IDPS)也可以響應檢測到的威脅并使用幾種響應技術:在這些技術中，IDPS可以停止攻擊本身、更改攻擊內容或更改安全環境(例如，重新配置防火墻)。

IDS可以監視特定的協議，比如web服務器的超文本傳輸協議(HTTP)。這種類型的IDS稱為基于協議的入侵檢測系統(PIDS)。IDSs還可以專門用于監視特定于應用程序的協議，比如基于應用程序協議的入侵檢測系統(APIDS)。這方面的一個例子是apid，它監視數據庫的結構化查詢語言(SQL)協議。與安全事件源(如網絡和不同的主機類型)的異構性一樣，IDSs本身在類型、操作方式和不同的告警格式上也可能是異構的。

在安全監控中，通過開發的id可以收集四種數據進行關聯。它們是:IP流記錄、HTTP數據包、DNS應答和蜜罐數據。例如，流記錄為檢測入侵或突出顯示僵尸網絡通信提供了寶貴的數據。通過從網絡的核心路由器導出網絡流量記錄，可以存儲企業網絡到互聯網的每一個通信的痕跡，反之亦然。HTTP流量是一個眾所周知的入侵向量，它代表了Internet用戶流量的很大一部分。研究嵌入在HTTP數據包及其有效負載中的統一資源標識符(URL)有助于檢測和防止惡意通信。域名稱系統(DNS)請求被執行，以獲取與域相關聯的IP地址并查詢相關的資源。因此，監控DNS以識別惡意域是有效的主動檢測和防止惡意通信的重要部分。蜜罐通常模擬脆弱的服務，并包含虛假的生產數據。記錄蜜罐信息有助于獲取攻擊者針對特定網絡的數據，例如所使用的協議、IP地址、所使用的攻擊文件和掃描策略等。

入侵檢測機制有三種模式:基于簽名的、基于異常的和混合檢測[6]。但是，在IDS中通常使用兩種攻擊識別方法:1)簽名是網絡流量的特定定義元素，可能對識別有用;異常是正常網絡行為的一些偏差。在上述兩種情況下，必須預先定義簽名的形式和網絡的正常行為[7]。簽名檢測也稱為誤用檢測。

2? 攻擊和入侵檢測方法

2.1? 入侵檢測和預防系統(IDPS)和攻擊

攻擊可以分為以下四大類[2,7,8]:1)拒絕服務(DoS)——攻擊者試圖阻止合法用戶使用服務；2)探針——攻擊者試圖通過掃描受害者等方式查找目標主機的信息，獲取可用服務和操作系統的信息；3) U2R(user to root)——未經授權訪問本地超級用戶(根)特權；4)R2L(remote to local)——通過猜測密碼等方式從遠程機器上獲得未授權的訪問，以獲取受害者主機上的本地帳戶。

入侵檢測方法可分為五類:統計、規則、狀態、模式和啟發式。結果表明，基于模式的方法在識別未知攻擊和隱藏攻擊[10]時是有效的。表1[10]顯示了IDS分類。

攻擊者有時愿意在很長一段時間內分散他們的行動，以避開探測系統。因此，在這種情況下，有必要將焦點從實時檢測轉移，這極大地限制了分析和相關能力。相反，更可取的方法是專注于全包捕獲、深度包檢查和大數據分析，以便使用更高級的算法進行分析和關聯，并減少這種規避嘗試。雖然離線分析(分析捕獲的流量)不可避免地導致了延遲攻擊檢測，但必須考慮到，在大多數APTs中，犯罪者有時會花費大量時間試圖達到特定的目標(例如，泄漏敏感數據)。

組織應該考慮使用具有多種IDPS技術的系統，以便在檢測和預防惡意活動方面實現更精確和全面的性能。IDPS技術的四種主要類型包括基于主機、網絡、基于網絡行為分析(NBA)和基于無線的;每個工具都提供不同的日志記錄、信息收集、檢測和預防功能。介紹了一種利用GPU進行負載模式匹配計算的入侵檢測系統Gnort。該系統基于Snort開源NIDS(網絡入侵檢測系統)，該系統利用現代顯卡未充分利用的計算能力，從CPU上卸載代價高昂的模式匹配操作，從而提高總體處理吞吐量。Gnort使用合成網絡跟蹤實現了2.3 Gbit/s的最大流量處理吞吐量，同時在監視實際流量時使用了一個普通的以太網接口。結果表明，現代的顯卡可以有效地提高入侵檢測系統的速度，同時也可以提高其他涉及模式匹配操作的系統的速度。

2.2 基于特征碼的檢測方法（Signature-based Detection）

必須向IDS提供預定義的攻擊規范以進行誤用(簽名)檢測，這要求人類安全專家手工分析攻擊相關數據并制定攻擊規范。攻擊規范可以通過使用各種自動化技術自動生成。然而，大多數的誤用檢測系統都缺乏這種能力，而且大多數系統都只關注單個源產生的數據[13]。簽名有四類:

（1）字符串（String）簽名:字符串簽名引擎支持正則表達式模式匹配和警報功能。

（2）連接（Connection）簽名:它們根據網絡連接和協議的一致性和有效性生成警報。

（3）DoS簽名:它們包含行為描述，被認為是DoS攻擊的特征。

（4）利用（Exploit ）簽名:他們通常識別特定利用的唯一的流量模式;因此，每個漏洞變體可能需要一個單獨的簽名。攻擊者可以通過稍微修改攻擊負載來繞過檢測。每個攻擊工具變體通常都必須生成一個攻擊簽名。

目前的反病毒解決方案容易受到零日攻擊，因為它們是基于簽名的，基于異常的檢測缺乏可靠的機制來構建精確的概要，以區分攻擊和正常事件。盡管開發一種有效的解決方案來防御所有未知的攻擊是極其困難的，但是人們已經發現，大多數攻擊都有一個共同點——隱藏的可執行內容。提出了一種基于異常的解決方案，用于檢測網絡流量中隱藏的可執行內容。殺毒產品屬于基于簽名的檢測方法，通過匹配已知特征來識別威脅。該方法為已知的攻擊提供了較高的精度，但對零日攻擊無效。零日攻擊包括新的類型威脅和現有攻擊的變種，這些攻擊在第一次發射時沒有具體的特征。防范零日攻擊的唯一解決方案是基于異常的檢測，不依賴于特定的簽名

2.3 基于異常的檢測（Anomaly-based Detection）

基于異常的檢測也被稱為“基于行為的檢測”。它是一種IDS方法，對網絡、用戶和計算機系統的行為進行建模，并在偏離正常行為時發出警報。它特別擅長識別探針和掃描網絡硬件。由于掃描和探針是所有攻擊的前身[16]，它可以對潛在的入侵發出早期警告。異常檢測可分為靜態異常和動態異常檢測。靜態異常檢測器通常只針對系統的軟件部分;因此，他們關注完整性檢查。動態異常檢測通常對審計記錄或監控的網絡流量數據[13]進行操作。

行為偏差的探測器被稱為“異常傳感器”，每個傳感器都檢查主機或用戶在網絡內活動的一個方面。例如，傳感器可以對每個用戶登錄的機器集進行配置，以發現異常的訪問模式;跟蹤主機接觸的外部站點，以識別不尋常的連接;研究使用者在半夜的正常工作時間，以標示可疑活動;或者跟蹤內部主機之間的數據流，找到收集大量數據的異?！皡R聚”。多個傳感器的觸發提示了更多的可疑行為[9]。大量的研究集中在流量級網絡的網絡流量上。因此，基于最新的壓縮感知方法，提出了一種新的處理包級網絡數據的方法來揭示異常模式。

因為目前的網絡威脅不僅包括惡意代碼，比如特洛伊木馬或蠕蟲病毒，而且間諜軟件和廣告軟件也沒有明確的非法內容。有一種機制可以防止在網絡流量中下載隱藏的可執行文件，這是必要的。提出了一種基于文件字節頻率分布15的基于異常的網絡入侵檢測系統（NIDS）的可執行內容的解決方案。在網絡流量分析中收集更多上下文的一種方法是調查正在移動的數據類型。通過深度分組檢查和會話重組，可以對內容進行基于文件的分析，以提高檢測精度，并將當前流量與基線進行比較，以查找數據移動中的異常。以下情況有助于識別異常：

（1）一天中的時間（Time of day）:如果一個用戶通常不在半夜工作，但他或她連續兩天工作，這可能意味著惡意活動。

（2）應用程序模式（Application patterns）:許多基于web的應用程序都具有可以分析的已知和可預測的事務模式。人們可以根據確定的基線來尋找異常。

（3）文件大?。‵ile size）:例如，如果用戶在24小時內移動了2GB的流量，但是他或她通常每天移動不超過100MB，就應該觸發警報。

（4）簡單的DLP:可以通過指紋文件查找敏感內容或正則表達式來匹配賬號或其他受保護數據。這不是完整的DLP分類和分析，但是如果沒有完全DLP的開銷，它可能會標記一些惡意的東西。

近年來，采樣流量數據也被用作異常檢測的輸入，例如檢測DoS攻擊或蠕蟲掃描。眾所周知，采樣會扭曲流量統計數據，如平均速率和流量大小分布。文獻中廣泛討論了兩種抽樣方法。它們是:流抽樣和分組抽樣。包采樣很容易實現，低CPU功耗和內存需求。流抽樣作為一種替代方法出現，以克服分組抽樣的局限性。它能提高準確性但仍然受高強度內存和CPU電源需求的影響。從一級ip -主干捕獲的信息包跟蹤使用四種常用方法進行采樣:隨機流采樣、隨機分組采樣、智能采樣和采樣保持。然后將采樣數據作為輸入來檢測兩個常見的異常類型:端口掃描和容量異常。

端口掃描通常與蠕蟲或病毒傳播有關，而容量異常可能由于各種原因而發生，包括flash群和DoS攻擊。提出了幾種端口掃描檢測技術。例如，SPICE可以執行復雜的離線貝葉斯分析，以檢測隱藏端口掃描。Snort是一款靈活的開源入侵檢測系統，可以根據用戶定義的連接模式和速率發出掃描警報。提出了兩種有效的“在線”端口掃描檢測技術——閾值隨機游走(TRW)和時間訪問模式方案(tap)?；诩僭O檢驗，研究了一種基于小波的體積異常檢測和兩種端口掃描檢測算法的代表性算法[19]。表2[20]顯示了異常攻擊的映射。點異常對應于與數據集其余部分相對應的數據樣本。上下文異常(也稱為條件異常)指的是一種異常行為，它只在某些情況下被認為是異常，而在其他情況下不被認為是異常。集體異常是指完全異常的數據樣本的集合。

2.4 入侵檢測/預防系統(ID/PS)方法的比較。

與基于簽名的方法相比，基于異常的方法可以導致更快的執行速度，但往往導致高假陽性率。由于入侵模式和正態模式并不總是符合一定的分布，也不是線性可分的;因此，在采用支持向量機(support vector machine, SVM)等統計學習方法進行入侵檢測[23]時，出現了上述問題。不知道數據包負載是導致應用程序級異常檢測性能差的主要原因。在基于簽名的方法中，對數據包有效載荷進行了嚴密的分析，提取了唯一的簽名，因此基于簽名的方法可以對現有的攻擊[15]提供極高的準確性。表3[24]比較了ID/PS方法及其特性。

2.5 入侵檢測系統的挑戰

在大型網絡上部署的IDS設備面臨的一個挑戰是，IDS組件通過子網進行通信，有時通過防火墻和網關進行通信。對于網絡的不同部分，網絡設備可以使用不同的數據格式和不同的通信協議。IDS必須能夠識別不同的格式。大型網絡中的IDS面臨的另一個挑戰是有效地監控流量。網絡入侵檢測系統(NIDS)組件分散在整個網絡中。如果沒有戰略性地放置組件，許多攻擊可以通過在網絡[25]中遍歷備選路徑來繞過NIDS傳感器。當前IDSs的一個主要挑戰是可以維護連接狀態的有限時間窗口。

由于所有現代的IDSs都側重于實時檢測，因此它們只能支持一個短時間窗口(通常是幾秒鐘)，在這個窗口中，傳輸控制協議(TCP)會話可以檢測到攻擊。端口掃描是這個弱點的一個實例。針對主機的快速端口掃描將觸發幾乎任何IDS的警報。但是，如果該掃描在幾分鐘內進行，那么大多數IDSs[11]攻擊將在未被檢測到的情況下通過。在網絡中，以下挑戰仍然是未解決的問題，總結如下，用于入侵檢測解決方案[26]:

?運行時限制:實時入侵檢測應該捕獲并檢查每個包，而不丟失任何包。高流量負載會影響捕獲和檢查方法，需要一個強力的方法解決這個問題。

?假陽性的數量:減少預處理中的計算復雜度是必要的。

?入侵檢測的設置應該獨立于其基礎設施。

?攻擊異常的變化和未被發現:檢測概要和方法應該動態更新和調整，以便在不影響性能的情況下檢測新的攻擊模式。

3 入侵檢測中使用的一些數據挖掘和機器學習方法

對2001年至2008年的研究進行了總結，結果表明，攻擊檢測研究側重于尋找混合解和檢測分類。然而，從2010年到2015年的研究成果來看，這一時期的攻擊檢測研究更多地側重于機器學習和數據挖掘，包括基于誤用和基于異常的入侵檢測[26]的混合解決方案

流數據的分析是很重要的。由于入侵和惡意攻擊的短暫性和動態性，有必要在數據流環境中進行入侵檢測。此外，事件本身可能是正常的，但如果它被視為事件序列的一部分，則被認為是惡意的。因此，有必要研究共同遇到的事件序列，找到順序模式，并識別異常值。實時入侵檢測[27]也需要數據挖掘方法來發現演化的集群并在數據流中建立動態分類模型。離群點檢測是數據挖掘的一個實例，它對入侵檢測非常有用。離群值有兩種。第一種類型是在自己的網絡外圍設備中與其他類型有顯著差異的類型，而第二種類型的模式屬于其他網絡服務，而不是屬于自己的服務。許多研究表明，直接從高維數據集中找出異常值是極其困難的;因此，在減小數據集的維數方面做了大量的工作。降維可以由主成分分析(PCA)。

入侵可以從幾個不同的地點發射，并瞄準許多不同的目的地。分布式數據挖掘方法可用于分析來自多個網絡位置的網絡數據，以檢測這些分布式攻擊[27]。不斷發展的數據流挖掘分類器已經在大規模在線分析(MOA)中使用，因為它們能夠處理數據流中的概念漂移。MOA[2]中有16個正在進化的數據流分類器。無監督的入侵檢測可以基于聚類，目的是將數據實例組合成集群。所有出現在小集群中的實例都被標記為異常，因為與入侵[28]相比，正常實例應該形成大集群。表4[20]給出了基于統計、聚類、分類和信息論的網絡異常檢測方法的分類。PCA通常被認為是數據挖掘中的一種方法。

k-means聚類方法可用于將數據集聚類到多個集群中。可以直接對訓練集進行聚類，也可以選擇在降維后進行特征選擇，然后對降維[29]的數據進行k-means聚類。利用KDD杯1999網絡數據集，選擇k-means算法對非監督學習方法進行異常檢測的性能進行評價。評價結果表明，在保持低誤報率[30]的前提下，可以獲得較好的檢測率。采用包含三種數據挖掘方法的混合IDS進行異常檢測，混合IDS包含k-means、k-nearest neighbour (k-NN)和Decision Table Majority方法，該混合方法降低了DIS中的誤報率。一種結合k-means、k-NN、樸素貝葉斯的混合模型被提出。該模型采用基于熵的特征選擇方法進行屬性選擇。采用k-means聚類算法進行聚類，k-NN和樸素貝葉斯分類算法進行入侵檢測。該模型比k-means或k-means與kNN的組合表現出更好的性能?；谏窠浘W絡和反向傳播算法的IDS需要大量的數據，并且需要時間來保證結果的準確性。入侵檢測系統的增強決策樹方法是一種集成方法，其檢測率較好，但具有較低的誤報率。因為它結合了一些決策樹，它變得復雜，需要更多的時間和空間。

與傳統的神經網絡相比，利用DT進行分類可以獲得較好的準確率，從而減少訓練和測試時間。DT在R2L和DoS類入侵檢測建模中的重要性已經得到了證明。對于U2R和probe類，基于規則的分類更適合。然而，在基于可接受水平的誤報率[8]建模入侵檢測系統時，DT比基于規則的分類更適合。研究了一些入侵檢測技術，并基于KDD CUP 99測試數據對其性能進行了評估。將DT和SVM作為入侵檢測模型進行研究;設計了一種混合的DT - SVM模型和基于DT、SVM和DT - SVM模型的集成方法作為基分類器。實驗結果表明，DT對正常類、探針類、R2L類和U2R類都有較好的或同等的精度。與直接支持向量機方法相比，混合的dtd - SVM方法改進或提供了所有類的一致性。集成方法為R2L和探針類提供了最佳性能。集成方法為探針類提供了100%的準確性，這表明如果選擇合適的基分類器[32]，那么對于其他類也可能有100%的準確性。傳統的數據挖掘和機器學習方法在入侵檢測和防范方面存在局限性，因為ID/IP系統產生的大數據量大、速度快、數據格式多樣等。

4 入侵檢測系統中的大數據

4.1 為異構數據源提供大量的數據和數據融合

傳統上，用于檢測和防止網絡攻擊的系統的范圍可以分為:防病毒程序、主機IDS / IPS、網絡IDS / IPS、日志記錄、網絡設備事件、文件完整性監視(FIM)和白名單，以及安全與信息事件管理(SIEM)。盡管這些系統在很多方面都很有用，但它們在對付當前類型的隱形網絡攻擊時基本上是無效的。原因是:1)它們彼此獨立運行;2)產生大量的數據，分析起來比較困難、耗時，容易忽略關鍵的網絡攻擊事件[33]。大數據分析(Big Data analytics, BDA)可以更快地篩選大量數據，異構系統可以變得更高效、更有效。驗證的大量數據在內容網絡是一個重大的挑戰,因為有大量的不同類型的來源,如博客、社交網絡平臺,或新聞網站和社交網絡功能,和不同類型的內容,如評論、文章,微博,等等。因此,需要獲得簡單的規則的驗證內容和利用其他用戶的推薦內容。推薦用戶本身必須基于聲譽和信任標準進行評估[34]。

APTs檢測的一個挑戰是大量的數據用于檢測異常。這些數據來自越來越多需要審計的不同信息源。大數據分析是一種適用于APT檢測的方法。通過使用MapReduce實現，APT檢測系統有可能更有效地處理高度非結構化的數據，這些數據具有任意的格式，這些格式被許多類型的傳感器(如防火墻、IDS、Syslog、NetFlow和DNS)長時間捕獲。此外，與傳統的基于sql的數據系統[9]相比，MapReduce的大規模并行處理機制可以使用更復雜的檢測算法。

一種用于阻止警報(大警報數據)泛濫的常見技術稱為警報關聯。警報關聯的基本概念是，系統應該將多個警報過濾并聚合到一個警報中，這樣，當相同的特性引起相同的警報時，就不會出現大量相同類型的警報。數據融合是一種從各種不同的源(如系統日志文件、系統消息、用戶配置文件數據庫、操作員命令、大量分布式數據包嗅探器和簡單的網絡管理協議(SNMP)陷阱和查詢)聚合入侵檢測數據的技術。網絡空間的數據融合可以增強態勢感知能力。然而，數據融合在入侵檢測領域并沒有得到廣泛的應用。對入侵檢測的報警相關性進行了大量的研究，而對事件融合或其他類型的數據融合的研究較少。需要對不同的數據融合技術進行更多的實驗，特別是在包含大數據[4]的多種異構數據源的背景下。

討論了利用大數據分析工具進行網絡安全的三種主要方法。第一種方法涉及使現有的系統(如SIEM和data loss prevention (DLP))更智能，噪音更小，以便只標記和隔離最危險的網絡攻擊(如APTs)。在第二種方法中，分析的數據來源于內部和外部來源(例如在線和移動活動)，并且分析設置是定制的(或臨時的)。這意味著這些機構可以設定自己的搜索標準，在一些大數據分析系統中，可以“像谷歌一樣”搜索惡意活動。第三種方法主要對威脅和不良活動的外部數據進行分析。這意味著，大數據分析系統的設計目的是在互聯網(包括黑暗和公眾)中搜索針對[20]組織的惡意活動。

4.2 實時流數據和大數據流處理

處理大數據的速度不是一項容易的任務。首先，系統應該能夠以每秒數百萬個事件的速度收集實時事件流生成的數據。其次，它需要在收集數據時并行的處理數據。第三，它應該使用復雜的事件處理引擎執行事件關聯，從移動的流中提取有意義的信息。這三個步驟應該以容錯和分布式的方式進行。實時系統應該是一個低延遲的系統，這樣計算就可以非常快地執行，并具有接近實時的響應能力[35]。

實時分布式流處理模型可以為網絡安全威脅檢測的流量監控應用提供便利。由于數據量大，需要在分區中進行分離，以并行處理。高可用性、容錯和故障恢復是流處理系統的關鍵。流處理平臺必須為數據流中常見的數據丟失、延遲或無序樣本等缺陷提供恢復機制。平臺應該最小化數據傳輸中分布式進程之間的通信開銷。實時監控應用程序需要分布式流處理。以分布式方式分析大數據的主要方法是使用Hadoop開源實現的MapReduce技術。然而，基于這種技術的平臺并不理想，甚至有時不適合處理實時流應用程序[36]。

基于傳統解決方案(如數據流管理系統(DSMS)和復雜事件處理器(CEP)的方法通常不足以應對大數據上下文中的流處理帶來的挑戰。流處理所需的分析任務非常需要知識，因此也需要自動推理任務。即使考慮到NoSQL數據庫和并行處理技術的最新突破，在大數據上下文中有效、高效地處理流的問題也遠沒有得到解決。大數據流處理常常對重要事件的識別提出硬/軟實時要求，因為它們的檢測延遲太大可能完全無用的[34]。人們設想，通過使用Hadoop等大數據工具和名為PacketPig的網絡監控工具，構建一個能夠處理大數據網絡流的NIDS。PacketPig可以在使用Hadoop時進行深度包檢查、深度網絡分析，甚至完全包捕獲。聚類算法分析分組分類的有效性主要考慮[4]。

5 結論

使用具有多種IDPS技術的系統有助于實現更精確和全面的性能。殺毒產品屬于基于簽名的檢測方法?；诤灻姆椒▽τ诂F有的攻擊具有很高的準確性，但是不能檢測到新的或未知的攻擊(零日攻擊)?；诋惓５姆椒梢杂脕矸烙闳展簦⑶铱梢詸z測到大多數新的攻擊，但是通常會導致很高的假陽性率。異常探測器充當異常傳感器，每個傳感器檢查主機或用戶在網絡中的活動的一個方面。多個傳感器的觸發表明了更多的異常行為。很難直接從高維數據集中找到離群值;因此，PCA通常進行尺寸縮小。集成方法通常能夠獲得更好的性能，比如在建模入侵檢測和預測攻擊類型方面的準確性。

實時監控應用程序需要分布式流處理。高可用性、容錯和故障恢復是流處理系統的關鍵。當前IDS的一個關鍵挑戰是可以維護連接狀態的有限時間窗口。通過數據融合可以增強態勢感知，幫助處理不同的異構數據源和大數據。IDS和IPS是大數據的來源，因為它們生成大量數據，而且數據通常是異構的。IDS應該能夠識別不同的數據格式和不同的通信協議，這是大數據的特點。大數據分析(Big Data analytics, BDA)可以快速篩選大量數據，異構系統可以變得更高效和有效。

https://hortonworks.com/blog/big-data-security-part-one-introducing-packetpig/