網絡防御能力正在努力跟上更先進的網絡進攻能力的發展步伐。AI——特別是尖 端 的 機 器 學 習(Machine Learning，ML) 方法——已被用來減輕網絡防御者的負擔。對網絡防御者而言，機器學習是一項優勢還是問題，將取決于自動化的網絡防御系統能否應對愈演愈烈的各類能力。正如美國AI國家安全委員會(National Security Commission on Artificial Intelligence，NSCAI)警告稱，“在不使用AI的情況下，對抗以機器速度運行，并且具有AI能力的對手將是一場災難”。

面對成倍增加和升級的網絡威脅，創新性的機器學習方法已證明它們對網絡安全的價值，但很難保證大規模部署具備機器學習能力的防御系統就一定能抗衡靈活多變的攻擊者。為了保障網絡安全，系統必須在接連不斷的網絡攻擊壓力下可靠地執行機器學習功能。與此同時，機器學習也帶來了新的安全挑戰。機器學習型系統可依靠數據模式來開發預測模型，這種方法可能非常有效，但也使機器學習型系統容易受到錯誤和惡意干擾的影響。能夠操縱數據輸入項的攻擊者可能會創建一種欺騙性的數據模式來攻擊預測模型，包括美國國家安全界在內的各方也普遍承認機器學習的這一弱點。因此，當務之急就是開發能夠防止欺騙性攻擊的穩固性機器學習型系統，但各種穩固性措施通常又會削弱機器學習型系統的準確性。

這種在準確性與穩固性之間權衡的過程中帶來了一個問題，例如，一套基于機器學習的防病毒系統通過不斷動態調整，以抵御不斷發展的惡意軟件攻擊，與此同時，開發人員可以細致地監管該系統，并加強其防范欺騙性攻擊的能力，但這樣又會妨礙該系統準確檢測出新的惡意軟件。由此可見，在部署機器學習型系統以應對復雜多變的威脅時，監管方需要不斷在不同風險之間進行取舍。

本報告重點關注了基于自動化機器學習的網絡防御而出現的挑戰，要想預見大規模部署機器學習型系統將如何影響網絡進攻和防御，須了解機器學習在技術上的取舍問題及此類系統的局限性。

1.通過機器學習為網絡防御創造公平的對抗環境

機器學習型系統能在大量的數據中發現模式，這些模式對于在不確定的情況下進行預測非常有用。在從圖像分類到復雜策略博弈的任務中，它們可以達到或超過人類的能力，應用到網絡安全方面就能形成檢測能力，從而大大提高攻擊者的門檻。例如，入侵檢測系統可以利用大量網絡活動數據來定義正常行為的基線，以幫助網絡防御者更快、更準確地發現異常。攻擊者不僅需要避免明顯的危險信號，還需要在更細微的層面上維持活動的合法表象。惡意軟件的檢測同樣也受益于“能夠通過大量數據集來發現更廣泛的模式，從而區分惡意代碼和良性代碼”的系統。網絡安全服務通常使用機器學習來幫助分析惡意軟件，例如，識別類似的惡意樣本集，并將其與已知的惡意軟件進行匹配。傳統的防病毒系統很難跟上攻擊者更新代碼的速度，而在理想情況下，啟用機器學習型系統將能通過識別更深層次的模式(這些模式具有惡意代碼的特征)來檢測未被發現的惡意軟件。

機器學習不僅具有自動檢測的潛力，還具有主動防御攻擊的潛力。從理論上講，機器學習可以通過動態調整來干擾或減輕攻擊。被稱為“蜜罐”的誘餌數據或誘餌網絡早即有之，但機器學習可以使它們適應持續不斷的攻擊，更有效地引誘攻擊者，使他們暴露自己的能力。研究人員正在試驗一種系統，可以動態地對網絡進行自動重新配置，以阻止攻擊者的操作。

防御性應用程序可以消除攻擊者長期以來享有的不對稱優勢，包括攻擊者能夠仔細規劃作戰并突襲防御者，一旦進入網絡，惡意軟件就能在可預測的目標環境下實現自適應，并不斷調整能力以突破防御。機器學習型防御系統可以預見未來的攻擊并立即做出反應，其能意識到防御者潛在的“主場優勢”，并對攻擊者采取突然襲擊和欺騙手段。然而，機器學習面臨的真正考驗是能否應對攻擊者不斷調整戰術的攻擊方式(包括針對機器學習模型本身缺陷的攻擊)。高水平的攻擊者甚至利用機器學習本身發起攻擊。例如，攻擊者可能利用機器學習功能，研究如何在目標環境中隱藏攻擊或偽裝與命令和控制服務器之間的通信，以達到欺騙入侵檢測系統的目的。因此，機器學習能否為網絡防御創造公平的對抗環境，關鍵取決于它是否有能力抵御系統性的攻擊。

2.機器學習型網絡防御面臨的問題

即使是最復雜的機器學習型系統，也常常容易受到欺騙。攻擊者可以通過將惡意軟件偽裝成正常軟件來規避基于機器學習的惡意軟件分析，或者通過模仿正常的用戶行為來欺騙入侵檢測系統。因此，基于機器學習型防御必須具有抵抗能力，這意味著它們在面對這種欺騙時仍能可靠地執行，與此同時，機器學習應用于網絡防御也會面臨諸多問題。

2.1　機器學習中的漏洞

機器學習型系統會在數據中尋找對預測有用的模式或統計規律。為了最大限度地提高其預測的準確性，系統將尋找任何有用的模式，不管它們是否會導致錯誤。例如，一種圖像分類器可根據圖像中是否有雪來學習如何區分狼和哈士奇。準確分類訓練數據集的最有效方法就是在數據集中納入許多有雪的狼圖像和沒有雪的哈士奇圖像。但是，當遇到更具代表性的訓練集或蓄意欺騙時，這種關聯性可能會導致系統出錯。攻擊者可以發現此漏洞，從而創建一個欺騙性輸入項，例如，在哈士奇圖像中添加像雪一樣的圖像以混淆識別。在機器學習的研究中充滿了這樣的“對抗性樣例”，研究人員為了改變模型的預測結果而創建欺騙性輸入項。越來越多的文獻證明這類攻擊蔓延到了垃圾郵件過濾器、惡意軟件及入侵檢測系統等一系列網絡安全應用程序。

機器學習型系統易受到寫入代碼中的錯誤、軟件漏洞等欺騙。更準確地說，機器學習型系統依賴于識別關聯性，而不是理解因果關系，但在數據中常常充斥著虛假關聯(例如“雪”和“狼”之間的關聯)，這些關聯雖然源于有用的經驗法則，但并不總是準確的。事實上，一些研究人員將對抗性示例描述為機器學習的“特性而非漏洞”，因為它們證明了系統已經學會了一種可供預測的模式。即使被攻擊者利用的圖像可以欺騙機器學習型系統，系統也在做它應該做的事情——根據關聯進行預測。

由于某種程度上，基于識別關聯性進行預測是機器學習型系統的固有特性，因此，當前還未研究出容易的方法來防止這些漏洞的出現。在實踐中，很難看出機器學習型系統何時學會了虛假關聯(例如“雪”和“狼”之間的關聯)，但可能欺騙系統的輸入項組合數不勝數，因此也不可能通過測試每一組合來找出漏洞。這些挑戰促使人們尋找可靠的方法來抵御“對抗性樣例”，但收效甚微。

2.2　準確性與穩固性之間的取舍

研究人員找到了各種方法來清除虛假關聯，從而產生一個更能抵御攻擊的模型。然而，這樣做是以犧牲模型的總體準確性為代價的。這似乎是因為前述特性有助于在不確定的情況下進行預測。對于機器學習型系統來說，像區分狼和哈士奇這樣的任務是艱巨的。開發者可以專門制作數據讓訓練系統不要依賴雪作為指標，但如果沒有這個指標，系統就很難識別狼和哈士奇。換句話說，這個系統可能不太容易受到欺騙，但在執行主要任務時其效率也較低。

為了穩固性犧牲一些準確性可能是值得的，但在某些情況下，這會造成兩難的局面。設想一個與自動駕駛汽車有關的案例，開發人員需要在兩套系統之間做出選擇，一套是每百萬英里(在正常情況下)發生一次事故的系統，另一個是每十萬英里發生一次事故但更能抵御網絡攻擊的系統。后者可能更穩固，因為它避免依賴某些模式，使攻擊者更難實施欺騙，但同時也增加了系統在這些條件下出錯的風險。鑒于此，如果開發人員評估認為，某一威脅行為體不太可能有高明的手段和充分的動機發動攻擊，那么開發人員可能會合理地選擇前一套系統;如果在面臨嚴重的惡意攻擊威脅時，那么為了提升穩固性而犧牲一些準確性也未嘗不可。

但如果模型所要預測的正是對手的反預測行為呢?在這種情況下，在準確性與穩固性之間取舍相當于對不同類型的惡意威脅進行優先級排序。例如，負責檢測惡意軟件、惡意命令和控制服務器之間的通信的機器學習型系統可能容易受到惡意軟件流量攻擊，而這些惡意軟件流量經過攻擊者更改可以規避模型預測。開發人員可以通過對抗性樣例來訓練系統，使其不受此類攻擊的影響，但這實際上可能會使系統在檢測未更改的惡意軟件流量方面表現得更加糟糕。

最大限度地提高防病毒系統的準確性可能會提高其總體檢出率，同時又難免使其更容易受到欺騙性攻擊(例如試圖將惡意軟件偽裝成合法文件的攻擊)。研究人員成功演示了對高度準確、部署了機器學習功能的防病毒系統進行攻擊，同時對該防病毒系統進行了逆向工程研究，結果發現該模型已經學會了將某些字符序列與良性文件牢牢關聯到一起的強烈關聯。他們只需將這些序列附加到惡意文件中，就可以欺騙系統將其歸類為良性文件。為消除此類盲點而精心設計的系統可能不易受到此類欺騙，但通常也更容易發生漏報(系統未檢出某一惡意軟件)或誤報(系統將良性文件錯誤標記為惡意文件)。

2.3　機器學習型網絡防御的持續平衡

即使在有利的條件下，也很難在不同的系統風險之間做出足夠平衡的取舍。面對不斷演變的網絡威脅，這將成為一個特別棘手的問題，原因如下文所述。

第一，攻擊者可以不斷地試探防御，以搜索機器學習型系統中的漏洞。如果進行多次嘗試，他們很可能利用漏洞成功地避開高準確度的機器學習型系統。此外，網絡安全領域有許多攻擊者會相互觀察和學習彼此的成敗經驗。由于針對某一機器學習模型的欺騙性輸入項通常也能欺騙為執行同一任務而訓練的其他模型，因此，攻擊者可能對一個機器學習型系統進行反復攻擊，并從中吸取有用的經驗教訓，進而研究出能欺騙其他系統的手段。換句話說，防御者不能僅僅因為攻擊者沒有試探過他們的機器學習型系統，就認為攻擊者無法對其進行欺騙和攻擊。

第二，攻擊者塑造了用于訓練系統以檢測惡意行為的數據。攻擊者可以通過輸入數據來“毒害”機器學習型系統，這些數據將導致機器學習型系統學習某種關聯，而這種關聯會使該系統在日后難以抵御相應的攻擊。例如，攻擊者可能試圖通過使機器學習型系統習慣于網絡中存在攻擊者，以此來誤導入侵檢測系統。在部署中不斷學習的機器學習型系統必須既能適應對手的行為，又能識破對手的欺騙。

第三，不斷變化的進攻能力等因素使得環境變得更加復雜。就像識別狼和哈士奇一樣，用于描述正常網絡行為或常見惡意軟件的數據很快就會過時。為應對持續威脅而部署的大規模網絡防御系統可能需要在部署時進行不斷學習和適應，這意味著要通過不斷地接受新的培訓數據來動態更新模型，達到應對持續威脅的效果，同時攻擊者也在試圖智取此類系統或積極擾亂其適應過程。

3.如何使機器學習在網絡防御中發揮作用

機器學習將是網絡防御者應對網絡攻擊的重要武器之一。但是，安全地部署機器學習型系統需要網絡防御者持續管理此類系統的動態平衡行為。相關的政策和戰略應幫助網絡防御者有理有據地對機器學習的特性進行取舍。政府希望塑造新興的機器學習型網絡安全生態系統的發展軌跡，從而改善網絡防御者的處境，對此，本節提出以下 3 點建議以供參考。

3.1　將安全性融入機器學習型網絡安全應用程序的設計和開發過程中

一般來說，機器學習型應用程序的開發是以最有效的方式、最大限度地提高準確性為目標的。為實現網絡安全，機器學習型系統不僅需要做出準確的預測，還需要在不斷變化的環境條件和對抗性干擾的持續壓力下進行可靠的預測。要想克服這些挑戰，就要創造一種適應于網絡安全背景下的“動態—對抗性學習模式”。在設計、測試到部署和更新的過程中，始終將安全性視為“循環往復的過程”的整體方法，而穩固性和準確性均是其優先考慮的因素。

將這一方法付諸實施需要融合機器學習安全和網絡安全來進行研究，主要體現在 3 個研究領域。一是通過為特定的網絡安全應用程序開發現實的威脅模型來理解威脅。防御者需要評估相對威脅，例如，一些攻擊者能夠直接試探已部署的機器學習型系統，與之相對的是另一些攻擊者可能只能間接了解上述模型。二是確定關鍵的穩固性，并開發度量和驗證它們的方法。具體來說，開發人員需要通過各種技術來證明“全局”的穩固性不會因部署過程中的模型學習變化而失效。一位專家將機器學習的安全現狀與 20 世紀 20 年代的密碼學進行了比較：不僅最安全的系統很容易被打破，研究人員甚至缺乏正確評估安全性的指標。三是開發更廣泛的系統級防御，以檢測或防止可能破壞模型的攻擊。這些措施包括檢測試圖試探系統的行為，并防止系統向試圖對其進行逆向工程研究的攻擊者“泄露”信息。整體防御方法既需要減少模型中的漏洞，又需要采取措施防止攻擊者發現和利用仍然存在的漏洞。

3.2　通過系統多樣性和冗余性提高彈性

網絡防御將受益于對機器學習創新方法的進一步研究，這些創新方法在系統的設計和實施中融入了多樣性和冗余性。例如，網絡安全供應商 F-Secure 的“BlackfinProject”尋求開發多個機器學習型智能體，對網絡環境的不同方面進行建模，并通過協同工作以識別網絡入侵。通過把依賴于不同模式或不同感知方式的多個模型組合在一起，所產生的系統可能比檢視相同數據的一堆模型更不易受到欺騙。

即使有了更好的工具來提高穩固性，機器學習型系統也不會萬無一失。如上所述，供應商通常依賴多種工具和技術，包括基于機器學習的工具和技術。但是，隨著對機器學習型系統的日益依賴，決策者必須確立各種風險容忍閾值，以指導在何處如何依賴機器學習型系統，以及何時使用非機器學習工具和保障措施以作為補充。

3.3　警惕戰略競爭對手企圖破壞機器學習的發展

網絡防御者對機器學習的依賴將大大吸引對手(尤其是試圖利用機器學習展開網絡行動的國家行為體)設法擾亂機器學習的發展過程。即使只知道目標模型的參數、體系結構或訓練數據和方法的一部分，也將會降低攻擊機器學習型系統的難度。

在技術層面上，網絡攻擊者將設法獲取培訓數據集，滲透進商業項目或開源項目，或者簡單地通過購買產品進行逆向工程研究，以此尋找機會獲取有關機器學習型系統內部工作方式的情報。他們甚至可能在模型中插入后門，而這些后門會隨模型進入部署的防御系統中，從而破壞機器學習型系統。

在戰術層面上，防御的成功與否將取決于政府和私營部門之間的協調，更具體地說，將取決于能否通過這種協調，在部署防御系統之前就預測和挫敗旨在那些極具破壞性的攻擊行動。供應商必須仔細檢查和保護對其服務完整性至關重要的數據和組件。政府機構應探討如何努力確保供應鏈的安全，并防止網絡攻擊者獲取包括機器學習能力在內的敏感技術和數據。

4.結語

AI不是網絡安全的靈丹妙藥，但卻可能成為網絡安全中不可或缺的一環。現有的機器學習方法不是為保障安全性而設計的，更不是為一個以不斷變化和欺騙為特征的環境而設計的。機器學習在網絡安全方面發揮著日益重要的作用，同時也提出了一個嚴重的問題：當前在機器學習的設計和實現方面所做的選擇，或多或少會影響網絡防御者所處的局面。要想贏得這一挑戰，就得開展協同合作，以便使機器學習安全領域和網絡安全領域的各類研究及從業人員能夠跨越彼此間的鴻溝。與此同時，決策者需要考慮如何引導開發和使用機器學習功能的利益相關者不要僅著眼于效率，而是優先考慮安全問題。若能積極主動地管理大規模的機器學習型網絡防御問題，就能為網絡防御者開創更好的局面。