本方法(簡稱DNA of HTTP)能夠針對Glastopf蜜罐新捕獲的異常HTTP服務流量,辨別其異常型態是否於過去歷史捕獲的異常流量中出現過,幫助分析人員能夠從海量的蜜罐捕獲流量中,自動且快速提取具有高研究價值的新型態異常,降低分析過程所需投入時間成本。透過半監督的方式學習蜜罐捕獲的歷史異常流量其行為模式,並以基於特徵、近似特徵、新的異常的偵測方式,識別新捕獲異常流量是否為新型態異常。本方法能夠廣泛應用於許多資訊安全機構,協助分析人員檢視所部署蜜罐捕獲之異常流量。 技術說明如下: 1.基於蜜罐之半監督新型態異常偵測方法,由蜜罐捕獲之異常流量樣式構建出新型態異常偵測模型。以基於特徵、近似特徵、新的異常的三層式偵測架構進行偵測。 2.首先,利用基於特徵與近似特徵其低誤報之優點,將過去蜜罐所捕獲之歷史異常流量做為基於特徵與近似特徵偵測之規則,若新捕獲異常流量與任一規則相符或相似度在指定門檻值內則視為歷史異常,若不符則須進行下一階段基於新的異常之偵測。此方法不僅擁有低誤報之優點,且因將過去所有蜜罐捕獲流量皆視為偵測規則,還能夠解決蜜罐捕獲流量類別不均勻問題,避免模型可能只關注頻繁出現的異常流量,造成對於出現次數稀少的異常流量學習效果不佳的問題。 3.為避免新捕獲異常流量,須與過去所有的歷史異常流量進行特徵比對,造成龐大的偵測花費時間,因此我們利用Minibatch K-Means++對歷史異常流量進行分群,並預測新捕獲異常流量最可能所屬之前K個群,從而只須與部份歷史異常流量進行比對,降低比對數目。 4.在基於特徵與近似特徵的偵測方法中,可能會有對於某些相同異常型態,但因參數替換造成字面上與規則差異較大所形成的少量誤報,能夠利用基於新的異常的偵測方式補足。將與新捕獲異常流量相似度在指定範圍內的歷史異常流量自成一群,以自動定義檢測門檻值,進行檢測。 5.能夠利用特徵比對過程中,最高的相似度指數,推算出新穎異常指數,並將新穎異常指數與是否為新型態異常等資訊,呈現在Kibana可視畫儀表板上。 6.實驗結果顯示DNA of HTTP在新穎異常偵測任務,能夠降低分析人員所需調閱log數量數十至百倍,且異常偵測任務F1 Score也達到99%的表現。 |