導(dǎo)言：作為寫作愛好者，不可錯過為您精心挑選的10篇網(wǎng)絡(luò)流量分析的方法，它們將為您的寫作提供全新的視角，我們衷心期待您的閱讀，并希望這些內(nèi)容能為您提供靈感和參考。

篇1

網(wǎng)絡(luò)流量分析是一個有助于網(wǎng)絡(luò)管理者進(jìn)行網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)監(jiān)控、流量趨勢分析等工作的工具，進(jìn)而挖掘網(wǎng)絡(luò)資源潛力，控制網(wǎng)絡(luò)互聯(lián)成本，并為網(wǎng)絡(luò)規(guī)劃、優(yōu)化調(diào)整和業(yè)務(wù)發(fā)展提供基礎(chǔ)依據(jù)，企業(yè)需要及時了解到網(wǎng)絡(luò)中承載的業(yè)務(wù)，及時掌握網(wǎng)絡(luò)流量特征，及時解決網(wǎng)絡(luò)性能問題。從這些企業(yè)管理網(wǎng)絡(luò)中所經(jīng)常遇到的問題來看，需要有一種解決方案能讓網(wǎng)絡(luò)管理人員及時了解到詳細(xì)的網(wǎng)絡(luò)使用情形，使網(wǎng)絡(luò)管理人員及時了解網(wǎng)絡(luò)運行狀況，及時清楚網(wǎng)內(nèi)應(yīng)用的執(zhí)行情況。隨著網(wǎng)絡(luò)的發(fā)展，流量分析工作將在網(wǎng)絡(luò)管理中起到越來越重要的作用。

1.網(wǎng)絡(luò)流量分析方法

網(wǎng)絡(luò)流量是單位時間內(nèi)通過網(wǎng)絡(luò)設(shè)備或傳輸介質(zhì)的信息量。網(wǎng)絡(luò)流量分析根據(jù)不同的方法可以從不同的側(cè)面展開，目前，主要的分析方法有流量的統(tǒng)計分析和流量的粒度分析等。

1.1 網(wǎng)絡(luò)流量的統(tǒng)計分析

（1）基于軟件的流量統(tǒng)計

這種統(tǒng)計分析一般通過修改安裝于主機(jī)上的操作系統(tǒng)的網(wǎng)絡(luò)接口模塊，使之具有捕獲數(shù)據(jù)包的功能，以實現(xiàn)流量信息的收集和分析?；谟布牧髁拷y(tǒng)計效率很高，專用性強(qiáng)，但是價格昂貴對人員要求高，而基于軟件的流量統(tǒng)計有價格便宜，實現(xiàn)靈活，擴(kuò)展性強(qiáng)的優(yōu)點，但其性能要低于基于硬件的統(tǒng)計技術(shù)。因此，流量統(tǒng)計方法有待進(jìn)一步的提高，以適應(yīng)網(wǎng)絡(luò)快速發(fā)展的需求。

（2）基于硬件的流量統(tǒng)計

此類分析通常采用硬件測量設(shè)備，是一種為特定目的設(shè)計的用于收藏和分析流量數(shù)據(jù)的硬件設(shè)備。

1.2 網(wǎng)絡(luò)流量的粒度分析

網(wǎng)絡(luò)流量行為特征的分析還可以在不同測量粒度或者不同的層面上展開。

比特級（Bit-level）的流量分析，這種分析主要關(guān)注網(wǎng)絡(luò)流量的數(shù)據(jù)特征，如網(wǎng)絡(luò)線路的傳輸速率，吞吐量的變化等等。

分組級（Packet-level）的流量分析，此類分析主要關(guān)注的是IP分組的到達(dá)過程、延遲、抖動和丟包率等。

流級（Flow-level）的流量分析，F(xiàn)low的劃分主要依據(jù)地址和應(yīng)用協(xié)議而展開的，它主要關(guān)注流的到達(dá)過程、到達(dá)間隔及其局部的特征。

上面流量的粒度由小到大遞增，時間尺度也逐漸增大，不同時間尺度網(wǎng)絡(luò)流量往往表現(xiàn)出不同的行為規(guī)律。通常，網(wǎng)絡(luò)設(shè)備本身都提供基于IP分組頭的分析功能，因此，F(xiàn)low-level的流量分析成為發(fā)展趨勢。

2.網(wǎng)絡(luò)流量分析常用技術(shù)

隨著計算機(jī)技術(shù)的發(fā)展，網(wǎng)絡(luò)流量分析技術(shù)也與時俱進(jìn)。既有傳統(tǒng)的數(shù)據(jù)庫的網(wǎng)絡(luò)管理技術(shù)，也有面向開放式互聯(lián)網(wǎng)的網(wǎng)絡(luò)分析技術(shù)。目前，在網(wǎng)絡(luò)流量分析中占據(jù)主流的常用分析技術(shù)主要有：

2.1 RMON技術(shù)

RMON（遠(yuǎn)程監(jiān)控），是由IETF定義的一種遠(yuǎn)程監(jiān)控標(biāo)準(zhǔn)，RMON是對SNMP標(biāo)準(zhǔn)的擴(kuò)展，它定義了標(biāo)準(zhǔn)功能以及網(wǎng)管站和遠(yuǎn)程監(jiān)控器之間的接口，實現(xiàn)對一個網(wǎng)段乃至整個網(wǎng)絡(luò)的數(shù)據(jù)流量的監(jiān)視功能。RMON監(jiān)控器叮用兩種方法收集數(shù)據(jù)：一種是通過專用的RMON探針（Probe），流量探針安裝方便，但是流量探針價格昂貴，不適合大面積部署。另一種方法是將RMON直接植入網(wǎng)絡(luò)設(shè)備（路由器、交換機(jī)、HUB等），但這種方式受網(wǎng)絡(luò)設(shè)備資源限制，一般不能獲取RMONMIB的所有數(shù)據(jù)，大多數(shù)只收集統(tǒng)計量、歷史、告警、事件等四個組的信息。

2.2 SNMP技術(shù)

SNMP是用標(biāo)準(zhǔn)化方法定義的，通常一個標(biāo)準(zhǔn)的網(wǎng)管系統(tǒng)包括三個組成部分：SNMP協(xié)議，這包括理解SNMP操作、SNMP消息的格式以及如何在應(yīng)用程序和設(shè)備之間交換信息；管理信息結(jié)構(gòu)，它是用于指定一個設(shè)備維護(hù)的管理信息的規(guī)則集；管理信息庫，它是設(shè)備所維護(hù)的全部被管理對象的結(jié)構(gòu)集合?；赟NMP的流量分析就是通過SNMP協(xié)議訪問設(shè)備獲取MIB庫中的端口流量信息，典型工具有MRTG，MRTG是一個使用的免費軟件，通過SNMP協(xié)議從設(shè)備得到流量信息，將流量負(fù)載情況繪制成PNG格式圖片，并以WEB形式顯示給用戶。由于M RTG使用起來很方便，能夠直觀顯示端口流量負(fù)載，所以是各類網(wǎng)管人員常用的網(wǎng)絡(luò)監(jiān)視工具。但MRTG的功能比較單一，其收集到的流量信息僅是簡單的端口出、入流量統(tǒng)計信息，不能深入分析包的類型、流向等信息。

2.3 s Flow技術(shù)

s Flow是由InMon﹑HP和Foundry Networks于2001年聯(lián)合開發(fā)的一種網(wǎng)絡(luò)監(jiān)測技術(shù)，它采用數(shù)據(jù)流隨機(jī)采樣技術(shù)，可提供完整的第一層到第四層，甚至全網(wǎng)絡(luò)范圍內(nèi)的流量信息，可以適應(yīng)超大網(wǎng)絡(luò)流量（如人于10Gbit/s）環(huán)境下的流量分析，讓用戶詳細(xì)、實時地分析網(wǎng)絡(luò)傳輸流的性能、趨勢和存在的問題。sFlow技術(shù)有很多優(yōu)點：成本低廉；在不斷發(fā)展升級當(dāng)中，能在沒有消耗額外資源的環(huán)境監(jiān)測萬兆網(wǎng)絡(luò)，不會帶來新的網(wǎng)絡(luò)沖突；有自己的一套準(zhǔn)確可靠的計量方式；數(shù)據(jù)信息量人。sFlow已經(jīng)成為一項線速運行的“永遠(yuǎn)在線”技術(shù)，可以將sFlow技術(shù)嵌入到網(wǎng)絡(luò)路由器和交換機(jī)ASIC芯片中。與使用鏡像端口、探針和旁路監(jiān)測技術(shù)的傳統(tǒng)網(wǎng)絡(luò)監(jiān)視解決方案相比，sFlow能夠明顯地降低實施費用，同時可以使實現(xiàn)而向每一個端口的全企業(yè)網(wǎng)絡(luò)監(jiān)視解決方案成為可能。

3.網(wǎng)絡(luò)流量分析技術(shù)的應(yīng)用

網(wǎng)絡(luò)流量分析起著一個銜接的作用，主要利用網(wǎng)絡(luò)流量測量部分收集到的各種流量信息，通過運用不同的方法對其進(jìn)行分析和建模，以發(fā)現(xiàn)流量的特性，對網(wǎng)絡(luò)性能做出客觀的評價，并以此作為對網(wǎng)絡(luò)進(jìn)行控制和優(yōu)化的依據(jù)。網(wǎng)絡(luò)流量分析技術(shù)的應(yīng)用主要包括以下兒個方面：

3.1 實施安全預(yù)警

網(wǎng)絡(luò)流量異常會嚴(yán)重影響網(wǎng)絡(luò)性能，造成網(wǎng)絡(luò)擁塞，嚴(yán)重的甚至?xí)W(wǎng)絡(luò)中斷，使網(wǎng)絡(luò)設(shè)備利用率達(dá)到100%無法響應(yīng)進(jìn)一步的指令。通過對網(wǎng)絡(luò)內(nèi)流量的實時分析，有助于及時發(fā)現(xiàn)網(wǎng)絡(luò)中出現(xiàn)的異常流量，迅速分析出異常流量的具體屬性，并向網(wǎng)絡(luò)管理者進(jìn)行告警，判斷是否出現(xiàn)了入侵，并按照事先擬定的規(guī)則集進(jìn)行處理，記錄異常情況發(fā)生時的詳細(xì)網(wǎng)絡(luò)狀況，使入侵得到及時發(fā)現(xiàn)和處理。

3.2 分析用戶行為

根據(jù)分析結(jié)果，進(jìn)行相應(yīng)網(wǎng)絡(luò)內(nèi)容的建設(shè)！將用戶感興趣的熱點信息內(nèi)容放到內(nèi)部網(wǎng)絡(luò)，減輕互聯(lián)鏈路的壓力。

3.3 節(jié)省運營費用

通過對網(wǎng)絡(luò)出口流量和流向的分析，可以統(tǒng)計出業(yè)務(wù)類型、服務(wù)等級、通信時間和時長、通信數(shù)據(jù)量等參數(shù)，可以詳細(xì)了解網(wǎng)絡(luò)內(nèi)部用戶對其他外部網(wǎng)絡(luò)的訪問情況，為基于IP的計費應(yīng)用和SLA的校驗服務(wù)提供數(shù)據(jù)依據(jù)，從而有效地選擇與其他運營商的互聯(lián)方式，節(jié)省費用。

3.4 優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)

通過對網(wǎng)絡(luò)中一些特定流量的長期監(jiān)控，獲得網(wǎng)絡(luò)流量數(shù)據(jù)后對其進(jìn)行統(tǒng)計和計算。從而得到網(wǎng)絡(luò)及其主要成分的性能指標(biāo)，定期形成性能報表，并維護(hù)網(wǎng)絡(luò)流量數(shù)據(jù)庫或日志存儲網(wǎng)絡(luò)及其主要成分的性能的歷史數(shù)據(jù)，可供網(wǎng)管人員正確分析網(wǎng)絡(luò)使用狀況，對網(wǎng)絡(luò)及其主要成分的性能進(jìn)行性能管理。通過數(shù)據(jù)分析獲得性能的變化趨勢，分析制約網(wǎng)絡(luò)性能的瓶頸問題。

3.5 評估網(wǎng)絡(luò)價

通過對各個分支網(wǎng)絡(luò)出入流量的監(jiān)控，分析流量的大小﹑去向及內(nèi)容組成，了解各分支網(wǎng)絡(luò)占用帶寬的情況。從而反映其占用的網(wǎng)絡(luò)成本，也可以了解其業(yè)務(wù)開展情況，并作出價值評估。

3.6 確定重點客戶

通過對重要應(yīng)用和大客戶的流量進(jìn)行統(tǒng)計分析。掌握重要應(yīng)用和大客戶的流量狀況，進(jìn)行網(wǎng)絡(luò)帶寬的成本分析。有助于在網(wǎng)絡(luò)服務(wù)質(zhì)量和網(wǎng)絡(luò)成本之間取得最佳平衡。

4.網(wǎng)絡(luò)流量分析的重要性

相對于網(wǎng)絡(luò)管理人員來說，理解用戶的網(wǎng)絡(luò)行為網(wǎng)絡(luò)流量的內(nèi)容是網(wǎng)絡(luò)管理的重要內(nèi)容，它為日常網(wǎng)絡(luò)管理﹑容量規(guī)劃與未來網(wǎng)絡(luò)升級等提供重要依據(jù)，通過網(wǎng)絡(luò)流量分析，可以提供大量詳盡的數(shù)據(jù)，供網(wǎng)管人員從很多方面進(jìn)行更好地維護(hù)﹑優(yōu)化網(wǎng)絡(luò)，并且提升網(wǎng)絡(luò)的性能；同時還能為業(yè)務(wù)應(yīng)用層面提供數(shù)據(jù)依據(jù)，為特定客戶提供流量分析服務(wù)。比如網(wǎng)站流量統(tǒng)計分析等；也可作為網(wǎng)絡(luò)安全的輔助手段，處理網(wǎng)絡(luò)病毒等異常事件。在病毒分析時，網(wǎng)絡(luò)管理員需要知道哪些端口發(fā)送的數(shù)據(jù)發(fā)生了較大變化，因此，對網(wǎng)絡(luò)流量的分析可以為網(wǎng)絡(luò)的運行和維護(hù)提供重要信息和深層次的管理功能，很好地發(fā)揮網(wǎng)絡(luò)管理作用。對于網(wǎng)絡(luò)性能分析﹑異常監(jiān)測﹑鏈路狀態(tài)監(jiān)測﹑容量規(guī)劃等發(fā)揮著重要作用。為網(wǎng)絡(luò)發(fā)展和網(wǎng)絡(luò)優(yōu)化提供更優(yōu)質(zhì)﹑更有效的技術(shù)支撐和技術(shù)服務(wù)，可以預(yù)見，隨著網(wǎng)絡(luò)的發(fā)展，流量分析工作將在網(wǎng)絡(luò)管理中起到越來越重要的作用。

參考文獻(xiàn)

篇2

中圖分類號 TN91 文獻(xiàn)標(biāo)識碼 A 文章編號 1674-6708（2016）166-00104-01

近年來寬帶網(wǎng)絡(luò)一直保持高速增長，光纖到桌面已基本實現(xiàn)，但網(wǎng)絡(luò)中巨大的流量會對網(wǎng)絡(luò)產(chǎn)生怎樣的影響，這些流量是如何構(gòu)成的，始終是一個問題。通過對寬帶流量的分析我們可以知道流量的源頭和目的、知道協(xié)議分布、知道端口情況、知道通信經(jīng)營指標(biāo)等、當(dāng)然最重要的還有數(shù)據(jù)的安全性。

不同的網(wǎng)絡(luò)，不同觀察點，不同時間的網(wǎng)絡(luò)流量因網(wǎng)絡(luò)規(guī)模，業(yè)務(wù)種類，用戶構(gòu)成和使用習(xí)慣的不同而不同，甚至受突發(fā)事件的影響，網(wǎng)絡(luò)流量在體量規(guī)模，構(gòu)成成分和比例上都有所不同。一個好的流量分類分析系統(tǒng)，應(yīng)滿足部署位置上的可移植性，流量規(guī)模的可伸縮性，時間演進(jìn)的自適應(yīng)性。這時系統(tǒng)不僅需要采用先進(jìn)的分類技術(shù)，也需要代表性的訓(xùn)練數(shù)據(jù)集來確定系統(tǒng)運行參數(shù)。數(shù)據(jù)集主要采用2種方式：PCAP格式和NETFLOW格式，前者捕獲的是包級記錄，后者則是關(guān)于流級得統(tǒng)計信息記錄。

寬帶流量的分析和檢測首先要進(jìn)行流量的采集，這項工作可以通過交換機(jī)或路由器的鏡像端口實現(xiàn)，也可以通過光纜分光的方式實現(xiàn)。對捕獲的數(shù)據(jù)進(jìn)行計算和統(tǒng)計，并把統(tǒng)計數(shù)據(jù)寫入數(shù)據(jù)庫，定期形成網(wǎng)絡(luò)性能和流量參數(shù)的報表，用作分析的依據(jù)，在形成足夠數(shù)量的報表數(shù)據(jù)后，可以分析數(shù)據(jù)和系統(tǒng)性能變化的趨勢，判斷網(wǎng)絡(luò)是否存在瓶頸，并依據(jù)經(jīng)驗，形成經(jīng)驗數(shù)據(jù)庫，使網(wǎng)管系統(tǒng)具備學(xué)習(xí)的基礎(chǔ)和能力。在出現(xiàn)告警或異常情況時，可用來分析對比，判斷是否出現(xiàn)了網(wǎng)絡(luò)的攻擊和入侵，判斷惡意數(shù)據(jù)出現(xiàn)的源頭和特征，足夠數(shù)量的數(shù)據(jù)報表也可以指導(dǎo)各類應(yīng)急預(yù)案的制定，在出現(xiàn)異常情況時可按照事先擬定的規(guī)則進(jìn)行處理。

對于寬帶流量的分析和分類，系統(tǒng)需要進(jìn)行統(tǒng)計模型的學(xué)習(xí)，統(tǒng)計模型的學(xué)習(xí)可以分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)方法。所謂的監(jiān)督學(xué)習(xí)是需要使用已經(jīng)標(biāo)注過的數(shù)據(jù)集合作為經(jīng)驗知識，對寬帶流量的參數(shù)和算法進(jìn)行訓(xùn)練；而非監(jiān)督學(xué)習(xí)則不需要使用已經(jīng)標(biāo)注過的數(shù)據(jù)集進(jìn)行訓(xùn)練，只是根據(jù)相關(guān)算法對寬帶流量集進(jìn)行匯聚。對數(shù)據(jù)集的訓(xùn)練過程中需要由經(jīng)驗豐富的專家參與，并進(jìn)行大量的基礎(chǔ)數(shù)據(jù)分析工作，網(wǎng)絡(luò)經(jīng)驗數(shù)據(jù)集是流量分析的重要構(gòu)成因素。在實際分析過程中，由于寬帶核心網(wǎng)絡(luò)的流量巨大，所以高性能的預(yù)處理路由器和大規(guī)模刀片服務(wù)器必不可少。為了提高分析效率，可以只分析單向流量，并且在預(yù)處理過程中將IP數(shù)據(jù)報文的載荷去掉。但由于各種網(wǎng)絡(luò)協(xié)議不斷演進(jìn)，加密的流量不斷增加，各種新應(yīng)用不斷出現(xiàn)，網(wǎng)絡(luò)數(shù)據(jù)集的標(biāo)注也變得越來越困難。

網(wǎng)絡(luò)流量的分類和分析中對于標(biāo)準(zhǔn)協(xié)議的分析最為準(zhǔn)確，可根據(jù)TIP/IP協(xié)議簇中標(biāo)準(zhǔn)的服務(wù)端口號對流量報文進(jìn)行匹配，并根據(jù)端口號的不同將流量對應(yīng)為不同的應(yīng)用。非標(biāo)準(zhǔn)協(xié)議可以使用DPI（深度包檢測）在應(yīng)用層對流量進(jìn)行特征字符串的分析匹配，由于不同的應(yīng)用在TCP/UDP的數(shù)據(jù)包中包含特征字符串，因此在掌握的不同網(wǎng)絡(luò)應(yīng)用的特征字符串后，可以將網(wǎng)絡(luò)流量精確的分類和匹配，缺點是需要消耗較多的系統(tǒng)資源。但很多網(wǎng)絡(luò)應(yīng)用的特征字符串難找易變，代表性差及加密度高等問題，也導(dǎo)致誤檢率和檢全率下降。流量分析監(jiān)控和網(wǎng)絡(luò)應(yīng)用的發(fā)展一直是不斷演變的矛盾。

基于協(xié)議的分類方法需要分析每種協(xié)議的特定的行為特性，標(biāo)準(zhǔn)的通信協(xié)議易于掌握，私有協(xié)議比如P2P或VOIP等基于軟硬件客戶端的應(yīng)用則會有較多的變化，或進(jìn)行加密使用就會影響流量分析的效果，甚至無法識別。有時同一應(yīng)用軟件的不同版本間也會出現(xiàn)不同的流量特征，即版本的變化會造成協(xié)議特征的變化。另外，網(wǎng)絡(luò)中的單向流量、數(shù)據(jù)的時延、抖動都會對流量分析的算法產(chǎn)生影響。以上這些因素都是流量分析的難點和痛點。

運營商的骨干網(wǎng)絡(luò)逐漸向扁平化發(fā)展，網(wǎng)絡(luò)出口的數(shù)量增加和結(jié)構(gòu)日趨復(fù)雜，及動態(tài)路由算法的大量使用，使得網(wǎng)絡(luò)流量在多條鏈路或多個不同ISP之間動態(tài)調(diào)配，導(dǎo)致在某個觀察點只能得到部分流量，這對于依賴雙向流量特征的分析方法無法實施?；赑2P的應(yīng)用目前也在不斷擴(kuò)大，P2P的發(fā)展使得應(yīng)用和傳輸分離，應(yīng)用端點和傳輸分離，打破了原有的B/S或C/S的傳統(tǒng)傳輸模式，多源頭并發(fā)傳輸使得流量特征模糊化，使得數(shù)據(jù)采集的有效性無法保障。還有一些網(wǎng)絡(luò)應(yīng)用為了逃避被檢測到，常常采用已知協(xié)議的方法，例如FTP、HTTP、POP3等，由于IP地址的區(qū)分，冒用已知協(xié)議并不會影響正常網(wǎng)絡(luò)通信，但給流量分析帶來很大難度。

寬帶網(wǎng)絡(luò)流量分析不僅可以使我們可以清楚的知道網(wǎng)絡(luò)流量的內(nèi)容，還可以為網(wǎng)絡(luò)建設(shè)、網(wǎng)絡(luò)優(yōu)化、運營管理、網(wǎng)絡(luò)安全保障提供依據(jù)和手段。同時，網(wǎng)絡(luò)應(yīng)用在不斷推陳出新，各種私有化的協(xié)議和加密方法不斷出現(xiàn)，且由于用戶接入帶寬的不斷提高，核心網(wǎng)流量呈幾何速度增長，這些因素在客觀上也大大增加了網(wǎng)絡(luò)流量分析的難度和成本。現(xiàn)有的網(wǎng)絡(luò)流量分析再次面臨挑戰(zhàn)，網(wǎng)絡(luò)流量的分析研究工作需要不斷深入進(jìn)行。

參考文獻(xiàn)

[1]Nader F.Mir.計算機(jī)與通信網(wǎng)絡(luò)[M].潘淑文，等，譯.北京：中國電力出版社，2010，1.

篇3

隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展及網(wǎng)絡(luò)應(yīng)用的不斷推廣，校園網(wǎng)規(guī)模日益擴(kuò)大且網(wǎng)結(jié)構(gòu)與應(yīng)用日趨復(fù)雜，如何對校園網(wǎng)進(jìn)行全面有效的監(jiān)控是目前網(wǎng)絡(luò)管理面臨的巨大挑戰(zhàn)，這給校園網(wǎng)網(wǎng)絡(luò)監(jiān)控技術(shù)帶來了廣闊的研究領(lǐng)域，網(wǎng)絡(luò)監(jiān)控技術(shù)的核心技術(shù)就是對網(wǎng)絡(luò)中的流量進(jìn)行即時準(zhǔn)確的分析，本文首先對常用的流量分析技術(shù)進(jìn)行簡單的介紹。又重點介紹了sFlow技術(shù)，針對sFlow的特點，在校園網(wǎng)中部署了一個基于sFlow技術(shù)與Juniper網(wǎng)絡(luò)設(shè)備的網(wǎng)絡(luò)監(jiān)控系統(tǒng)，并對系統(tǒng)如何實現(xiàn)網(wǎng)絡(luò)監(jiān)控進(jìn)行了描述，此系統(tǒng)可實時有效的對校園網(wǎng)流量進(jìn)行分析，對校園網(wǎng)管理有很大的實用價值。

1流量分析技術(shù)介紹

當(dāng)前能對網(wǎng)絡(luò)的流量進(jìn)行分析的類型主要有以下兩種:

1．1點接觸型流量分析

點接觸型流量分析技術(shù)的原理為:在網(wǎng)絡(luò)中的某個接入點上，利用探針檢測該接入點的每個pack-age，所利用的方法為逐個包拆分，并在檢測的同時完成統(tǒng)計。點接觸型流量分析的優(yōu)點為:此技術(shù)中流量的采集只依賴于探針的包處理機(jī)制，與網(wǎng)絡(luò)中使用何種類型的交換機(jī)沒有關(guān)聯(lián);由于本技術(shù)采用逐個包拆分的方法，所以可自主制定策略來滿足用戶的需求。缺點為:接入點的個數(shù)有限，只能對有限的點進(jìn)行數(shù)據(jù)的采集，如果想在網(wǎng)絡(luò)的所有關(guān)鍵點布置接入點，成本較大;在關(guān)鍵接入點串入網(wǎng)絡(luò)流量采集設(shè)備，會增加網(wǎng)絡(luò)的故障點。采用點接觸型流量分析的代表設(shè)備為:IDS，F(xiàn)LUKE測試等。

1．2面接觸型流量分析

面接觸型流量分析技術(shù)的原理:利用交換機(jī)固有的流量采集來完成報文中關(guān)鍵信息的統(tǒng)計工作［1］。面接觸型流量分析的優(yōu)點為:此技術(shù)不同于點接觸型流量分析，無需在網(wǎng)絡(luò)的關(guān)鍵接入點上布置探針，只需要布置一臺交換機(jī)設(shè)備用以流量采集統(tǒng)計，即可采集分析核心層流量，并不影響整個網(wǎng)絡(luò)的性能;此技術(shù)可在網(wǎng)絡(luò)的任一點上采集整個網(wǎng)絡(luò)的流量;整個校園網(wǎng)中，只需布置一套監(jiān)控系統(tǒng)，成本低。缺點為:此技術(shù)采集的數(shù)據(jù)只局限于某種類型的package的采樣值，而不是包的全部，相較于點接觸型流量分析來說，采集的數(shù)據(jù)較少。采用面接觸型流量分析的代表設(shè)備為:NET-FLOW監(jiān)控，sFlow監(jiān)控等。當(dāng)前CERNET校園網(wǎng)都是萬兆核心層網(wǎng)絡(luò)平臺，根據(jù)前面對兩種流量分析技術(shù)的介紹可知，相較于點接觸型流量分析技術(shù)，面接觸型在采集與分析如此巨大網(wǎng)絡(luò)流量時，有顯而易見不比擬的優(yōu)勢。本文采用當(dāng)前較主流的sFlow監(jiān)控系統(tǒng)完成校園網(wǎng)網(wǎng)絡(luò)流量的采集與監(jiān)控。

2sFlow技術(shù)應(yīng)用

2．1sFlow技術(shù)介紹

sFlow，是由InMon公司于2001年提出的一種基于“統(tǒng)計采樣”的網(wǎng)絡(luò)流量監(jiān)測技術(shù)［2］，以RFC3176［3］文件的形式進(jìn)行了。sFlow通過對校園網(wǎng)中網(wǎng)絡(luò)設(shè)備處理的package進(jìn)行采集來獲取網(wǎng)絡(luò)中流量的信息，之后把采集后的數(shù)據(jù)包發(fā)送給流量分析服務(wù)器進(jìn)行分析，讓用戶詳盡與實時地知道網(wǎng)絡(luò)的性能與安全等問題［4］。目前，僅有Foundry和JuniperNetworks等廠商的部分型號的交換機(jī)支持sFlow。sFlow的主要優(yōu)勢在于:進(jìn)行整個網(wǎng)絡(luò)監(jiān)視成本更低;擁有的“一直在線技術(shù)”能夠?qū)W(wǎng)絡(luò)流量進(jìn)行實時采集與分析能力;嵌入到ASIC中的強(qiáng)勁技術(shù);全網(wǎng)的視圖都是可看見的;采樣的速率是可以自主配置的;整個網(wǎng)絡(luò)的交換性能不受影響;網(wǎng)絡(luò)帶寬基本不受影響;包頭的信息是完整的;第二到七層的詳細(xì)信息是完整的并且支持多種協(xié)議。

2．2實現(xiàn)原理

sFlow的網(wǎng)絡(luò)流量監(jiān)測實現(xiàn)一般由兩部分構(gòu)成:sFlow(Agent)和sFlow流量采集器(Collector)［2］。sFlow系統(tǒng)的基本原理為:分布在校園網(wǎng)的sFlow把sFlow報文發(fā)送到Collector。

2．3sFlow技術(shù)

在校園網(wǎng)中的布署本文以Juniper交換機(jī)和PRTG軟件為例部署系統(tǒng)。首先在校園網(wǎng)絡(luò)的各個層級交換機(jī)(Agent)啟用sFlow，通過收集設(shè)備上相關(guān)端口的流量轉(zhuǎn)況并實時將整個校園網(wǎng)絡(luò)的流量發(fā)送到服務(wù)器端(Collector)。服務(wù)器端部署PRTG軟件，由PRTG分析軟件來對從交換機(jī)收到的數(shù)據(jù)包進(jìn)行全面、實時、豐富的流量及統(tǒng)計分析。

3結(jié)語

要實現(xiàn)對網(wǎng)絡(luò)全面、實時的監(jiān)控分析必須依靠先進(jìn)有效的網(wǎng)絡(luò)監(jiān)控協(xié)議和技術(shù)來滿足業(yè)務(wù)日益增長的需求。sFlow網(wǎng)絡(luò)技術(shù)的出現(xiàn)可以很大程度滿足當(dāng)前及未來幾年校園網(wǎng)絡(luò)發(fā)展規(guī)模，為我們網(wǎng)絡(luò)管理員的日常巡檢維護(hù)帶來了極大的方便，也為保障校園網(wǎng)絡(luò)的安全、穩(wěn)定、高效運行提供了很好的依據(jù)。

參考文獻(xiàn)

篇4

網(wǎng)絡(luò)管理中非常重要且非常基礎(chǔ)的一個環(huán)節(jié)就是網(wǎng)絡(luò)流量監(jiān)測，網(wǎng)絡(luò)流量監(jiān)測即是通過對網(wǎng)絡(luò)數(shù)據(jù)的連續(xù)采集，以此來監(jiān)測網(wǎng)絡(luò)的流量。網(wǎng)絡(luò)及其重要成分的性能指標(biāo)也是對網(wǎng)絡(luò)流量數(shù)據(jù)的統(tǒng)計和計算得到的。網(wǎng)絡(luò)管理員根據(jù)當(dāng)前的和歷史的存儲網(wǎng)絡(luò)及其重要成分的性能的數(shù)據(jù)數(shù)據(jù)，就可對網(wǎng)絡(luò)及其主要成分的性能進(jìn)行性能管理，通過數(shù)據(jù)分析獲得性能的變化趨勢。分析制約網(wǎng)絡(luò)性能的瓶頸問題。在網(wǎng)絡(luò)流量監(jiān)測的基礎(chǔ)上，管理員可對感興趣的網(wǎng)絡(luò)管理對象設(shè)置閾值范圍以配置網(wǎng)絡(luò)閾值對象，閾值對象監(jiān)控實時輪詢網(wǎng)絡(luò)獲取定義對象的當(dāng)前值。若超出閥值的上限和下限則報警，幫助管理員發(fā)現(xiàn)網(wǎng)絡(luò)瓶頸，這樣即可實現(xiàn)一定程度上的故障管理，而網(wǎng)絡(luò)流量監(jiān)測本身也涉及到安全管理方面的內(nèi)容。所以，研究網(wǎng)絡(luò)流量監(jiān)測是非常有意義的。

2網(wǎng)絡(luò)流量的特性

2.1數(shù)據(jù)流是雙向的，但通常是非對稱的?；ヂ?lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的，因此網(wǎng)絡(luò)的流是雙向的。但是兩個方向上的數(shù)據(jù)率有很大的差異，這是因為從網(wǎng)站下載時會導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個方向多。

2.2大部分TCP會話是短期的。超過90%的TCP會話交換的數(shù)據(jù)量小于10K字節(jié)，會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對話都不是短期的，但是由于80%的WWW文檔傳輸都小于10K字節(jié)，WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。1.3包的到達(dá)過程不是泊松過程大部分傳統(tǒng)的排隊理論和通信網(wǎng)絡(luò)設(shè)計都假設(shè)包的到達(dá)過程是泊松過程，即包到達(dá)的間斷時間的分布是獨立的指數(shù)分布。然而近年來對互聯(lián)網(wǎng)絡(luò)通信量的測量顯示包到達(dá)的過程不是泊松過程。包到達(dá)的間斷時間不僅不服從指數(shù)分布，而且不是獨立分布的。大部分時候是多個包連續(xù)到達(dá)，即包的到達(dá)是有突發(fā)性的。很明顯，泊松過程不足以精確地描述包的到達(dá)過程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網(wǎng)絡(luò)的可靠性，從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。

2.3網(wǎng)絡(luò)通信量具有局域性?；ヂ?lián)網(wǎng)流量的局域性包括時間局域性和空間局域性。用戶在應(yīng)用層對互聯(lián)網(wǎng)的訪問反映在包的時間和源及目的地址上，從而顯示出基于時間的相關(guān)（時間局域性）和基于空間的相關(guān)（空間局域性）。

3網(wǎng)絡(luò)流量的監(jiān)測技術(shù)與方法

3.1網(wǎng)絡(luò)流量的監(jiān)測技術(shù)種類

（1）基于流量鏡像協(xié)議分析。流量鏡像（在線TAP）協(xié)議分析方式是把網(wǎng)絡(luò)設(shè)備的某個端口（鏈路）流量鏡像給協(xié)議分析儀，通過7層協(xié)議解碼對網(wǎng)絡(luò)流量進(jìn)行監(jiān)測。與其他3種方式相比，協(xié)議分析是網(wǎng)絡(luò)測試的最基本手段，特別適合網(wǎng)絡(luò)故障分析。缺點是流量鏡像（在線TAP）協(xié)議分析方式只針對單條鏈路，不適合全網(wǎng)監(jiān)測。

（2）基于硬件探針的監(jiān)測技術(shù)。硬件探針是一種用來獲取網(wǎng)絡(luò)流量的硬件設(shè)備，使用時將它串接在需要捕捉流量的鏈路中，通過分流鏈路上的數(shù)字信號而獲取流量信息。一個硬件探針監(jiān)視一個子網(wǎng)（通常是一條鏈路）的流量信息。對于全網(wǎng)流量的監(jiān)測需要采用分布式方案，在每條鏈路部署一個探針，再通過后臺服務(wù)器和數(shù)據(jù)庫，收集所有探針的數(shù)據(jù)，做全網(wǎng)的流量分析和長期報告。與其他的3種方式相比，基于硬件探針的最大特點是能夠提供豐富的從物理層到應(yīng)用層的詳細(xì)信息。但是硬件探針的監(jiān)測方式受限于探針的接口速率，一般只針對1000M以下的速率。而且探針方式重點是單條鏈路的流量分析，Netflow更偏重全網(wǎng)流量的分析。

（3）基于SNMP的流量監(jiān)測技術(shù)?；赟NMP的流量信息采集，實質(zhì)上是測試儀表通過提取網(wǎng)絡(luò)設(shè)備Agent提供的MIB（管理對象信息庫）中收集一些具體設(shè)備及流量信息有關(guān)的變量。相似的方式還包括RMON。與其他的方式相比，基于SNMP的流量監(jiān)測技術(shù)受到設(shè)備廠家的廣泛支持，使用方便，缺點是信息不夠豐富和準(zhǔn)確，分析集中在網(wǎng)絡(luò)的2、3層的信息和設(shè)備的消息。SNMP方式經(jīng)常集成在其他的3種方案中，如果單純采用SNMP做長期的、大型的網(wǎng)絡(luò)流量監(jiān)控，在測試儀表的基礎(chǔ)上，需要使用后臺數(shù)據(jù)庫。

（4）基于Netflow的流量監(jiān)測技術(shù)。Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備（Cisco）提供的Netflow機(jī)制實現(xiàn)的網(wǎng)絡(luò)流量信息采集。Netflow為Cisco之專屬協(xié)議，已經(jīng)標(biāo)準(zhǔn)化，并且Juniper、extreme、華為等廠家也逐漸支持，Netflow由路由器、交換機(jī)自身對網(wǎng)絡(luò)流量進(jìn)行統(tǒng)計，并且把結(jié)果發(fā)送到第3方流量報告生成器和長期數(shù)據(jù)庫。一旦收集到路由器、交換機(jī)上的詳細(xì)流量數(shù)據(jù)后，便可為網(wǎng)絡(luò)流量統(tǒng)計、網(wǎng)絡(luò)使用量計價、網(wǎng)絡(luò)規(guī)劃、病毒流量分析，網(wǎng)絡(luò)監(jiān)測等應(yīng)用提供計數(shù)根據(jù)。Netflow方式是網(wǎng)絡(luò)流量統(tǒng)計方式的發(fā)展趨勢。在綜合比較四種技術(shù)之后，不難得出以下結(jié)論：基于SNMP的流量監(jiān)測技術(shù)能夠滿足網(wǎng)絡(luò)流量分析的需要，且信息采集效率高，適合在各類網(wǎng)絡(luò)中應(yīng)用。

3.2網(wǎng)絡(luò)流量的監(jiān)測方法

篇5

一、前沿

選擇交換機(jī)硬件時，應(yīng)確定核心層、分布層和接入層分別需要何種交換機(jī)來滿足網(wǎng)絡(luò)帶寬需求，應(yīng)考慮未來的帶寬需。應(yīng)購買合適的交換機(jī)硬件來滿足當(dāng)前及未來的帶寬需求。為了更準(zhǔn)確地選擇合適的交換機(jī)，要定期執(zhí)行和記錄流量分析。

二、流量分析

流量分析是測量網(wǎng)絡(luò)帶寬使用率并分析相關(guān)數(shù)據(jù)來調(diào)整性能、規(guī)劃容量并作出硬件升級決策的過程，流量分析是通過流量分析軟件來實現(xiàn)的。盡管對網(wǎng)絡(luò)流量并沒有確切的定義，但為了便于理解流量分析，可以理解為網(wǎng)絡(luò)流量是指在一定時間內(nèi)通過網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)量。所有的網(wǎng)絡(luò)數(shù)據(jù)無論來自何方，無論發(fā)往何處，都是流量的一部分。監(jiān)控網(wǎng)絡(luò)流量的方法有許多種?？梢允止けO(jiān)控各個交換機(jī)端口來收集一段時間內(nèi)的帶寬利用率。在分析流量數(shù)據(jù)時，可能根據(jù)每天特定時段的流量以及大部分?jǐn)?shù)據(jù)的來源和目的地來確定未來的流量需求。但是，為了獲得準(zhǔn)確地結(jié)果，需要記錄足夠的數(shù)據(jù)。手工記錄流量數(shù)據(jù)是件費時費力的機(jī)械活，市面上有一些自動化的解決方案。

三、分析工具

現(xiàn)在市面上有許多流量分析攻擊可以將流量數(shù)據(jù)自動記錄到數(shù)據(jù)庫中，并執(zhí)行趨勢分析。在大型網(wǎng)絡(luò)中，采用軟件收集解決方案是唯一有效的流量分析方式。通過軟件收集數(shù)據(jù)時，可以看到在給定的時間內(nèi)網(wǎng)絡(luò)上每個接口的運行狀況。通過輸出的圖表，可以直觀的發(fā)現(xiàn)流量問題。比用柱狀表示的流量數(shù)據(jù)更容易理解。

四、用戶群分析

用戶群分析是確定各類用戶群體及其對網(wǎng)絡(luò)性能的影響的過程，用戶的分組方式會影響與端口密度和流量有關(guān)的問題，進(jìn)而影響網(wǎng)絡(luò)交換機(jī)的選擇。

在典型的辦公樓中，一般根據(jù)終端用戶的職能對其進(jìn)行分組，這是因為相同職能用戶所需訪問的資源和應(yīng)用程序也大體相同。每個部門的用戶數(shù)、應(yīng)用程序需求以及需要通過網(wǎng)絡(luò)訪問的可用數(shù)據(jù)資源各有不同。不僅要查看網(wǎng)絡(luò)中指定交換機(jī)上的設(shè)備數(shù)量，還應(yīng)該調(diào)查終端用戶應(yīng)用程序生產(chǎn)的網(wǎng)絡(luò)流量。有些用戶群使用產(chǎn)生大量網(wǎng)絡(luò)流量的應(yīng)用程序，而其他用戶則不然，通過測量不同用戶群使用的所有應(yīng)用程序所生成的網(wǎng)絡(luò)流量并確定數(shù)據(jù)源的位置，可以確定增加用戶對該用戶群的影響。

小企業(yè)中工作組大小的用戶群僅用幾臺交換機(jī)提供支持，通常連接到服務(wù)器所在的交換機(jī)上。在中型企業(yè)中，用戶群由許多交換機(jī)提供支持。中型企業(yè)用戶群所需的資源可能位于地理上分散的若干區(qū)域中。因此，用戶群的位置會影響數(shù)據(jù)存儲和服務(wù)器的位置。分析用戶群的應(yīng)用程序使用率的難題之一是使用率并非純粹取決于用戶所在的部門或地理位置。還需要分析應(yīng)用程序穿越多臺網(wǎng)絡(luò)交換機(jī)所帶來的負(fù)面影響。并據(jù)此確定總體影響。

五、數(shù)據(jù)存儲和數(shù)據(jù)服務(wù)器分析

在分析網(wǎng)絡(luò)流量時，應(yīng)考慮數(shù)據(jù)存儲和服務(wù)器的位置，以便確定它們對網(wǎng)絡(luò)流量的影響。數(shù)據(jù)存儲可以是服務(wù)器、存儲區(qū)域網(wǎng)絡(luò)（SAN）、網(wǎng)絡(luò)連接存儲（NAS）、磁帶備份設(shè)備或任何其他存儲大量數(shù)據(jù)的設(shè)備或組件。

在考慮數(shù)據(jù)存儲和服務(wù)器的流量時，應(yīng)同時考慮客戶端到服務(wù)器的流量和服務(wù)器到服務(wù)器的流量。通過觀察不同用戶群使用的各種應(yīng)用程序的數(shù)據(jù)路徑，可以找到潛在的瓶頸，確定在哪些地方因為帶寬不足會影響應(yīng)用程序的性能。為改善性能，可以聚合鏈路來提供帶寬，或者使用能夠處理流量負(fù)載的快速交換機(jī)來取代慢速交換機(jī)。

六、拓?fù)浣Y(jié)構(gòu)圖

拓?fù)浣Y(jié)構(gòu)圖是網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的圖形表現(xiàn)形式，拓?fù)浣Y(jié)構(gòu)圖顯示所有的交換機(jī)如何互連，乃至詳細(xì)到哪個交換機(jī)端口與設(shè)備互連。拓?fù)浣Y(jié)構(gòu)圖以圖形的形式顯示交換機(jī)之間用于提供災(zāi)難恢復(fù)和性能增強(qiáng)的任何冗余路徑或聚合端口，顯示網(wǎng)絡(luò)中交換機(jī)的位置和數(shù)目并標(biāo)出交換機(jī)的配置。通過拓?fù)浣Y(jié)構(gòu)圖，可以直觀地找到網(wǎng)絡(luò)流量的潛在瓶頸，可以抓住流量分析數(shù)據(jù)的要點，知道哪些網(wǎng)絡(luò)區(qū)域的改進(jìn)能夠最有效地提高網(wǎng)絡(luò)的整體性能。

七、結(jié)語

對于中小型企業(yè)而言、基于數(shù)據(jù)、語音和視頻的數(shù)字通信至關(guān)重要。因此，正確設(shè)計局域網(wǎng)是企業(yè)日常運營的基本需求。作為網(wǎng)絡(luò)技術(shù)人員，必須能夠判斷什么才是設(shè)計合理的局域網(wǎng)，能夠選擇合適的設(shè)備來滿足中小型企業(yè)的網(wǎng)絡(luò)需求。

參 考 文 獻(xiàn)

篇6

中圖分類號:TP

文獻(xiàn)標(biāo)識碼:A

文章編號:1672-3198(2010)17-0348-01

1 網(wǎng)絡(luò)流量的特征

1.1 數(shù)據(jù)流是雙向的,但通常是非對稱的

互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個方向上的數(shù)據(jù)率有很大的差異,這是因為從網(wǎng)站下載時會導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個方向多。

1.2 大部分TCP會話是短期的

超過90%的TCP會話交換的數(shù)據(jù)量小于10K字節(jié),會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。1.3 包的到達(dá)過程不是泊松過程

大部分傳統(tǒng)的排隊理論和通信網(wǎng)絡(luò)設(shè)計都假設(shè)包的到達(dá)過程是泊松過程,即包到達(dá)的間斷時間的分布是獨立的指數(shù)分布。簡單的說,泊松到達(dá)過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發(fā)生。泊松模型因為指數(shù)分布的無記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡單。然而,近年來對互聯(lián)網(wǎng)絡(luò)通信量的測量顯示包到達(dá)的過程不是泊松過程。包到達(dá)的間斷時間不僅不服從指數(shù)分布,而且不是獨立分布的。大部分時候是多個包連續(xù)到達(dá),即包的到達(dá)是有突發(fā)性的。很明顯,泊松過程不足以精確地描述包的到達(dá)過程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。

1.4 網(wǎng)絡(luò)通信量具有局域性

互聯(lián)網(wǎng)流量的局域性包括時間局域性和空間局域性。用戶在應(yīng)用層對互聯(lián)網(wǎng)的訪問反映在包的時間和目的地址上,從而顯示出基于時間的相關(guān)(時間局域性)和基于空間的相關(guān)(空間局域性)。

2 網(wǎng)絡(luò)流量的測量

網(wǎng)絡(luò)流量的測量是人們研究互聯(lián)網(wǎng)絡(luò)的一個工具,通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設(shè)計出更加符合實際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計算機(jī)網(wǎng)絡(luò)不是永遠(yuǎn)不會出錯的,設(shè)備的一小點故障都有可能使整個網(wǎng)絡(luò)癱瘓,或者使網(wǎng)絡(luò)性能明顯下降。例如廣播風(fēng)暴、非法包長、錯誤地址、安全攻擊等。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡(luò)管理者提供詳細(xì)的信息以幫助發(fā)現(xiàn)和解決問題?；ヂ?lián)網(wǎng)流量的測量從不同的方面可以分為:

2.1 基于硬件的測量和基于軟件的測量

基于硬件的測量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計的專用硬件設(shè)備進(jìn)行網(wǎng)絡(luò)流的測量,這些設(shè)備一般都比較昂貴,而且受網(wǎng)絡(luò)接口數(shù)量,網(wǎng)絡(luò)插件的類型,存儲能力和協(xié)議分析能力等諸多因素的限制?；谲浖臏y量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分,使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網(wǎng)絡(luò)流量分析器。

2.2 主動測量和被動測量

被動測量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流,不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測量都是被動的測量。主動測量使用由測量設(shè)備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來估計到某個目的地址的網(wǎng)絡(luò)延時。

2.3 在線分析和離線分析

有的網(wǎng)絡(luò)流量分析器支持實時地收集和分析網(wǎng)絡(luò)數(shù)據(jù),使用可視化手段在線顯示流量數(shù)據(jù)和分析結(jié)果,大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù),把數(shù)據(jù)存儲下來,并不對數(shù)據(jù)進(jìn)行實時的分析。

2.4 協(xié)議級分類

對于不同的協(xié)議,例如以太網(wǎng)(Ethernet)、幀中繼(Frame Relay)、異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網(wǎng)絡(luò)插件來收集網(wǎng)絡(luò)數(shù)據(jù),因此也就有了不同的通信量測試方法。

3 網(wǎng)絡(luò)流量的監(jiān)測技術(shù)

根據(jù)對網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)、基于SNMP的監(jiān)測技術(shù)和基于Netflow的監(jiān)測技術(shù)三種常用技術(shù)。

3.1 基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)

網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實現(xiàn)網(wǎng)絡(luò)流量的無損復(fù)制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應(yīng)用層信息。

3.2 基于Netflow的流量監(jiān)測技術(shù)

Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的Netflow機(jī)制實現(xiàn)的網(wǎng)絡(luò)流量信息采集。

篇7

1 引言

隨著互聯(lián)網(wǎng)絡(luò)的迅速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)流量特征的研究近年來引起了人們廣泛關(guān)注。網(wǎng)絡(luò)數(shù)據(jù)流量分析系統(tǒng)的定位重點在對網(wǎng)絡(luò)流量的流量、流向、協(xié)議的細(xì)節(jié)監(jiān)視和分析，網(wǎng)絡(luò)安全監(jiān)視。在容量規(guī)劃、入侵檢測和路由優(yōu)化時，網(wǎng)絡(luò)管理員需要知道網(wǎng)絡(luò)的數(shù)據(jù)流量情況和盡量多的測量信息。

2 關(guān)鍵技術(shù)

⑴數(shù)據(jù)流。數(shù)據(jù)流是指輸入數(shù)據(jù)a1，a2，..按順序到達(dá)。這些數(shù)據(jù)描述了一個信號A。A是一個一維函數(shù)A：[1...N]R2。模型取決于ai如何描述A。本文把數(shù)據(jù)流技術(shù)和傳統(tǒng)的網(wǎng)絡(luò)管理技術(shù)相結(jié)合， 取得了較好的應(yīng)用效果。

⑵流量監(jiān)測原理。網(wǎng)絡(luò)流量監(jiān)測有主動監(jiān)測和被動監(jiān)測兩種不同的實現(xiàn)方法。主動測量方法是向被測網(wǎng)絡(luò)中注入附加的“探測流量”并進(jìn)行返回數(shù)據(jù)的采集來實現(xiàn)監(jiān)測的方法，該如果處理不當(dāng)，也會給網(wǎng)絡(luò)增加額外的負(fù)荷，影響測量結(jié)果的客觀性，甚至使測量結(jié)果不準(zhǔn)確，產(chǎn)生Heisenburg效應(yīng)。而被動測量方法是在網(wǎng)絡(luò)的某點采集、記錄并且分析網(wǎng)絡(luò)的流量信息來實現(xiàn)測量的方法。被動測量可以完全消除附加的“探測流量”和Heisenbutg 效應(yīng)，這是被動測量的優(yōu)點，但存在可能會涉及隱私和安全問題的不足。由于Internet上大多數(shù)數(shù)據(jù)傳輸是不加密的，鑒于被動監(jiān)測的優(yōu)點，本系統(tǒng)采用基于數(shù)據(jù)包捕獲的被動監(jiān)測技術(shù)。

⑶winpcap。在網(wǎng)絡(luò)管理與安全防護(hù)中，對網(wǎng)絡(luò)數(shù)據(jù)流量進(jìn)行分析，是非常重要的一個任務(wù)，從防火墻到攻擊檢測系統(tǒng)，都會用到類似功能。開發(fā)此類軟件過程相當(dāng)復(fù)雜。而winpcap （indows packet capture）是windows平臺下一個免費公共的網(wǎng)絡(luò)訪問系統(tǒng)。它提供了以下的各項功能：

1>捕獲原始數(shù)據(jù)報；2>按照自定義的規(guī)則將某些特殊的數(shù)據(jù)報過濾掉；3>在網(wǎng)絡(luò)上發(fā)送原始的數(shù)據(jù)報；4>收集網(wǎng)絡(luò)通信過程中的統(tǒng)計信息。

3 系統(tǒng)架構(gòu)

無論是基于網(wǎng)絡(luò)安全，還是基于網(wǎng)絡(luò)計費系統(tǒng)的改進(jìn)，網(wǎng)絡(luò)數(shù)據(jù)流量分析無疑是必要的，人們對網(wǎng)絡(luò)依賴很強(qiáng)。網(wǎng)絡(luò)數(shù)據(jù)流量系統(tǒng)的架構(gòu)包括三層：數(shù)據(jù)層（瀏覽統(tǒng)計、數(shù)據(jù)庫管理）、訪問應(yīng)用層、展現(xiàn)層（在線統(tǒng)計器、流量統(tǒng)計器、網(wǎng)絡(luò)速度監(jiān)視器）。

4 系統(tǒng)設(shè)計

⑴網(wǎng)絡(luò)監(jiān)視器。網(wǎng)絡(luò)監(jiān)視器是監(jiān)視網(wǎng)絡(luò)通信的，其主要工作有三項：winpcap捕捉包、包分析、記錄。

1）winpcap捕捉包。在網(wǎng)絡(luò)包捕獲系統(tǒng)的實現(xiàn)中，采用的是WINPCAP包捕獲應(yīng)用系統(tǒng)框架。網(wǎng)絡(luò)監(jiān)聽模塊將網(wǎng)絡(luò)接口設(shè)置為混亂模式，將網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)包截取下來，供協(xié)議分析模塊使用。由于效率的需要，有時要根據(jù)設(shè)置過濾網(wǎng)絡(luò)上的一些數(shù)據(jù)包，如特定IP，特定MAC地址、特定協(xié)議的數(shù)據(jù)包等。網(wǎng)絡(luò)監(jiān)聽模塊的過濾功能的效率是該網(wǎng)絡(luò)監(jiān)聽的關(guān)鍵，因為對于網(wǎng)絡(luò)上的每一數(shù)據(jù)包都會使用該模塊過濾，判斷是否符合過濾條件。

為提高效率，數(shù)據(jù)包過濾應(yīng)該在系統(tǒng)內(nèi)核里來實現(xiàn)。獲得數(shù)據(jù)包之后，如果在捕獲過程結(jié)束后創(chuàng)建了兩個線程實現(xiàn)對捕獲數(shù)據(jù)的實時性處理。

2）包分析。包分析指將捕捉來的數(shù)據(jù)報進(jìn)行分析。由于要進(jìn)行流量統(tǒng)計需要很多必要的信息，作為統(tǒng)計依據(jù)，如IP地址、協(xié)議類型等。其中，數(shù)據(jù)長度可由函數(shù)調(diào)用返回的內(nèi)容得到而且此時得到的是實際在網(wǎng)上的包長度。

3）記錄。通過包的分析后，將有用的信息記錄到文件中去。其中包括目的IP、源IP，數(shù)據(jù)長度、協(xié)議類型、以及為了統(tǒng)計方便需要的時間信息。

⑵流量統(tǒng)計器。流量統(tǒng)計器，是對流量監(jiān)視器的記錄結(jié)果進(jìn)行統(tǒng)計，將網(wǎng)絡(luò)監(jiān)視器的記錄文件內(nèi)容讀出，并根據(jù)網(wǎng)址分割標(biāo)準(zhǔn)及源和目的地分別統(tǒng)計出流向網(wǎng)外的國內(nèi)和國外流量，并將結(jié)果按照日期分別存儲在數(shù)據(jù)中。

5 系統(tǒng)實現(xiàn)

⑴捕捉包的實現(xiàn)。包捕捉作為一個獨立的應(yīng)用程序運行，它從網(wǎng)上截獲包，并以文件形式將有用信息記錄下來，為流量統(tǒng)計準(zhǔn)備統(tǒng)計的原始依據(jù)。

⑵在線統(tǒng)計的實現(xiàn)。ping利用了原始套接口技術(shù)發(fā)送ICMP回射請求，并接收工CMP回射應(yīng)答。Socket是CP/IP編程的底層API（網(wǎng)絡(luò)編程接口）。在實現(xiàn)ping后可以將其作為一個函數(shù)調(diào)用，就很容易實現(xiàn)在線統(tǒng)計。

篇8

經(jīng)濟(jì)飛速發(fā)展的同時，科學(xué)技術(shù)也在不斷地進(jìn)步，網(wǎng)絡(luò)已經(jīng)成為當(dāng)前社會生產(chǎn)生活中不可或缺的重要組成部分，給人們帶來了極大的便利。與此同時，網(wǎng)絡(luò)系統(tǒng)也遭受著一定的安全威脅，這給人們正常使用網(wǎng)絡(luò)系統(tǒng)帶來了不利影響。尤其是在大數(shù)據(jù)時代，無論是國家還是企業(yè)、個人，在網(wǎng)絡(luò)系統(tǒng)中均存儲著大量重要的信息，網(wǎng)絡(luò)系統(tǒng)一旦出現(xiàn)安全問題將會造成極大的損失。

1基本概念

1.1網(wǎng)絡(luò)安全態(tài)勢感知

網(wǎng)絡(luò)安全態(tài)勢感知是對網(wǎng)絡(luò)安全各要素進(jìn)行綜合分析后，評估網(wǎng)絡(luò)安全整體情況，對其發(fā)展趨勢進(jìn)行預(yù)測，最終以可視化系統(tǒng)展示給用戶，同時給出相應(yīng)的統(tǒng)計報表和風(fēng)險應(yīng)對措施。網(wǎng)絡(luò)安全態(tài)勢感知包括五個方面1：（1）網(wǎng)絡(luò)安全要素數(shù)據(jù)采集：借助各種檢測工具，對影響網(wǎng)絡(luò)安全性的各類要素進(jìn)行檢測，采集獲取相應(yīng)數(shù)據(jù)；（2）網(wǎng)絡(luò)安全要素數(shù)據(jù)理解：對各種網(wǎng)絡(luò)安全要素數(shù)據(jù)進(jìn)行分析、處理和融合，對數(shù)據(jù)進(jìn)一步綜合分析，形成網(wǎng)絡(luò)安全整體情況報告；（3）網(wǎng)絡(luò)安全評估：對網(wǎng)絡(luò)安全整體情況報告中各項數(shù)據(jù)進(jìn)行定性、定量分析，總結(jié)當(dāng)前的安全概況和安全薄弱環(huán)節(jié)，針對安全薄弱環(huán)境提出相應(yīng)的應(yīng)對措施；（4）網(wǎng)絡(luò)安全態(tài)勢預(yù)測：通過對一段時間的網(wǎng)絡(luò)安全評估結(jié)果的分析，找出關(guān)鍵影響因素，并預(yù)測未來這些關(guān)鍵影響因素的發(fā)展趨勢，進(jìn)而預(yù)測未來的安全態(tài)勢情況以及可以采取的應(yīng)對措施。（5）網(wǎng)絡(luò)安全態(tài)勢感知報告：對網(wǎng)絡(luò)安全態(tài)勢以圖表統(tǒng)計、報表等可視化系統(tǒng)展示給用戶。報告要做到深度和廣度兼?zhèn)?，從多層次、多角度、多粒度分析系統(tǒng)的安全性并提供應(yīng)對措施。

1.2DPI技術(shù)

DPI（DeepPacketInspection）是一種基于數(shù)據(jù)包的深度檢測技術(shù)，針對不同的網(wǎng)絡(luò)傳輸協(xié)議（例如HTTP、DNS等）進(jìn)行解析，根據(jù)協(xié)議載荷內(nèi)容，分析對應(yīng)網(wǎng)絡(luò)行為的技術(shù)。DPI技術(shù)廣泛應(yīng)用于網(wǎng)絡(luò)流量分析的場景，比如網(wǎng)絡(luò)內(nèi)容分析領(lǐng)域等。DPI技術(shù)應(yīng)用于網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域，通過DPI技術(shù)的應(yīng)用識別能力，將網(wǎng)絡(luò)安全關(guān)注的網(wǎng)絡(luò)攻擊、威脅行為對應(yīng)的流量進(jìn)行識別，并形成網(wǎng)絡(luò)安全行為日志，實現(xiàn)網(wǎng)絡(luò)安全要素數(shù)據(jù)精準(zhǔn)采集。DPI技術(shù)發(fā)展到現(xiàn)在，隨著后端業(yè)務(wù)應(yīng)用的多元化，對DPI系統(tǒng)的能力也提出了更高的要求。傳統(tǒng)DPI技術(shù)的實現(xiàn)主要是基于知名協(xié)議的端口、特征字段等作為識別依據(jù)，比如基于HTTP、HTTPS、DNS、SMTP、POP3、FTP、SSH等協(xié)議特征的識別、基于源IP、目的IP、源端口和目的端口的五元組特征識別。但是隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，越來越多的應(yīng)用采用加密手段和私有協(xié)議進(jìn)行數(shù)據(jù)傳輸，網(wǎng)絡(luò)流量中能夠準(zhǔn)確識別到應(yīng)用層行為的占比呈現(xiàn)越來越低的趨勢。在當(dāng)前網(wǎng)絡(luò)應(yīng)用復(fù)雜多變的背景下，很多網(wǎng)絡(luò)攻擊行為具有隱蔽性，比如數(shù)據(jù)傳輸時采用知名網(wǎng)絡(luò)協(xié)議的端口，但是對傳輸流量內(nèi)容進(jìn)行定制，傳統(tǒng)DPI很容易根據(jù)端口特征，將流量識別為知名應(yīng)用，但是實際上，網(wǎng)絡(luò)攻擊行為卻“瞞天過?！?，繞過基于傳統(tǒng)DPI技術(shù)的IDS、防火墻等網(wǎng)絡(luò)安全屏障，在互聯(lián)網(wǎng)上肆意妄為。新型DPI技術(shù)在傳統(tǒng)DPI技術(shù)的基礎(chǔ)上，對流量的識別能力更強(qiáng)。基本實現(xiàn)原理是對接入的網(wǎng)絡(luò)流量根據(jù)網(wǎng)絡(luò)傳輸協(xié)議、內(nèi)容、流特征等多元化特征融合分析，實現(xiàn)網(wǎng)絡(luò)流量精準(zhǔn)識別。其目的是為了給后端的態(tài)勢感知系統(tǒng)提供準(zhǔn)確的、可控的數(shù)據(jù)來源。新型DPI技術(shù)通過對流量中傳輸?shù)牟煌瑧?yīng)用的傳輸協(xié)議、應(yīng)用層內(nèi)容、協(xié)議特征、流特征等進(jìn)行多維度的分析和打標(biāo)，形成協(xié)議識別引擎。新型DPI的協(xié)議識別引擎除了支持標(biāo)準(zhǔn)、知名應(yīng)用協(xié)議的識別，還可以對應(yīng)用層進(jìn)行深度識別。

2新型DPI技術(shù)在網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域的應(yīng)用

新型DPI技術(shù)主要應(yīng)用于數(shù)據(jù)采集和數(shù)據(jù)理解環(huán)節(jié)。在網(wǎng)絡(luò)安全要素數(shù)據(jù)采集環(huán)節(jié)，應(yīng)用新型DPI技術(shù)，可以實現(xiàn)網(wǎng)絡(luò)流量的精準(zhǔn)采集，避免安全要素數(shù)據(jù)采集不全、漏采或者多采的現(xiàn)象。在網(wǎng)絡(luò)安全要素數(shù)據(jù)理解環(huán)節(jié)，在對數(shù)據(jù)進(jìn)行分析時，需要基于新型DPI技術(shù)的特征知識庫，提供數(shù)據(jù)標(biāo)準(zhǔn)的說明，幫助態(tài)勢感知應(yīng)用可以理解這些安全要素數(shù)據(jù)。新型DPI技術(shù)在進(jìn)行網(wǎng)絡(luò)流量分析時主要有以下步驟，（1）需要對攻擊威脅的流量特征、協(xié)議特征等進(jìn)行分析，將特征形成知識庫，協(xié)議識別引擎加載特征知識庫后，對實時流量進(jìn)行打標(biāo)，完成流量識別。這個步驟需要確保獲取的特征是有效且準(zhǔn)確的，需要基于真實的數(shù)據(jù)進(jìn)行測試統(tǒng)計，避免由于特征不準(zhǔn)確誤判或者特征不全面漏判的情況出現(xiàn)。有了特征庫之后，（2）根據(jù)特征庫，對流量進(jìn)行過濾、分發(fā)，識別流量中異常流量對應(yīng)的攻擊威脅行為。這個步驟仍然要借助于協(xié)議識別特征知識庫，在協(xié)議識別知識庫中記錄了網(wǎng)絡(luò)異常流量和攻擊威脅行為的映射關(guān)系，使得系統(tǒng)可以根據(jù)異常流量對應(yīng)的特征庫ID，進(jìn)而得出攻擊威脅行為日志。攻擊威脅行為日志包含捕獲時間、攻擊者IP和端口、被攻擊者IP和端口、攻擊流量特征、攻擊流量的行為類型等必要的字段信息。（3）根據(jù)網(wǎng)絡(luò)流量進(jìn)一步識別被攻擊的災(zāi)損評估，同樣是基于協(xié)議識別知識庫中行為特征庫，判斷有哪些災(zāi)損動作產(chǎn)生、災(zāi)損波及的數(shù)據(jù)類型、數(shù)據(jù)范圍等。網(wǎng)絡(luò)安全態(tài)勢感知的分析是基于步驟2產(chǎn)生的攻擊威脅行為日志中記錄的流量、域名、報文和惡意代碼等多元數(shù)據(jù)入手,對來自互聯(lián)網(wǎng)探針、終端、云計算和大數(shù)據(jù)平臺的威脅數(shù)據(jù)進(jìn)行處理,分析不同類型數(shù)據(jù)中潛藏的異常行為,對流量、域名、報文和惡意代碼等安全元素進(jìn)行多層次的檢測。針對步驟1的協(xié)議識別特征庫，可以采用兩種實現(xiàn)技術(shù)：分別是協(xié)議識別特征庫技術(shù)和流量“白名單”技術(shù)。

2.1協(xié)議識別特征庫

在網(wǎng)絡(luò)流量識別時，協(xié)議識別特征庫是非常重要的，形成協(xié)議識別特征庫主要有兩種方式。一種是傳統(tǒng)方式，正向流量分析方法。這種方法是基于網(wǎng)絡(luò)攻擊者的視角分析，模擬攻擊者的攻擊行為，進(jìn)而分析模擬網(wǎng)絡(luò)流量中的流量特征，獲取攻擊威脅的流量特征。這種方法準(zhǔn)確度高，但是需要對逐個應(yīng)用進(jìn)行模擬和分析，研發(fā)成本高且效率低下，而且隨著互聯(lián)網(wǎng)攻擊行為的層出不窮和不斷升級，這種分析方法往往存在一定的滯后性。第二種方法是近年隨著人工智能技術(shù)的進(jìn)步，逐漸應(yīng)用的智能識別特征庫。這種方法可以基于威脅流量的流特征、已有網(wǎng)絡(luò)攻擊、威脅行為特征庫等，通過AI智能算法來進(jìn)行訓(xùn)練，獲取智能特征庫。這種方式采用AI智能識別算法實現(xiàn)，雖然在準(zhǔn)確率方面要低于傳統(tǒng)方式，但是這種方法可以應(yīng)對互聯(lián)網(wǎng)上層出不窮的新應(yīng)用流量，效率更高。而且隨著特征庫的積累，算法本身具備更好的進(jìn)化特性，正在逐步替代傳統(tǒng)方式。智能特征庫不僅僅可以識別已經(jīng)出現(xiàn)的網(wǎng)絡(luò)攻擊行為，對于未來可能出現(xiàn)的網(wǎng)絡(luò)攻擊行為，也具備一定的適應(yīng)性，其適應(yīng)性更強(qiáng)。這種方式還有另一個優(yōu)點，通過對新發(fā)現(xiàn)的網(wǎng)絡(luò)攻擊、威脅行為特征的不斷積累，完成樣本庫的自動化更新，基于自動化更新的樣本庫，實現(xiàn)自動化更新的流量智能識別特征庫，進(jìn)而實現(xiàn)AI智能識別算法的自動升級能力。為了確保采集流量精準(zhǔn)，新型DPI的協(xié)議識別特征庫具備更深度的協(xié)議特征識別能力，比如對于http協(xié)議能夠?qū)崿F(xiàn)基于頭部信息特征的識別，包括Host、Cookie、Useragent、Re-fer、Contet-type、Method等頭部信息，對于https協(xié)議，也能夠?qū)崿F(xiàn)基于SNI的特征識別。對于目前主流應(yīng)用，支持識別的應(yīng)用類型包括網(wǎng)絡(luò)購物、新聞、即時消息、微博、網(wǎng)絡(luò)游戲、應(yīng)用市場、網(wǎng)絡(luò)視頻、網(wǎng)絡(luò)音頻、網(wǎng)絡(luò)直播、DNS、遠(yuǎn)程控制等，新型DPI的協(xié)議特征識別庫更為強(qiáng)大。新型DPI的協(xié)議識別特征庫在應(yīng)用時還可以結(jié)合其他外部知識庫，使得分析更具目的性。比如通過結(jié)合全球IP地址庫，實現(xiàn)對境外流量定APP、特定URL或者特定DNS請求流量的識別，分析其中可能存在的跨境網(wǎng)絡(luò)攻擊、安全威脅行為等。

2.2流量“白名單”

在網(wǎng)絡(luò)流量識別時也同時應(yīng)用“流量白名單”功能，該功能通過對網(wǎng)絡(luò)訪問流量規(guī)模的統(tǒng)計，對流量較大的、且已知無害的TOPN的應(yīng)用特征進(jìn)行提取，同時將這些特征標(biāo)記為“流量白名單”。由于“流量白名單”中的應(yīng)用往往對應(yīng)較高的網(wǎng)絡(luò)流量規(guī)模，在網(wǎng)絡(luò)流量識別時，可以優(yōu)先對流量進(jìn)行“流量白名單”特征比對，比對成功則直接標(biāo)記為“安全”。使用“流量白名單”技術(shù)，可以大大提高識別效率，將更多的分析和計算能力留給未知的、可疑的流量。流量白名單通常是域名形式，這就要求新型DPI技術(shù)能夠支持域名類型的流量識別和過濾。隨著https的廣泛應(yīng)用，也有很多流量較大的白名單網(wǎng)站采用https作為數(shù)據(jù)傳輸協(xié)議，新型DPI技術(shù)也必須能夠支持https證書類型的流量識別和過濾。流量白名單庫和協(xié)議識別特征庫對網(wǎng)絡(luò)流量的處理流程參考下圖1：

3新型DPI技術(shù)中數(shù)據(jù)標(biāo)準(zhǔn)

安全態(tài)勢感知系統(tǒng)在發(fā)展中，從各個廠商獨立作戰(zhàn)，到現(xiàn)在可以接入不同廠商的數(shù)據(jù)，實現(xiàn)多源數(shù)據(jù)的融合作戰(zhàn)，離不開新型DPI技術(shù)中的數(shù)據(jù)標(biāo)準(zhǔn)化。為了保證各個廠商采集到的安全要素數(shù)據(jù)能夠統(tǒng)一接入安全態(tài)勢感知系統(tǒng)，各廠商通過制定行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)，一方面行業(yè)內(nèi)部的安全數(shù)據(jù)采集、數(shù)據(jù)理解達(dá)成一致，另一方面安全態(tài)勢感知系統(tǒng)在和行業(yè)外部系統(tǒng)進(jìn)行數(shù)據(jù)共享時，也能夠提供和接入標(biāo)準(zhǔn)化的數(shù)據(jù)。新型DPI技術(shù)中的數(shù)據(jù)標(biāo)準(zhǔn)包括三個部分，第一個部分是控制指令部分，安全態(tài)勢感知系統(tǒng)發(fā)送控制指令，新型DPI在接收到指令后，對采集的數(shù)據(jù)范圍進(jìn)行調(diào)整，實現(xiàn)數(shù)據(jù)采集的可視化、可定制化。同時不同的廠商基于同一套控制指令，也可以實現(xiàn)不同廠商設(shè)備之間指令操作的暢通無阻。第二個部分是安全要素數(shù)據(jù)部分，新型DPI在輸出安全要素數(shù)據(jù)時，基于統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，比如HTTP類型的數(shù)據(jù)，統(tǒng)一輸出頭域的URI、Host、Cookie、UserAgent、Refer、Authorization、Via、Proxy-Authorization、X-Forward、X-Requested-With、Content-Dispositon、Content-Language、Content-Type、Method等HTTP常見頭部和頭部關(guān)鍵內(nèi)容。對于DNS類型的數(shù)據(jù)，統(tǒng)一輸出Querys-Name、Querys-Type、Answers-Name、Answers–Type等。通過定義數(shù)據(jù)描述文件，對輸出字段順序、字段說明進(jìn)行描述。針對不同的協(xié)議數(shù)據(jù)，定義各自的數(shù)據(jù)輸出標(biāo)準(zhǔn)。數(shù)據(jù)輸出標(biāo)準(zhǔn)也可以從業(yè)務(wù)應(yīng)用角度進(jìn)行區(qū)分，比如針對網(wǎng)絡(luò)攻擊行為1定義該行為采集到安全要素數(shù)據(jù)的輸出標(biāo)準(zhǔn)。第三個部分是內(nèi)容組織標(biāo)準(zhǔn)，也就是需要定義安全要素數(shù)據(jù)以什么形式記錄，如果是以文件形式記錄，標(biāo)準(zhǔn)中就需要約定文件內(nèi)容組織形式、文件命名標(biāo)準(zhǔn)等，以及為了便于文件傳輸，文件的壓縮和加密標(biāo)準(zhǔn)等。安全態(tài)勢感知系統(tǒng)中安全要素數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)成參考下圖2：新型DPI技術(shù)的數(shù)據(jù)標(biāo)準(zhǔn)為安全態(tài)勢領(lǐng)域各類網(wǎng)絡(luò)攻擊、異常監(jiān)測等數(shù)據(jù)融合應(yīng)用提供了基礎(chǔ)支撐，為不同領(lǐng)域廠商之間數(shù)據(jù)互通互聯(lián)、不同系統(tǒng)之間數(shù)據(jù)共享提供便利。

4新型DPI技術(shù)面臨的挑戰(zhàn)

目前互聯(lián)網(wǎng)技術(shù)日新月異、各類網(wǎng)絡(luò)應(yīng)用層出不窮的背景下，新型DPI技術(shù)在安全要素采集時，需要從互聯(lián)網(wǎng)流量中，將網(wǎng)絡(luò)攻擊、異常流量識別出來，這項工作難度越來越大。同時隨著5G應(yīng)用越來越廣泛，萬物互聯(lián)離我們的生活越來越近，接入網(wǎng)絡(luò)的終端類型也多種多樣，針對不同類型終端的網(wǎng)絡(luò)攻擊也更為“個性化”。新型DPI技術(shù)需要從規(guī)模越來越大的互聯(lián)網(wǎng)流量中，將網(wǎng)絡(luò)安全相關(guān)的要素數(shù)據(jù)準(zhǔn)確獲取到仍然有很長的路要走?；谛滦虳PI技術(shù)，完成網(wǎng)絡(luò)態(tài)勢感知系統(tǒng)中的安全要素數(shù)據(jù)采集，實現(xiàn)從網(wǎng)絡(luò)流量到數(shù)據(jù)的轉(zhuǎn)化，這只是網(wǎng)絡(luò)安全態(tài)勢感知的第一步。網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)還需要基于網(wǎng)絡(luò)安全威脅評估實現(xiàn)從數(shù)據(jù)到信息、從信息到網(wǎng)絡(luò)安全威脅情報的完整轉(zhuǎn)化過程，對網(wǎng)絡(luò)異常行為、已知攻擊手段、組合攻擊手段、未知漏洞攻擊和未知代碼攻擊等多種類型的網(wǎng)絡(luò)安全威脅數(shù)據(jù)進(jìn)行統(tǒng)計建模與評估，網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)才能做到對攻擊行為、網(wǎng)絡(luò)系統(tǒng)異常等的及時發(fā)現(xiàn)與檢測，實現(xiàn)全貌還原攻擊事件、攻擊者意圖，客觀評估攻擊投入和防護(hù)效能，為威脅溯源提供必要的線索。

篇9

面向服務(wù)架構(gòu)(SOA)將應(yīng)用程序的不同功能單元包裝成“服務(wù)(Service)”，通過這些服務(wù)之間定義良好的接口和協(xié)議聯(lián)系起來。接口采用中立的方式定義，獨立于具體實現(xiàn)服務(wù)的硬件平臺、操作系統(tǒng)和編程語言，使得構(gòu)建在各種這樣系統(tǒng)中的服務(wù)可以使用統(tǒng)一和通用的方式進(jìn)行通信。這種具有中立接口定義的特征稱為服務(wù)之間的松耦合。面向服務(wù)架構(gòu)是一種軟件體系結(jié)構(gòu)的思想，它需要依賴具體的實現(xiàn)技術(shù)。本文采用Web服務(wù)分布式管理(WSDM)標(biāo)準(zhǔn)來支持面向服務(wù)架構(gòu)的實現(xiàn)。

為了解決網(wǎng)絡(luò)環(huán)境下管理系統(tǒng)和基礎(chǔ)設(shè)施的協(xié)同工作以及管理集成問題，OASIS組織在IBM、HP、CA等著名公司的大力支持下，于2005年3月推出了Web服務(wù)分布式管理(Web services distributed manage-ment，WSDM)標(biāo)準(zhǔn)，對Web Service管理提供標(biāo)準(zhǔn)化的支持，通過使用Web Service來實現(xiàn)對不同平臺的管理。

WSDM是一個用于描述特定設(shè)備、應(yīng)用程序或者組件的管理信息和功能的標(biāo)準(zhǔn)。所有描述都是通過Web服務(wù)描述語言進(jìn)行的。WSDM標(biāo)準(zhǔn)實際上是由兩個不同的標(biāo)準(zhǔn)組成的，WSDM-MUWS標(biāo)準(zhǔn)以及WS-DM-MOWS標(biāo)準(zhǔn)。

圖1是WSDM的工作模式，可管理用戶發(fā)現(xiàn)這個Web Service端點，然后，通過與端點交換消息，從而獲取信息、定制事件以及控制與端點相關(guān)聯(lián)的可管理資源。WSDM規(guī)范側(cè)重于提供對可管理資源的訪問。管理是資源的一個可能具有的特性，可管理資源的實現(xiàn)是通過Web Service端點提供一組管理功能。WSDM架構(gòu)不限制可管理資源的實現(xiàn)策略，實現(xiàn)方式包括直接訪問資源、用非方法、用管理等，實現(xiàn)細(xì)節(jié)對于管理消費者來說都是透明的。

WSDM作為一種功能強(qiáng)大的分布式系統(tǒng)集成解決方案，其主要特點如下：

(1)面向資源。WSDM的關(guān)注點是資源，因為一個資源就代表了多個Web服務(wù)，因此在該標(biāo)準(zhǔn)中，對資源屬性和功能的詳細(xì)描述顯得尤為重要。為此，WSDM采用了專門的Web標(biāo)準(zhǔn)(如WS-Resource)對資源相關(guān)信息進(jìn)行定義。

(2)實現(xiàn)分離。由于采用與實現(xiàn)操作無關(guān)的WSDL語言定義接口，使得接口與服務(wù)實現(xiàn)了分離，所以無論Web服務(wù)其內(nèi)在實現(xiàn)細(xì)節(jié)如何改變都不會對客戶端的操作方式有任何影響。這樣做不但較好地封裝了管理方法的實現(xiàn)細(xì)節(jié)，而且實現(xiàn)了對已有資源的重用。

(3)服務(wù)的可組合性。WSDM能隨著應(yīng)用環(huán)境規(guī)模的變化而變化，首先，WSDM標(biāo)準(zhǔn)的自身實現(xiàn)只需定義較少的屬性和操作，使得其在小規(guī)模的系統(tǒng)中可以得到穩(wěn)定的應(yīng)用：其次，對于大規(guī)模應(yīng)用環(huán)境而言，WSDM可以隨著應(yīng)用需求的變化靈活地添加某些服務(wù)。從而在使用者和部署人員之間起很好的協(xié)調(diào)作用。

(4)模型的兼容性。主要表現(xiàn)在WSDM能描述和封裝任何資源模型(如cIM、SM-NP、SID等)，并為其提供相應(yīng)的Web服務(wù)接口。

2　系統(tǒng)設(shè)計方案

網(wǎng)絡(luò)流量采集使用了三種技術(shù)：

(1)基于網(wǎng)管設(shè)備MIB的SNMP模式；

(2)基于網(wǎng)絡(luò)探針技術(shù)的IP流量數(shù)據(jù)捕獲模式；

(3)基于NetFlow技術(shù)的數(shù)據(jù)流捕獲模式。

針對基于SNMP模式，實現(xiàn)基于WSDM的SNMP網(wǎng)關(guān)，通過該網(wǎng)關(guān)收集SNMP設(shè)備上的MIB信息；針對基于網(wǎng)絡(luò)探針技術(shù)模式，可實現(xiàn)基于WSDM的網(wǎng)絡(luò)探針服務(wù)；針對基于NetFlow技術(shù)模式，流量數(shù)據(jù)是通過NetFlow的主動式數(shù)據(jù)推送機(jī)制獲得的，網(wǎng)絡(luò)設(shè)備中的NetFlow是通過規(guī)范的報文格式將流量數(shù)據(jù)送往指定主機(jī)，WSDM服務(wù)提供了接收和傳輸NetFlow流量數(shù)據(jù)的功能。

2.1　系統(tǒng)架構(gòu)

流量監(jiān)測系統(tǒng)結(jié)構(gòu)可劃分為三個層次，即資源層、管理服務(wù)層、展示層，如圖2所示。

(1)資源層

資源層由提供流量采集服務(wù)的分布式流量采集器(WSDM Agent)組成，它們通過調(diào)用管理服務(wù)層的WSDM Agent注冊服務(wù)實行自主注冊，具備向管理服務(wù)層主動匯報、自主管理和主動服務(wù)等功能。

(2)管理服務(wù)層

管理服務(wù)層包括應(yīng)用組件、服務(wù)組件、管理平臺以及數(shù)據(jù)庫。其中應(yīng)用組件是對展示層提供支持的各種

管理服務(wù)，包括策略管理模塊、WSDM Agent管理模塊、流量數(shù)據(jù)管理模塊以及流量分析模塊等系統(tǒng)功能實現(xiàn)的模塊。服務(wù)組件是對資源層的各種WSDMAgent資源的支持，包括安全審計、日志服務(wù)、異常服務(wù)、自主管理等，主要是管理服務(wù)器自主實現(xiàn)的一些功能。數(shù)據(jù)庫部分是應(yīng)用組件中各模塊對應(yīng)的數(shù)據(jù)存儲。中間層的管理平臺是管理服務(wù)層的核心，是對應(yīng)用組件、服務(wù)組件以及數(shù)據(jù)庫的支持，包括Web服務(wù)、WSDM服務(wù)的引擎和API等。

(3)展示層

展示層實現(xiàn)流量狀態(tài)顯示?？梢詮牧髁繑?shù)據(jù)庫中取得所要查詢的網(wǎng)絡(luò)流量歷史信息，也可以調(diào)用管理服務(wù)層提供的服務(wù)觸發(fā)流量信息更新采集實時的流量數(shù)據(jù)，還可以通過服務(wù)將合法用戶的操作信息送到管理服務(wù)層。根據(jù)用戶需求采用圖形用戶界面將流量態(tài)勢分析的結(jié)果展示出來?？商峁┒喾N格式的流量報表。

2.2　流量分析系統(tǒng)設(shè)計

流量分析系統(tǒng)是整個流量監(jiān)測系統(tǒng)的核心。如圖3所示，該系統(tǒng)分為五個模塊：流量采集模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)傳輸模塊、流量分析模塊、數(shù)據(jù)存儲與管理模塊。對照流量監(jiān)測系統(tǒng)架構(gòu)，流量分析系統(tǒng)結(jié)構(gòu)中的這五個功能模塊分別位于總體架構(gòu)的各個層次。

篇10

1、網(wǎng)絡(luò)流量的特性

通過對互聯(lián)網(wǎng)通信量的測量，人們發(fā)現(xiàn)互聯(lián)網(wǎng)通信量的主要特性有:

1、數(shù)據(jù)流是雙向的，但通常是非對稱的

互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的，因此網(wǎng)絡(luò)的流是雙向的。但是兩個方向上的數(shù)據(jù)率有很大的差異，這是因為從網(wǎng)站下載時會導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個方向多。

2、大部分TCP會話是短期的

超過90%的TCP會話交換的數(shù)據(jù)量小于10K字節(jié)，會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對話都不是短期的，但是由于80%的WWW文檔傳輸都小于10K字節(jié)，WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。

3、包的到達(dá)過程不是泊松過程

大部分傳統(tǒng)的排隊理論和通信網(wǎng)絡(luò)設(shè)計都假設(shè)包的到達(dá)過程是泊松過程，即包到達(dá)的間斷時間的分布是獨立的指數(shù)分布。簡單的說，泊松到達(dá)過程就是事件(例如地震，交通事故，電話等)按照一定的概率獨立的發(fā)生。泊松模型因為指數(shù)分布的無記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡單。然而近年來對互聯(lián)網(wǎng)絡(luò)通信量的測量顯示包到達(dá)的過程不是泊松過程。包到達(dá)的間斷時間不僅不服從指數(shù)分布，而且不是獨立分布的。大部分時候是多個包連續(xù)到達(dá)，即包的到達(dá)是有突發(fā)性的。很明顯，泊松過程不足以精確地描述包的到達(dá)過程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網(wǎng)絡(luò)的可靠性，從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。

4、網(wǎng)絡(luò)通信量具有局域性

互聯(lián)網(wǎng)流量的局域性包括時間局域性和空間局域性。用戶在應(yīng)用層對互聯(lián)網(wǎng)的訪問反映在包的時間和源及目的地址上，從而顯示出基于時間的相關(guān)(時間局域性)和基于空間的相關(guān)(空間局域性)。

2、 網(wǎng)絡(luò)流量的測量

網(wǎng)絡(luò)流量的測量是人們研究互聯(lián)網(wǎng)絡(luò)的一個工具，通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流，我們可以設(shè)計出更加符合實際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計算機(jī)網(wǎng)絡(luò)不是永遠(yuǎn)不會出錯的，設(shè)備的一小點故障都有可能使整個網(wǎng)絡(luò)癱瘓，或者使網(wǎng)絡(luò)性能明顯下降。例如廣播風(fēng)暴、非法包長、錯誤地址、安全攻擊等。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡(luò)管理者提供詳細(xì)的信息以幫助發(fā)現(xiàn)和解決問題?；ヂ?lián)網(wǎng)流量的測量從不同的方面可以分為:

1、基于硬件的測量和基于軟件的測量

基于硬件的測量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計的專用硬件設(shè)備進(jìn)行網(wǎng)絡(luò)流的測量，這些設(shè)備一般都比較昂貴，而且受網(wǎng)絡(luò)接口數(shù)量，網(wǎng)絡(luò)插件的類型，存儲能力和協(xié)議分析能力等諸多因素的限制?；谲浖臏y量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分，使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較，其費用比較低廉，但是性能比不上專用的網(wǎng)絡(luò)流量分析器。

2、主動測量和被動測量

被動測量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流，不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測量都是被動的測量。主動測量使用由測量設(shè)備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來估計到某個目的地址的網(wǎng)絡(luò)延時。

3、在線分析和離線分析

有的網(wǎng)絡(luò)流量分析器支持實時地收集和分析網(wǎng)絡(luò)數(shù)據(jù)，使用可視化手段在線地顯示流量數(shù)據(jù)和分析結(jié)果，大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù)，把數(shù)據(jù)存儲下來，并不對數(shù)據(jù)進(jìn)行實時的分析。

4、協(xié)議級分類

對于不同的協(xié)議，例如以太網(wǎng)(Ethernet )，幀中繼(Frame Relay )，異步傳輸模式( Asynchronous Transfer Mode )，需要使用不同的網(wǎng)絡(luò)插件來收集網(wǎng)絡(luò)數(shù)據(jù)，因此也就有了不同的通信量測試方法。

3、 網(wǎng)絡(luò)流量的監(jiān)測技術(shù)

    根據(jù)對網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)、基于SNMP的監(jiān)測技術(shù)和基于Netflow的監(jiān)測技術(shù)三種常用技術(shù)。

1、基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù):網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過分光器、網(wǎng)絡(luò)探針等附加設(shè)備，實現(xiàn)網(wǎng)絡(luò)流量的無損復(fù)制和鏡像采集。和其它兩種流量采集方式相比，流量鏡像采集的最大特點是能夠提供豐富的應(yīng)用層信息。