期刊在線咨詢服務(wù),立即咨詢
時(shí)間:2023-01-02 22:45:02
導(dǎo)言:作為寫作愛好者,不可錯(cuò)過(guò)為您精心挑選的10篇網(wǎng)絡(luò)流量監(jiān)測(cè),它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內(nèi)容能為您提供靈感和參考。
Network Traffic Monitoring in Network Management
Wang Lei
(Hunan Women’s University,Changsha410004,China)
Abstract:This article study from the network traffic characteristics,internet traffic measurement,etc,so as to optimize some suggestions for traffic monitoring technologies.
Keywords:Network management;Network traffic;Monitoring
一、網(wǎng)絡(luò)流量的特征
(一)數(shù)據(jù)流是雙向的,但通常是非對(duì)稱的
互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個(gè)方向上的數(shù)據(jù)率有很大的差異,這是因?yàn)閺木W(wǎng)站下載時(shí)會(huì)導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個(gè)方向多。
(二)大部分TCP會(huì)話是短期的
超過(guò)90%的TCP會(huì)話交換的數(shù)據(jù)量小于10K字節(jié),會(huì)話持續(xù)時(shí)間不超過(guò)幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對(duì)話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長(zhǎng)使其在這方面產(chǎn)生了決定性的影響。
(三)包的到達(dá)過(guò)程不是泊松過(guò)程
大部分傳統(tǒng)的排隊(duì)理論和通信網(wǎng)絡(luò)設(shè)計(jì)都假設(shè)包的到達(dá)過(guò)程是泊松過(guò)程,即包到達(dá)的間斷時(shí)間的分布是獨(dú)立的指數(shù)分布。簡(jiǎn)單的說(shuō),泊松到達(dá)過(guò)程就是事件(例如地震,交通事故,電話等)按照一定的概率獨(dú)立的發(fā)生。泊松模型因?yàn)橹笖?shù)分布的無(wú)記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡(jiǎn)單。然而近年來(lái)對(duì)互聯(lián)網(wǎng)絡(luò)通信量的測(cè)量顯示包到達(dá)的過(guò)程不是泊松過(guò)程。包到達(dá)的間斷時(shí)間不僅不服從指數(shù)分布,而且不是獨(dú)立分布的。大部分時(shí)候是多個(gè)包連續(xù)到達(dá),即包的到達(dá)是有突發(fā)性的。很明顯,泊松過(guò)程不足以精確地描述包的到達(dá)過(guò)程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過(guò)程的現(xiàn)象迫使人們懷疑使用簡(jiǎn)單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。
(四)網(wǎng)絡(luò)通信量具有局域性
互聯(lián)網(wǎng)流量的局域性包括時(shí)間局域性和空間局域性。用戶在應(yīng)用層對(duì)互聯(lián)網(wǎng)的訪問(wèn)反映在包的時(shí)間和源及目的地址上,從而顯示出基于時(shí)間的相關(guān)(時(shí)間局域性)和基于空間的相關(guān)(空間局域性)。
二、網(wǎng)絡(luò)流量的測(cè)量
網(wǎng)絡(luò)流量的測(cè)量是人們研究互聯(lián)網(wǎng)絡(luò)的一個(gè)工具,通過(guò)采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設(shè)計(jì)出更加符合實(shí)際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計(jì)算機(jī)網(wǎng)絡(luò)不是永遠(yuǎn)不會(huì)出錯(cuò)的,設(shè)備的一小點(diǎn)故障都有可能使整個(gè)網(wǎng)絡(luò)癱瘓,或者使網(wǎng)絡(luò)性能明顯下降。例如廣播風(fēng)暴、非法包長(zhǎng)、錯(cuò)誤地址、安全攻擊等。對(duì)互聯(lián)網(wǎng)流量的測(cè)量可以為網(wǎng)絡(luò)管理者提供詳細(xì)的信息以幫助發(fā)現(xiàn)和解決問(wèn)題。互聯(lián)網(wǎng)流量的測(cè)量從不同的方面可以分為:
(一)基于硬件的測(cè)量和基于軟件的測(cè)量
基于硬件的測(cè)量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計(jì)的專用硬件設(shè)備進(jìn)行網(wǎng)絡(luò)流的測(cè)量,這些設(shè)備一般都比較昂貴,而且受網(wǎng)絡(luò)接口數(shù)量,網(wǎng)絡(luò)插件的類型,存儲(chǔ)能力和協(xié)議分析能力等諸多因素的限制?;谲浖臏y(cè)量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分,使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較,其費(fèi)用比較低廉,但是性能比不上專用的網(wǎng)絡(luò)流量分析器。
(二)主動(dòng)測(cè)量和被動(dòng)測(cè)量
被動(dòng)測(cè)量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流,不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測(cè)量都是被動(dòng)的測(cè)量。主動(dòng)測(cè)量使用由測(cè)量設(shè)備產(chǎn)生的數(shù)據(jù)流來(lái)探測(cè)網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來(lái)估計(jì)到某個(gè)目的地址的網(wǎng)絡(luò)延時(shí)。
(三)在線分析和離線分析
有的網(wǎng)絡(luò)流量分析器支持實(shí)時(shí)地收集和分析網(wǎng)絡(luò)數(shù)據(jù),使用可視化手段在線地顯示流量數(shù)據(jù)和分析結(jié)果,大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個(gè)能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù),把數(shù)據(jù)存儲(chǔ)下來(lái),并不對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析。
(四)協(xié)議級(jí)分類
對(duì)于不同的協(xié)議,例如以太網(wǎng)(Ethernet),幀中繼(Frame Relay),異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網(wǎng)絡(luò)插件來(lái)收集網(wǎng)絡(luò)數(shù)據(jù),因此也就有了不同的通信量測(cè)試方法。
三、網(wǎng)絡(luò)流量的監(jiān)測(cè)技術(shù)
根據(jù)對(duì)網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)、基于SNMP的監(jiān)測(cè)技術(shù)和基于Netflow的監(jiān)測(cè)技術(shù)三種常用技術(shù)。
(一)基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)
網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過(guò)交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過(guò)分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實(shí)現(xiàn)網(wǎng)絡(luò)流量的無(wú)損復(fù)制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點(diǎn)是能夠提供豐富的應(yīng)用層信息。
(二)基于Netflow的流量監(jiān)測(cè)技術(shù)
Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的Netflow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量信息采集。
中圖分類號(hào):TP393文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2011)31-0000-0c
Application of WinPcap in the Network Traffic Monitoring
ZHANG Xue-jun,XU Yuan
(Internet of Things Department of Jiangnan University, Wuxi 214122, China)
Abstract: Introduction of computer network traffic monitoring technology and flow monitoring methods, the main study the WinPcap packet capture system structure and its main function, based on the WinPcap packet capture system with simple structure, fast data capture, protocol recognition rate, etc., which of the three modules complement each other to achieve the basic functions of data acquisition network, describes the network based on WinPcap packet capture and analysis methods and the main steps.
Key words: WinpCap; network traffic monitoring system; packet capture
目前互聯(lián)網(wǎng)已經(jīng)非常普及,有關(guān)網(wǎng)絡(luò)的應(yīng)用也越來(lái)越多,從瀏覽網(wǎng)頁(yè)和收發(fā)郵件,到打游戲,聊天,看電影,聽音樂,打電話包羅萬(wàn)象。電視網(wǎng)和電話網(wǎng)能夠做的事情,現(xiàn)在寬帶網(wǎng)也能夠做到了,同時(shí)寬帶網(wǎng)還能夠做電視網(wǎng),電話網(wǎng)以外的許多事情。而這一切,都是靠信息在網(wǎng)絡(luò)上的流動(dòng)來(lái)實(shí)現(xiàn)的。汽車在馬路上跑,常常會(huì)引起交通堵塞以及不遵守交通規(guī)則等現(xiàn)象,因此需要交通部門來(lái)實(shí)時(shí)監(jiān)測(cè)道路情況和處理突發(fā)事件。同樣網(wǎng)絡(luò)流量也需要監(jiān)測(cè)和控制,通過(guò)監(jiān)控可以對(duì)網(wǎng)絡(luò)狀態(tài)進(jìn)行合理調(diào)節(jié)或配置、保證網(wǎng)絡(luò)高效運(yùn)行、提高網(wǎng)絡(luò)資源的利用效率、也可以用于對(duì)網(wǎng)絡(luò)用戶行為和網(wǎng)絡(luò)業(yè)務(wù)的分析。網(wǎng)絡(luò)流量監(jiān)測(cè)是網(wǎng)絡(luò)管理的重要組成部分,而數(shù)據(jù)報(bào)捕獲又是網(wǎng)絡(luò)流量監(jiān)測(cè)的前提。
1 流量監(jiān)測(cè)與分析技術(shù)概述
1.1 網(wǎng)絡(luò)流量監(jiān)測(cè)
網(wǎng)絡(luò)流量指通過(guò)網(wǎng)絡(luò)的數(shù)據(jù)量,是衡量網(wǎng)絡(luò)性能的重要參數(shù)。網(wǎng)絡(luò)監(jiān)測(cè)就是通過(guò)一定的方法獲取網(wǎng)絡(luò)流量數(shù)據(jù),而這些流量數(shù)據(jù)的采集是進(jìn)一步分析網(wǎng)絡(luò)負(fù)載性能以及網(wǎng)絡(luò)的安全性的前提。網(wǎng)絡(luò)流量的監(jiān)測(cè)是網(wǎng)絡(luò)測(cè)量中的重要技術(shù)之一,網(wǎng)絡(luò)流量監(jiān)測(cè)系統(tǒng)大致上可以分為流量采集、流量分析和流量控制三個(gè)方面。
1.2 流量監(jiān)測(cè)分析的方法及分類
流量監(jiān)測(cè)系統(tǒng)通常是根據(jù)對(duì)網(wǎng)絡(luò)流量某個(gè)特定方面的分析來(lái)設(shè)計(jì)的,正是由于需要分析的內(nèi)容不同,就產(chǎn)生了各種網(wǎng)絡(luò)流量監(jiān)測(cè)方法,這些方法主要分為基于主機(jī)內(nèi)嵌軟件的方法、基于SNMP的流量監(jiān)測(cè)方法、基于Netflow的流量監(jiān)測(cè)方法、基于硬件探針的監(jiān)測(cè)方法等。
1.2.1 基于主機(jī)內(nèi)嵌軟件的方法
主機(jī)內(nèi)嵌軟件的方法是指在主機(jī)內(nèi)安裝流量檢測(cè)軟件來(lái)完成流量檢測(cè)任務(wù)。主機(jī)操作系統(tǒng)中,一般會(huì)把網(wǎng)絡(luò)通信功能功能實(shí)現(xiàn)在相對(duì)獨(dú)立的軟件模塊 ,例如設(shè)備驅(qū)動(dòng)程序中。主機(jī)與網(wǎng)絡(luò)的通信一般是通過(guò)對(duì)調(diào)用軟件套接字Socket來(lái)實(shí)現(xiàn)。因此在這個(gè)位置上嵌入一個(gè)軟件就可以通過(guò)檢測(cè)對(duì)通信模塊的調(diào)用來(lái)截獲往返通信的主要內(nèi)容,目前有許多軟件實(shí)現(xiàn)這一功能。Windows 操作系統(tǒng)下的檢測(cè)軟件WinPcap,實(shí)現(xiàn)了基本的報(bào)文截獲功能,可自由下載使用,成為了許多流量監(jiān)測(cè)軟件的基本組成部分。
1.2.2 基于SNMP的流量監(jiān)測(cè)方法
SNMP用于對(duì)網(wǎng)絡(luò)設(shè)備的管理,幾乎所有的網(wǎng)絡(luò)設(shè)備都具備該能力,基于SNMP的流量信息采集方法,實(shí)質(zhì)上是用軟件提取存儲(chǔ)在網(wǎng)絡(luò)設(shè)備上的流量信息,該方法配置簡(jiǎn)單,成本較低,基于SNMP收集的網(wǎng)絡(luò)流量信息只包括字節(jié)數(shù)、報(bào)文數(shù)等基本的流量信息,不能滿足復(fù)雜的流量監(jiān)測(cè)要求。
1.2.3 基于Netflow的流量監(jiān)測(cè)方法
Netflow是Cisco公司提出的專業(yè)的流量監(jiān)測(cè)的技術(shù)標(biāo)準(zhǔn),主要運(yùn)行在該公司生產(chǎn)的網(wǎng)絡(luò)設(shè)備上,與基于SNMP的流量監(jiān)測(cè)方法相比,該方法能夠滿足復(fù)雜的流量監(jiān)測(cè)需要,目前應(yīng)用最普遍的是NetFlowV5。
1.2.4 基于硬件探針的監(jiān)測(cè)方法
硬件探針是一種用來(lái)獲取網(wǎng)絡(luò)流量的硬件設(shè)備,使用時(shí)將它連接在需要捕捉流量的鏈路中,通過(guò)分流鏈路上的數(shù)字信號(hào)而獲取流量信息。 一個(gè)硬件探針通常只能監(jiān)視一條鏈路。而對(duì)于全網(wǎng)流量的監(jiān)測(cè)使用NetFlow更為合適。與其他的3種方式相比,基于硬件探針的最大特點(diǎn)是能夠提供豐富的從物理層到應(yīng)用層的詳細(xì)信息。
2 WinPcap包截獲系統(tǒng)
數(shù)據(jù)包的截獲是流量監(jiān)測(cè)系統(tǒng)中流量采集的主要技術(shù).在大多數(shù)Unix系統(tǒng)的內(nèi)核模塊本身就是截獲數(shù)據(jù)包的機(jī)制。而在Windows平臺(tái)下,系統(tǒng)提供很少的數(shù)據(jù)包捕獲接口,而提供的具有包截獲功能的API,也只能截獲IP數(shù)據(jù)包,很少能直接獲取數(shù)據(jù)鏈路層上數(shù)據(jù)幀。WinPcap是基于Win32平臺(tái)的開放源代碼網(wǎng)絡(luò)數(shù)據(jù)包截獲和分析的系統(tǒng)。它彌補(bǔ)了Windows內(nèi)核在包捕獲方面的不足,該系統(tǒng)性能穩(wěn)定而且效率極高,利用它提供的豐富且功能強(qiáng)大的網(wǎng)絡(luò)數(shù)據(jù)包處理函數(shù),可以滿足對(duì)數(shù)據(jù)包處理有嚴(yán)格要求的多數(shù)應(yīng)用。
2.1 WinPcap的體系結(jié)構(gòu)
WinPcap是由意大利人Fulvio Risso和Loris Degioanni等人提出的。是為L(zhǎng)inux下的Libcap移植到Windows下而設(shè)計(jì)的,它的主要思想來(lái)源于Unix系統(tǒng)中最著名的伯克利軟件套件(Berkeley software Distribution,BSD)架構(gòu),WinPcap的基本結(jié)構(gòu)如圖a所示。它由處于內(nèi)核級(jí)的網(wǎng)絡(luò)組包過(guò)濾器(Netgroup Packet Filter,NPF)、處于用戶級(jí)的動(dòng)態(tài)鏈接庫(kù)(Packet.dll)和高級(jí)動(dòng)態(tài)鏈接庫(kù)Wpcap.dll等3個(gè)模塊組成。
1) 網(wǎng)絡(luò)組包過(guò)濾器。它是WinPcap架構(gòu)的核心,屬于最底層的模塊,它與NIC驅(qū)動(dòng)交互,并向上提供一些函數(shù)組,從而能在讀取和寫入網(wǎng)絡(luò)數(shù)據(jù)包。它能獲取原始以太網(wǎng)數(shù)據(jù)包,并進(jìn)行相應(yīng)的過(guò)濾,然后傳給高層的應(yīng)用程序處理。NPF有著高效和處理迅速兩大特點(diǎn),在流量很大的網(wǎng)絡(luò)中也能正常高效的工作。
2) 低級(jí)動(dòng)態(tài)鏈接庫(kù)。Packet.dll為Win32平臺(tái)上為數(shù)據(jù)包驅(qū)動(dòng)程序提供了一個(gè)公共的接口。不同的Windows版本在用戶態(tài)和內(nèi)核態(tài)之間提供互不相同的接口,而Packet.dll可以屏蔽這些接口區(qū)別,提供一個(gè)與系統(tǒng)無(wú)關(guān)的API,該API能夠直接訪問(wèn)NPF驅(qū)動(dòng)程序?;赑acket.dll開發(fā)的數(shù)據(jù)包截獲程序可以不作任何修改運(yùn)行于不同的Win32平臺(tái)。Packet.dll具有如獲取適配器名稱、動(dòng)態(tài)驅(qū)動(dòng)器加載以及獲得主機(jī)掩碼及以太網(wǎng)沖突次數(shù)等附加功能。
3) 高級(jí)動(dòng)態(tài)鏈接庫(kù)。Wpcap.dll與Packet.dll不同,它處于更高層,且與操作系統(tǒng)無(wú)關(guān),是對(duì)Packet.dll的高層封裝。它和應(yīng)用程序鏈接在一起,提供了一組功能強(qiáng)大且跨平臺(tái)的函數(shù),利用這些函數(shù),可以不去關(guān)心適配器和操作系統(tǒng)的類型。Wpcap.dll含有諸如產(chǎn)生過(guò)濾器、定義用戶級(jí)緩沖以及包注入等高級(jí)功能。編程人員既可以使用包含在Packet.dll中的低級(jí)函數(shù)直接進(jìn)入內(nèi)核級(jí)調(diào)用,也可以使用Wpcap.dll提供的高級(jí)函數(shù)調(diào)用,這樣功能更強(qiáng),使用也更為方便。Wpcap.dll的函數(shù)調(diào)用會(huì)自動(dòng)調(diào)用Pactet.dll中的低級(jí)函數(shù),并且可能被轉(zhuǎn)換成若干個(gè)NPF系統(tǒng)調(diào)用。
圖1
2.2 WinPcap的主要功能
在WinPcap包截獲系統(tǒng)中,整個(gè)包截獲架構(gòu)的基礎(chǔ)是網(wǎng)絡(luò)驅(qū)動(dòng)器接口規(guī)范(NDIS),它主要為網(wǎng)絡(luò)適配器和各種協(xié)議驅(qū)動(dòng)程序提供接接口函數(shù),使得協(xié)議驅(qū)動(dòng)程序發(fā)送和接收數(shù)據(jù)包時(shí)不必考慮具體的適配器和Win32操作系統(tǒng)。WinPcap中的NPF正是通過(guò)回調(diào)函數(shù)Packet_tap()調(diào)用這些接口函數(shù)來(lái)截取網(wǎng)絡(luò)數(shù)據(jù)包,進(jìn)而為用戶層提供了包截獲、數(shù)據(jù)包轉(zhuǎn)儲(chǔ)、包注入、網(wǎng)絡(luò)監(jiān)測(cè)等功能。
1) 包截獲。包截獲是NPF最重要的操作,它通過(guò)過(guò)濾從網(wǎng)卡中接收到數(shù)據(jù)包,并原封不動(dòng)地送往用戶層應(yīng)用程序。它主要依靠一個(gè)包過(guò)濾器和一個(gè)環(huán)緩沖器來(lái)實(shí)現(xiàn)。NPF中的包過(guò)濾器延用了Unix下BSD中的分組過(guò)濾器BPF,BPF是一個(gè)虛擬處理機(jī),用于運(yùn)行用戶自定義的過(guò)濾程序。通過(guò)Wpcap.dll把用戶定義的包過(guò)濾規(guī)則編譯到BPF程序中,并把程序注入到內(nèi)核。當(dāng)有數(shù)據(jù)包到達(dá)的時(shí)候,NPF運(yùn)行該內(nèi)核程序進(jìn)行數(shù)據(jù)包的過(guò)濾。環(huán)緩沖器用來(lái)存儲(chǔ)數(shù)據(jù)包避免包丟失,數(shù)據(jù)包存儲(chǔ)時(shí)被加了一個(gè)包頭,記錄時(shí)問(wèn)戳以及包大小等信息。使用緩沖器可以把一組數(shù)據(jù)包一起拷貝給應(yīng)用程序,這減少了讀寫的次數(shù),提高了運(yùn)行速度。緩沖器的大小是非常重要的一個(gè)參數(shù),因?yàn)樗鼪Q定了一次拷貝能送多少數(shù)據(jù)包給應(yīng)用程序。緩沖器設(shè)置比較大時(shí),它需要等待一系列包到達(dá)后才往應(yīng)用程序送,由于減少拷貝次數(shù)節(jié)省了處理器的資源,如在嗅探器中就適合設(shè)置大的緩沖器。而有些實(shí)時(shí)性要求比較高的應(yīng)用程序(如ARP轉(zhuǎn)向器),需要在應(yīng)用程序準(zhǔn)備好時(shí)就能得到數(shù)據(jù),因而緩沖器設(shè)置較小。WinPcap庫(kù)中提供了專門設(shè)置緩沖器大小和讀包溢出時(shí)間的函數(shù),它們的默認(rèn)值分別是16kB和ls。
2) 數(shù)據(jù)包轉(zhuǎn)儲(chǔ)。用傳統(tǒng)方法,把數(shù)據(jù)包保存到硬盤上通常需要3~4個(gè)緩沖器,每個(gè)數(shù)據(jù)包需要拷貝多次。當(dāng)網(wǎng)卡收到包以后,包會(huì)存放在內(nèi)核空間內(nèi),這需要一個(gè)緩沖器。由于上層應(yīng)用運(yùn)行在用戶空問(wèn),無(wú)法直接訪問(wèn)內(nèi)核空間,因此要通過(guò)系統(tǒng)調(diào)用往上層應(yīng)用系統(tǒng)送,這時(shí)會(huì)發(fā)生一次復(fù)制過(guò)程。用戶應(yīng)用程序有兩個(gè)緩沖器,一個(gè)用于暫存數(shù)據(jù),一個(gè)用于標(biāo)準(zhǔn)輸出函數(shù)中向硬盤寫文件,還有一個(gè)緩沖器存在文件系統(tǒng)中。如果對(duì)一般的應(yīng)用來(lái)說(shuō),這樣的系統(tǒng)開銷還可以承受,但是對(duì)于大量讀取網(wǎng)絡(luò)數(shù)據(jù)包的應(yīng)用來(lái)說(shuō),這樣的開銷就很難承受了。利用NPF提供的數(shù)據(jù)包轉(zhuǎn)儲(chǔ)功能,不需要用戶應(yīng)用程序的介入,在內(nèi)核層直接尋址文件系統(tǒng)。因?yàn)闇p少了兩個(gè)緩沖器。而且只要一次簡(jiǎn)單的拷貝,大量減少了系統(tǒng)調(diào)用,提高了轉(zhuǎn)儲(chǔ)的效率。在轉(zhuǎn)儲(chǔ)之前,還可以進(jìn)行包過(guò)濾,只把需要的數(shù)據(jù)包保存到硬盤上面。
3) 包注入。NPF除了可以從網(wǎng)絡(luò)中截獲數(shù)據(jù)包,還可以往網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包。包注入時(shí),NPF對(duì)數(shù)據(jù)包不進(jìn)行任何封裝,所以應(yīng)用程序需要針對(duì)不同應(yīng)用給每個(gè)數(shù)據(jù)包添加相應(yīng)的包頭。封裝時(shí)可以不計(jì)算幀校驗(yàn)序列,網(wǎng)卡驅(qū)動(dòng)程序會(huì)自動(dòng)計(jì)算它并添加到每個(gè)數(shù)據(jù)包的結(jié)尾。通常情況下每往網(wǎng)絡(luò)發(fā)送一個(gè)包,都要進(jìn)行一次系統(tǒng)調(diào)用(WriteFile()),而通過(guò)NPF可以實(shí)現(xiàn)一次系統(tǒng)調(diào)用重復(fù)發(fā)送同一個(gè)數(shù)據(jù)包,這提高了發(fā)送效率,適合應(yīng)用于網(wǎng)絡(luò)高速流量測(cè)試。
4) 網(wǎng)絡(luò)監(jiān)測(cè)。事實(shí)上,通過(guò)WinPcap提供的包截獲功能,在用戶層得到需要檢測(cè)的數(shù)據(jù)包后,通過(guò)簡(jiǎn)單的分類統(tǒng)計(jì)就能實(shí)現(xiàn)網(wǎng)絡(luò)檢測(cè)。但是如果網(wǎng)絡(luò)流量很大,這可能會(huì)耗盡處理器資源。WipPcap提供了內(nèi)核層的監(jiān)測(cè)模塊,不需要把數(shù)據(jù)包送到應(yīng)用程序就能實(shí)現(xiàn)分類統(tǒng)計(jì)。該監(jiān)測(cè)模塊由分類器和計(jì)數(shù)器組成,在內(nèi)核層和用戶層不分配緩沖區(qū),統(tǒng)計(jì)數(shù)據(jù)直接來(lái)源于適配器驅(qū)動(dòng)程序,這大大節(jié)省了內(nèi)存和處理器資源。
2.3 WinpCap 的主要優(yōu)點(diǎn)
1)高性能。WinPcap 實(shí)現(xiàn)了有關(guān)數(shù)據(jù)包捕獲文獻(xiàn)中描述的所有典型的優(yōu)化方法(如內(nèi)核級(jí)的過(guò)濾與緩沖、減少上下文交換、數(shù)據(jù)包部分內(nèi)容復(fù)制),加上一些原創(chuàng)的優(yōu)化方法,如JIT 過(guò)濾器編輯(JIT filter compilation)與內(nèi)核級(jí)的統(tǒng)計(jì)過(guò)程,WinPcap 勝過(guò)其他類似的方法。
2)最終用戶易于使用WinPcap 作為單個(gè)小的可執(zhí)行文件,可運(yùn)行在每個(gè)所支持的操作系統(tǒng)上,開始使用這個(gè)可執(zhí)行文件后,Windows 就能捕獲與發(fā)送原始數(shù)據(jù)包,操作簡(jiǎn)單。
3)程序員易于使用每個(gè)版本的WinPcap 帶有一個(gè)開發(fā)者包(developer's pack),包括文檔、庫(kù)與include 文件,是開發(fā)應(yīng)用程序所必需的。開發(fā)者包還包含一個(gè)示例程序集,可用Visual Studio 或Cygnus 編譯,用來(lái)作為一個(gè)極好的起點(diǎn)。
4)多平臺(tái)。WinPcap 在Windows NT、Windows2000、Windows XP 與Windows Server 2003 平臺(tái)上被積極地維護(hù)。對(duì)Windows Vista 具有初步的支持,但有一些特性并不具備。
5)可移植性。WinpCap與libpcap具有完全的兼容性。這意味著可將Unix 或Linux 下存在的工具移植到Windows下。也可把Windows應(yīng)用程序很方便地移植到Unix下使用。
2.4 WinPcap捕獲數(shù)據(jù)包過(guò)程
首先獲取網(wǎng)卡設(shè)備列表并選擇要監(jiān)聽的一塊網(wǎng)卡,將其設(shè)置為混雜模式,還要設(shè)置好過(guò)濾器等參數(shù);然后把網(wǎng)卡上的數(shù)據(jù)包復(fù)制到內(nèi)核緩沖區(qū)中;最后通過(guò)上層的調(diào)用,把內(nèi)核緩沖區(qū)中的數(shù)據(jù)包拷貝到用戶緩沖區(qū)中,再交給應(yīng)用程序?qū)?shù)據(jù)進(jìn)行加工提取出有用的信息。利用WinPcap驅(qū)動(dòng)捕獲的數(shù)據(jù)幀其實(shí)是經(jīng)過(guò)傳輸層、網(wǎng)絡(luò)層和數(shù)據(jù)鏈路層的封裝而生成的太網(wǎng)數(shù)據(jù)幀,因此可以對(duì)數(shù)據(jù)幀作進(jìn)一步解析得到有用信息。
3 WinPcap捕獲數(shù)據(jù)包過(guò)程
WinPcap捕獲數(shù)據(jù)包分成以下幾個(gè)步驟,首先獲取網(wǎng)卡設(shè)備列表并選擇要監(jiān)聽的一塊網(wǎng)卡,將其設(shè)置為混雜模式,還要設(shè)置好過(guò)濾器等參數(shù);然后把網(wǎng)卡上的數(shù)據(jù)包復(fù)制到內(nèi)核緩沖區(qū)中;最后通過(guò)上層的調(diào)用,把內(nèi)核緩沖區(qū)中的數(shù)據(jù)包拷貝到用戶緩沖區(qū)中,再交給應(yīng)用程序?qū)?shù)據(jù)進(jìn)行加工提取出有用的信息。利用WinPcap驅(qū)動(dòng)捕獲的數(shù)據(jù)幀其實(shí)是經(jīng)過(guò)傳輸層、網(wǎng)絡(luò)層和數(shù)據(jù)鏈路層的封裝而生成的太網(wǎng)數(shù)據(jù)幀,因此可以對(duì)數(shù)據(jù)幀作進(jìn)一步解析得到有用信息。捕獲到了網(wǎng)絡(luò)數(shù)據(jù)幀,便可以進(jìn)一步完成網(wǎng)絡(luò)流量分析和網(wǎng)絡(luò)流量控制等任務(wù),這些任務(wù)構(gòu)成了一個(gè)完整的網(wǎng)絡(luò)流量監(jiān)測(cè)系統(tǒng)。
4 結(jié)論
WinPcap系統(tǒng)是一個(gè)功能強(qiáng)大的用于網(wǎng)絡(luò)數(shù)據(jù)獲取開發(fā)包,它直接和網(wǎng)卡打交道,獲取數(shù)據(jù)鏈層的數(shù)據(jù),能捕獲數(shù)據(jù)鏈路層的所有數(shù)據(jù)包。WinPcap的分層思想為Windows平臺(tái)提供了一個(gè)完整的、簡(jiǎn)單的、系統(tǒng)無(wú)關(guān)的編程接口,為在Windows平臺(tái)下開發(fā)高性能的網(wǎng)絡(luò)數(shù)據(jù)獲取軟件提供了方便。WinPcap的兩級(jí)緩存的設(shè)計(jì),極大地提高了數(shù)據(jù)包的捕獲率,使丟包率降到了很低的程度,尤其是它內(nèi)核級(jí)緩存的動(dòng)態(tài)循環(huán)存儲(chǔ)的思想,使它在數(shù)據(jù)捕獲的速度方面優(yōu)于UNIX中的Libpcap??傊?,基于WinPcap的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)實(shí)驗(yàn)方案具有結(jié)構(gòu)簡(jiǎn)單、捕獲數(shù)據(jù)快、協(xié)議識(shí)別率高等特點(diǎn),它的三個(gè)模塊的相互套用,實(shí)現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)獲取的基本功能。本文就WinPcap的系統(tǒng)結(jié)構(gòu)及其功能原理進(jìn)行了介紹,最后闡述了WinPcap捕獲數(shù)據(jù)包過(guò)程。
參考文獻(xiàn):
[1] 張偉,王韜.基于WinPcap的數(shù)據(jù)包捕獲及應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì),2008,29(7):1649-1651.
[2] 楊永.互聯(lián)網(wǎng)流量監(jiān)測(cè)系統(tǒng)研究[J].信息網(wǎng)絡(luò)安全,2010(7):22-28.
[3] 吳玉,李嵐.基于WinPcap 的網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的研究[J].研究與設(shè)計(jì),2007,23(6):10-12.
[4] 魏敏,奚茂龍,周陽(yáng)花.基于WinPcap的網(wǎng)絡(luò)數(shù)據(jù)解析系統(tǒng)[J].計(jì)算機(jī)安全,2010(11):49-51.
[5] 胡曉元,史涪山.WinPcap包截獲系統(tǒng)的分析及其應(yīng)用[J].計(jì)算機(jī)工程,2005,31(2):96-98.
中圖分類號(hào):TP39
文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1007-3973(2012)003-075-02
1 WinPcap的功能
Winpcap(windows packet capture)是Windows平臺(tái)下一個(gè)免費(fèi)的SDK,它為win32應(yīng)用程序提供訪問(wèn)網(wǎng)絡(luò)底層的能力。Winpcap不能阻塞、過(guò)濾或控制其他應(yīng)用程序數(shù)據(jù)報(bào)的發(fā)收,它僅僅只是監(jiān)聽共享網(wǎng)絡(luò)上傳送的數(shù)據(jù)報(bào)。
它提供了以下的各項(xiàng)功能:
(1)捕獲原始數(shù)據(jù)報(bào),包括在共享網(wǎng)絡(luò)上各主機(jī)發(fā)送/接收的以及相互之間交換的數(shù)據(jù)報(bào);
(2)在數(shù)據(jù)報(bào)發(fā)往應(yīng)用程序之前,按照自定義的規(guī)則將某些特殊的數(shù)據(jù)報(bào)過(guò)濾掉;
(3)在網(wǎng)絡(luò)上發(fā)送原始的數(shù)據(jù)報(bào);
(4)收集網(wǎng)絡(luò)通信過(guò)程中的統(tǒng)計(jì)信息。
2 WPcap.dll
動(dòng)態(tài)鏈接庫(kù)wpcap.dll。它也是提供給開發(fā)者的API,它輸出一組與系統(tǒng)有關(guān)的函數(shù),用來(lái)捕獲和分析網(wǎng)絡(luò)流量。
3 主要設(shè)計(jì)與開發(fā)的內(nèi)容
本系統(tǒng)實(shí)現(xiàn)的功能主要實(shí)現(xiàn)網(wǎng)絡(luò)流量監(jiān)測(cè)與統(tǒng)計(jì)分析。在用戶方面,該系統(tǒng)實(shí)現(xiàn)了計(jì)算網(wǎng)絡(luò)流量與網(wǎng)絡(luò)協(xié)議分析等具體功能;在整個(gè)項(xiàng)目方面,該系統(tǒng)作為網(wǎng)絡(luò)異常告警與智能分析的基礎(chǔ)模塊。
流量監(jiān)測(cè)是以圖形的方式實(shí)時(shí)顯示出流量的大小。
流量統(tǒng)計(jì)分析包括ARP數(shù)據(jù)包統(tǒng)計(jì)、TCP數(shù)據(jù)包統(tǒng)計(jì)、UDP數(shù)據(jù)統(tǒng)計(jì)、ICMP數(shù)據(jù)包統(tǒng)計(jì)、廣播數(shù)據(jù)包統(tǒng)計(jì)等。包括的子項(xiàng)有:
(1)每個(gè)數(shù)據(jù)包的時(shí)間、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口號(hào)、數(shù)據(jù)包大小。
(2)統(tǒng)計(jì)一段時(shí)間內(nèi)某種協(xié)議的數(shù)據(jù)包個(gè)數(shù)及總大小。
(3)按源IP和目的IP統(tǒng)計(jì)某個(gè)IP地址到另一個(gè)目的IP的某種協(xié)議的數(shù)據(jù)包時(shí)間、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口號(hào)、大小。
(4)按源IP或者目的IP統(tǒng)計(jì)某個(gè)IP地址的某種協(xié)議的數(shù)據(jù)包總大小及總大小。
4 總體設(shè)計(jì)方案
整個(gè)軟件分為三個(gè)子模塊。三個(gè)模塊為:數(shù)據(jù)包統(tǒng)計(jì)分析模塊、流量監(jiān)測(cè)模塊、用戶模塊(界面模塊)。
統(tǒng)計(jì)分析模塊主要基于WinPcap捕包原理,通過(guò)截獲整個(gè)網(wǎng)絡(luò)的所有信息流量,根據(jù)信息源主機(jī),目標(biāo)主機(jī),服務(wù)協(xié)議端口等信息按照ARP、TCP、UDP、ICMP、廣播協(xié)議過(guò)濾分析、統(tǒng)計(jì)。
本模塊要將網(wǎng)絡(luò)中各種層次中的協(xié)議進(jìn)行對(duì)比分析,對(duì)已知數(shù)據(jù)字段進(jìn)行分析,這種分析是逐層進(jìn)行的。因?yàn)閿?shù)據(jù)包的結(jié)構(gòu)都是自頂向下層層的添加數(shù)據(jù)包頭,而且每層的包頭都有固定的長(zhǎng)度,所以根據(jù)特定位置來(lái)判斷協(xié)議類型也就變得簡(jiǎn)單。在本系統(tǒng)中,采用的是網(wǎng)絡(luò)中的OSI標(biāo)準(zhǔn),即網(wǎng)絡(luò)的七層結(jié)構(gòu)。
流量監(jiān)測(cè)是流量的短期分析。該模塊主要實(shí)現(xiàn)如下功能:網(wǎng)絡(luò)總流量的實(shí)時(shí)查看,網(wǎng)絡(luò)輸出流量的實(shí)時(shí)查看,網(wǎng)絡(luò)輸入流量的實(shí)時(shí)查看。
用戶模塊(界面模塊)本系統(tǒng)主要采用Visual studio 2008平臺(tái)來(lái)設(shè)計(jì)用戶界面,使其界面與Windows保持最大的一致。
5 統(tǒng)計(jì)分析模塊詳細(xì)設(shè)計(jì)
編寫WinPcap應(yīng)用程序首先獲得主機(jī)的所有網(wǎng)卡。WinPcap用函數(shù)pcap_findalldevs()來(lái)實(shí)現(xiàn),該函數(shù)返回一個(gè)pcap_if的鏈表,鏈表中包含了每一個(gè)網(wǎng)卡的詳細(xì)信息。
打開設(shè)備的函數(shù)是pcap_open(),它有三個(gè)參數(shù)snaplen、flags和to_ms。snaplen參數(shù)用來(lái)制定捕獲包的特定部分。如果網(wǎng)卡設(shè)置成混雜模式,Winpcap能獲得其他主機(jī)的數(shù)據(jù)包。to_ms 參數(shù)指定讀數(shù)據(jù)的超時(shí)控制,超時(shí)以毫秒計(jì)算。當(dāng)在超時(shí)時(shí)間內(nèi)網(wǎng)卡上沒有數(shù)據(jù)到來(lái)時(shí),對(duì)網(wǎng)卡的讀操作將返回。
當(dāng)設(shè)備被打開,調(diào)用函數(shù)pcap_dispatch()來(lái)捕獲數(shù)據(jù)包。pcap_dispatch()可以不被阻塞。這個(gè)函數(shù)都有返回的參數(shù),一個(gè)指向某個(gè)函數(shù)的指針,Libpcap調(diào)用該函數(shù)對(duì)每個(gè)從網(wǎng)上到來(lái)的數(shù)據(jù)包進(jìn)行處理和接收數(shù)據(jù)包。另一個(gè)參數(shù)帶有時(shí)間戳和數(shù)據(jù)包長(zhǎng)度等信息,最后一個(gè)是含有所有協(xié)議頭部數(shù)據(jù)包的實(shí)際數(shù)據(jù)。MAC的冗余校驗(yàn)碼一般不出現(xiàn),因?yàn)楫?dāng)一個(gè)幀到達(dá)并被確認(rèn)后網(wǎng)卡就將它刪除。
當(dāng)對(duì)網(wǎng)絡(luò)數(shù)據(jù)包的分析的時(shí)候,必須先分析鏈路層,其次分析網(wǎng)絡(luò)層,之后是傳輸層,最后分析應(yīng)用層。
由于本程序只分析以太網(wǎng)的協(xié)議,所以去掉以太網(wǎng)協(xié)議的部分,剩下的就是IP協(xié)議的數(shù)據(jù);IP協(xié)議部分包括 TCP和UDP協(xié)議的數(shù)據(jù)包;之后分析TCP和UDP等傳輸層的協(xié)議,將傳輸層協(xié)議部分舍去,留下來(lái)的是應(yīng)用層協(xié)議;最后解析應(yīng)用層協(xié)議。
基于以太網(wǎng)協(xié)議內(nèi)容的進(jìn)行分析,判斷以太網(wǎng)類型的值:如果是0x0806,表示ARP協(xié)議,則分析ARP協(xié)議;如果是0x0800,表示協(xié)議為IP協(xié)議,則分析IP協(xié)議,在分析IP協(xié)議時(shí),根據(jù)協(xié)議類型的值判斷傳輸層協(xié)議類型:如果IP協(xié)議類型字段的值是6,表示協(xié)議為TCP協(xié)議,則分析TCP協(xié)議。
統(tǒng)計(jì)分析模塊將分為五個(gè)功能的詳細(xì)設(shè)計(jì)分別是ARP數(shù)據(jù)包統(tǒng)計(jì)、TCP數(shù)據(jù)包統(tǒng)計(jì)、UDP數(shù)據(jù)統(tǒng)計(jì)、ICMP數(shù)據(jù)包統(tǒng)計(jì)、廣播數(shù)據(jù)包統(tǒng)計(jì)。
6 流量監(jiān)測(cè)模塊詳細(xì)設(shè)計(jì)
網(wǎng)絡(luò)流量監(jiān)測(cè)的思想是:對(duì)流入和流出網(wǎng)卡的數(shù)據(jù)包進(jìn)行檢測(cè)并對(duì)數(shù)據(jù)包的長(zhǎng)度進(jìn)行累加,從而得到流量數(shù)據(jù)。由于Windows NT/2000/XP/7提供了一個(gè)系統(tǒng)性能的接口(注冊(cè)表),所以需要做的就是訪問(wèn)這個(gè)接口,得到數(shù)據(jù)流量。
具體實(shí)現(xiàn)通過(guò)PDH和讀取注冊(cè)表中的系統(tǒng)性能數(shù)據(jù)來(lái)實(shí)現(xiàn)流量的監(jiān)測(cè)模塊。PDH是英文Performance Data Helper的縮寫。隨著PDH逐漸成熟,為了使該數(shù)據(jù)庫(kù)的使用變得容易,Microsoft開發(fā)了一組Performance Data的API函數(shù),包含在PDH.DLL文件中。使用PDH API基本上包括5個(gè)步驟。
創(chuàng)建一個(gè)查詢;向查詢中添加計(jì)數(shù)器;搜集性能數(shù)據(jù);處理性能數(shù)據(jù);關(guān)閉查詢。
在本系統(tǒng)中將采用查詢注冊(cè)表的方式完成PD的查詢。本系統(tǒng)中用到了一個(gè)注冊(cè)表函數(shù)RegQueryValueEx,該函數(shù)根據(jù)一個(gè)開放的注冊(cè)表鍵值和一個(gè)具體的名字值查找相關(guān)的類型和數(shù)據(jù)。
參考文獻(xiàn):
[1] 劉敏,過(guò)曉冰,伍衛(wèi)國(guó),等.針對(duì)網(wǎng)絡(luò)掃描的監(jiān)測(cè)系統(tǒng)[J].計(jì)算機(jī)工程,2002,28(2):77-78.省略/Class/winpcap/index.html.
一、異常流量監(jiān)測(cè)基礎(chǔ)知識(shí)
異常流量有許多可能的來(lái)源,包括新的應(yīng)用系統(tǒng)與業(yè)務(wù)上線、計(jì)算機(jī)病毒、黑客入侵、網(wǎng)絡(luò)蠕蟲、拒絕網(wǎng)絡(luò)服務(wù)、使用非法軟件、網(wǎng)絡(luò)設(shè)備故障、非法占用網(wǎng)絡(luò)帶寬等。網(wǎng)絡(luò)流量異常的檢測(cè)方法可以歸結(jié)為以下四類:統(tǒng)計(jì)異常檢測(cè)法、基于機(jī)器學(xué)習(xí)的異常檢測(cè)方法、基于數(shù)據(jù)挖掘的異常檢測(cè)法和基于神經(jīng)網(wǎng)絡(luò)的異常檢測(cè)法等。用于異常檢測(cè)的5種統(tǒng)計(jì)模型有:①操作模型。該模型假設(shè)異常可通過(guò)測(cè)量結(jié)果和指標(biāo)相比較得到,指標(biāo)可以根據(jù)經(jīng)驗(yàn)或一段時(shí)間的統(tǒng)計(jì)平均得到。②方差。計(jì)算參數(shù)的方差,設(shè)定其置信區(qū)間,當(dāng)測(cè)量值超出了置信區(qū)間的范圍時(shí)表明可能存在異常。③多元模型。操作模型的擴(kuò)展,通過(guò)同時(shí)分析多個(gè)參數(shù)實(shí)現(xiàn)檢測(cè)。④馬爾可夫過(guò)程模型。將每種類型事件定義為系統(tǒng)狀態(tài),用狀態(tài)轉(zhuǎn)移矩陣來(lái)表示狀態(tài)的變化。若對(duì)應(yīng)于發(fā)生事件的狀態(tài)轉(zhuǎn)移矩陣概率較小,則該事件可能是異常事件。⑤時(shí)間序列模型。將測(cè)度按時(shí)間排序,如一新事件在該時(shí)間發(fā)生的概率較低,則該事件可能是異常事件。
二、系統(tǒng)介紹分析與設(shè)計(jì)
本系統(tǒng)運(yùn)行在子網(wǎng)連接主干網(wǎng)的出口處,以旁路的方式接入邊界的交換設(shè)備中。從交換設(shè)備中流過(guò)的數(shù)據(jù)包,經(jīng)由軟件捕獲,處理,分析和判斷,可以對(duì)以異常流量方式出現(xiàn)的攻擊行為告警。本系統(tǒng)需要檢測(cè)的基本的攻擊行為如下:(1)ICMP攻擊(2)TCP攻擊,包括但不限于SYN Flood、RST Flood(3)IP NULL攻擊(4)IP Fragmentation攻擊(5)IP Private Address Space攻擊(6)UDP Flood攻擊(7)掃描攻擊不同于以特征、規(guī)則和策略為基礎(chǔ)的入侵檢測(cè)系統(tǒng)(Intrusion Detection Systems),本研究著眼于建立正常情況下網(wǎng)絡(luò)流量的模型,通過(guò)該模型,流量異常檢測(cè)系統(tǒng)可以實(shí)時(shí)地發(fā)現(xiàn)所觀測(cè)到的流量與正常流量模型之間的偏差。當(dāng)偏差達(dá)到一定程度引發(fā)流量分配的變化時(shí),產(chǎn)生系統(tǒng)告警(ALERT),并由網(wǎng)絡(luò)中的其他設(shè)備來(lái)完成對(duì)攻擊行為的阻斷。系統(tǒng)的核心技術(shù)包括網(wǎng)絡(luò)正常流量模型的獲取、及對(duì)所觀察流量的匯聚和分析。由于當(dāng)前網(wǎng)絡(luò)以IPv4為主體,網(wǎng)絡(luò)通訊中的智能分布在主機(jī)上,而不是集中于網(wǎng)絡(luò)交換設(shè)備,而在TCP/IP協(xié)議中和主機(jī)操作系統(tǒng)中存在大量的漏洞,況且網(wǎng)絡(luò)的使用者的誤用(misuse)也時(shí)有發(fā)生,這就使得網(wǎng)絡(luò)正常流量模型的建立存在很大的難度。為達(dá)到保障子網(wǎng)的正常運(yùn)行的最終目的,在本系統(tǒng)中,采用下列方式來(lái)建立多層次的網(wǎng)絡(luò)流量模型:
(1)會(huì)話正常行為模型。根據(jù)IP報(bào)文的五元組(源地址、源端口、目的地址、目的端口和協(xié)議),TCP和UDP報(bào)文可以構(gòu)成流(flow)或偽流(pseudo-flow)。兩個(gè)五元組中源和目的相反的流可以構(gòu)成一個(gè)會(huì)話。由于ICMP的特殊性,對(duì)于ICMP的報(bào)文,分別進(jìn)行處理:ICMP(query)消息構(gòu)成獨(dú)立會(huì)話,而ICMP錯(cuò)誤(error)消息則根據(jù)報(bào)文中包含的IP報(bào)頭映射到由IP報(bào)頭所制定的會(huì)話中去。每一類協(xié)議(TCP/UDP/ICMP)的正常行為由一個(gè)有限狀態(tài)及刻畫。在這個(gè)狀態(tài)機(jī)中,如果一個(gè)事件的到來(lái)導(dǎo)致了錯(cuò)誤狀態(tài)的出現(xiàn),那么和狀態(tài)機(jī)關(guān)聯(lián)的計(jì)數(shù)器對(duì)錯(cuò)誤累加。協(xié)議狀態(tài)機(jī)是一種相對(duì)嚴(yán)格的行為模型,累加的錯(cuò)誤計(jì)數(shù)本身并不一定代表發(fā)現(xiàn)了攻擊行為。
(2)流量規(guī)則特征模型。在正常的網(wǎng)絡(luò)流量中,存在著穩(wěn)定的規(guī)則特征。比如一個(gè)IP收到和發(fā)出的含SYN標(biāo)志位和含F(xiàn)IN標(biāo)志位的報(bào)文的比值、一個(gè)IP的出度和入度的比值以及一個(gè)IP的平均會(huì)話錯(cuò)誤數(shù)等。這些網(wǎng)絡(luò)不變量是檢驗(yàn)在一定時(shí)間區(qū)間內(nèi),一個(gè)IP是否行為異常的標(biāo)準(zhǔn)之一。這個(gè)模型要求對(duì)會(huì)話表中的會(huì)話摘要(一個(gè)含有會(huì)話特征的向量)進(jìn)行匯聚,在會(huì)話正常行為模型基礎(chǔ)上增加攻擊行為判斷的準(zhǔn)確程度。
(3)網(wǎng)絡(luò)流量關(guān)聯(lián)模型。把一些流量特征(如字節(jié)數(shù)、報(bào)文數(shù)、會(huì)話錯(cuò)誤數(shù)等)在一定時(shí)間區(qū)間內(nèi)的累加值記錄下來(lái),可以看作時(shí)間序列。通過(guò)對(duì)序列的分析,可以找到長(zhǎng)期的均值、方差、周期、趨勢(shì)等特征。當(dāng)攻擊行為發(fā)生時(shí),觀察到的一些流量特征會(huì)偏離其長(zhǎng)期特征。這種特征偏離的相關(guān)性就提供了判斷是否攻擊已發(fā)生的一個(gè)依據(jù)。
三、大規(guī)模流量異常檢測(cè)框架
異常檢測(cè)通常需要描述正常網(wǎng)絡(luò)行為,網(wǎng)絡(luò)行為模型越準(zhǔn)確,異常檢測(cè)算法效果越好。在大規(guī)模流量異常檢測(cè)中通常通過(guò)網(wǎng)絡(luò)探針了解單個(gè)實(shí)體或結(jié)點(diǎn)的行為來(lái)推測(cè)整個(gè)網(wǎng)絡(luò)行為,基于網(wǎng)絡(luò)斷層成像(network tomography)思想通過(guò)使用探針測(cè)量推斷網(wǎng)絡(luò)特征,這是檢測(cè)非協(xié)作(noncooperative)網(wǎng)絡(luò)異常和非直接管理控制網(wǎng)絡(luò)異常的有效手段。對(duì)于單個(gè)管理域,基于實(shí)體研究可以向網(wǎng)絡(luò)管理者提供有用信息,例如網(wǎng)絡(luò)拓?fù)洹T趩蝹€(gè)結(jié)點(diǎn)使用一些基本的網(wǎng)絡(luò)設(shè)計(jì)和流量描述的方法,可以檢測(cè)網(wǎng)絡(luò)異常和性能瓶頸。然后觸發(fā)網(wǎng)絡(luò)管理系統(tǒng)的告警和恢復(fù)機(jī)制。為了對(duì)大規(guī)模網(wǎng)絡(luò)的性能和行為有一個(gè)基本的了解,需要收集和處理大量網(wǎng)絡(luò)信息。有時(shí),全局網(wǎng)絡(luò)性能信息不能直接獲得,只有綜合所獲得的本地網(wǎng)絡(luò)信息才能對(duì)全局網(wǎng)絡(luò)行為有個(gè)大致的了解。因?yàn)椴淮嬖跍?zhǔn)確的正常網(wǎng)絡(luò)操作的統(tǒng)計(jì)模型,使得難以描述異常網(wǎng)絡(luò)模型的統(tǒng)計(jì)行為,也沒有單個(gè)變量或參數(shù)能包括正常網(wǎng)絡(luò)功能的各個(gè)方面。需要從多個(gè)統(tǒng)計(jì)特征完全不同的矩陣中合成信息的問(wèn)題。為解決該問(wèn)題,有人提出利用操作矩陣關(guān)聯(lián)單個(gè)參數(shù)信息。但導(dǎo)致算法的計(jì)算復(fù)雜度較高,為了滿足異常檢測(cè)的實(shí)時(shí)性要求,本文關(guān)聯(lián)本地和全局?jǐn)?shù)據(jù)檢測(cè)網(wǎng)絡(luò)異常。盡管本章利用行為模型對(duì)IP Forwarding異常進(jìn)行檢測(cè),但該方法并不僅限于檢測(cè)本地異常。通過(guò)關(guān)聯(lián)多條網(wǎng)絡(luò)鏈路的時(shí)間序列數(shù)據(jù),也可以檢測(cè)類似于空間的網(wǎng)絡(luò)異常。因此,該方法可以擴(kuò)展到其他類型的大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)和其他大規(guī)模網(wǎng)絡(luò)異常。
參考文獻(xiàn):
中圖分類號(hào): TN711?34; TP393 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2017)09?0093?03
Abstract: With the development of information technology, the peer?to?peer (P2P) network information traffic often deviates from the normal range. The detection technology for P2P traffic detection and abnormal traffic is studied on the basis of the decision tree algorithm. The P2P traffic detection model based on improved C4.5 decision tree is used to train the massive training datasets by means of the P2P anomaly traffic detection model to modify the error gradually. The simulation test in laboratory was performed. The P2P network traffic classifier based on improved C4.5 decision tree has perfect classification effect after selecting the characteristics of the network traffic. The classification detection rate is 94.6%~96.7%, which shows that the improved C4.5 decision tree algorithm can detect the P2P traffic effectively, and provide the reference for studying the P2P anomaly traffic detection technology in future.
Keywords: P2P; traffic information; abnormal structure; decision tree; detection technology
0 引 言
目前,S著信息技術(shù)的發(fā)展,對(duì)等網(wǎng)絡(luò)(P2P)信息流量增長(zhǎng)越來(lái)越快[1?3]。根據(jù)國(guó)內(nèi)互聯(lián)網(wǎng)流量模式報(bào)告顯示,在整個(gè)互聯(lián)網(wǎng)流量中,P2P流量占到70%左右[4]。近年來(lái),經(jīng)常出現(xiàn)網(wǎng)絡(luò)流量偏離正常范圍的異常情況,導(dǎo)致流量出現(xiàn)異常主要是由惡意網(wǎng)絡(luò)攻擊造成的,如DOS攻擊、蠕蟲傳播、僵尸網(wǎng)絡(luò)等攻擊,同時(shí)由于網(wǎng)絡(luò)偶發(fā)性線路中斷、配置失誤也會(huì)引起流量的異常,這就會(huì)造成網(wǎng)絡(luò)服務(wù)質(zhì)量下降,嚴(yán)重時(shí)會(huì)直接導(dǎo)致網(wǎng)絡(luò)癱瘓[5]。
P2P大量占用互聯(lián)網(wǎng)帶寬,影響用戶上網(wǎng)正常運(yùn)行,檢測(cè)管控P2P流量是網(wǎng)絡(luò)管理難題[6]。因而在大規(guī)模網(wǎng)絡(luò)環(huán)境中,對(duì)網(wǎng)絡(luò)異常進(jìn)行檢測(cè),同時(shí)對(duì)網(wǎng)絡(luò)異常提供預(yù)警信息,對(duì)維護(hù)網(wǎng)絡(luò)正常運(yùn)行意義十分重大[7]。本文以決策樹算法為基礎(chǔ),對(duì)P2P流量檢測(cè)和流量異常時(shí)的檢測(cè)技術(shù)進(jìn)行研究。
1 對(duì)等網(wǎng)絡(luò)P2P概況
對(duì)等網(wǎng)絡(luò)P2P實(shí)質(zhì)上屬于分布式網(wǎng)絡(luò),參與者均可共享使用公共部分的一些硬件資源,如硬件處理和存儲(chǔ)能力,共享資源的服務(wù)、內(nèi)容由網(wǎng)絡(luò)提供,節(jié)點(diǎn)可對(duì)這些資源進(jìn)行直接訪問(wèn),不需要經(jīng)過(guò)任何中間實(shí)體。P2P最具有代表性的應(yīng)用是進(jìn)行文件共享,同時(shí)P2P的共享還有P2P計(jì)算、P2P形式的通信網(wǎng)絡(luò)等。P2P與客戶/服務(wù)器模型的區(qū)別是網(wǎng)絡(luò)中節(jié)點(diǎn)可對(duì)其他節(jié)點(diǎn)資源或服務(wù)進(jìn)行獲取,還可提供資源或服務(wù),這是P2P的基本思想。在P2P網(wǎng)絡(luò)中,每個(gè)節(jié)點(diǎn)具有對(duì)等的權(quán)利、義務(wù)、服務(wù)、通信、資源消費(fèi)。
2 P2P流量監(jiān)控系統(tǒng)結(jié)構(gòu)
P2P流量監(jiān)控系統(tǒng)功能包括檢測(cè)網(wǎng)絡(luò)流量、控制網(wǎng)絡(luò)流量?jī)刹糠?。?duì)網(wǎng)絡(luò)流量進(jìn)行控制的前提是準(zhǔn)確檢測(cè)網(wǎng)絡(luò)流量。在進(jìn)行流量檢測(cè)時(shí),流量特征和協(xié)議特征要進(jìn)行相互匹配,在未知流量匹配上以后,對(duì)其分類才能進(jìn)行識(shí)別,P2P流量檢測(cè)中必須具有協(xié)議特征庫(kù)的建立。同時(shí),進(jìn)行流量控制操作必須具備前臺(tái)管理界面,以便進(jìn)行人機(jī)交互、流量控制策略的下發(fā)、流量識(shí)別結(jié)果的觀察等,并在數(shù)據(jù)庫(kù)中存儲(chǔ)檢測(cè)結(jié)果、控制策略信息、協(xié)議特征等,P2P流量監(jiān)控系統(tǒng)整體結(jié)構(gòu)如圖1所示。
P2P流量監(jiān)控系統(tǒng)工作流程:首先對(duì)網(wǎng)絡(luò)應(yīng)用流量數(shù)據(jù)進(jìn)行全面采集,其次是建立協(xié)議特征庫(kù),對(duì)數(shù)據(jù)報(bào)文進(jìn)行離線分析,同時(shí)提取其特征碼,并建立協(xié)議特征庫(kù)。然后檢測(cè)網(wǎng)絡(luò)流量,對(duì)經(jīng)過(guò)流量監(jiān)控系統(tǒng)的未知流量,通過(guò)匹配算法將未知流量特征與協(xié)議規(guī)則相匹配,如匹配成功,則作為該協(xié)議識(shí)別給流量。最后對(duì)已識(shí)別流量進(jìn)行控制操作,完成阻斷訪問(wèn)、限制流量速率。
3 基于監(jiān)督的機(jī)器學(xué)習(xí)P2P流量識(shí)別算法
基于監(jiān)督的機(jī)器學(xué)習(xí)P2P流量識(shí)別算法需要訓(xùn)練數(shù)據(jù),訓(xùn)練主要有兩步:訓(xùn)練進(jìn)行集中學(xué)習(xí),然后進(jìn)行構(gòu)造分類模型的測(cè)試;采用訓(xùn)練階段模型進(jìn)行未知數(shù)據(jù)的分類,計(jì)算識(shí)別準(zhǔn)確率,令訓(xùn)練集為:
式中:表示輸出類值。
在訓(xùn)練集中,找出輸入和輸出間的關(guān)系函數(shù),這就是分類的目的,通過(guò)函數(shù),輸入可輸出得到基于監(jiān)督的機(jī)器學(xué)習(xí)P2P流量識(shí)別分類器如圖2所示。
監(jiān)督學(xué)習(xí)是訓(xùn)練決策樹最常見的技術(shù)之一。這種決策樹技術(shù)對(duì)事先確定分類系統(tǒng)給出的信息高度依賴。對(duì)于決策樹來(lái)說(shuō),可通過(guò)分類系統(tǒng)辨別哪類屬性提供的信息最多,可用決策樹解決分類系統(tǒng)問(wèn)題。
4 算法設(shè)計(jì)
4.1 C4.5多決策樹分類算法
經(jīng)過(guò)數(shù)據(jù)預(yù)處理模塊,訓(xùn)練數(shù)據(jù)集生成決策樹可處理屬性的二維表形式。設(shè)訓(xùn)練數(shù)據(jù)集全部屬性集合為。整個(gè)屬性集PE,分成個(gè)小屬性集,每個(gè)小屬性集各自獨(dú)立。屬性所有不同取值集合為。生成的棵決策樹為,數(shù)據(jù)分類為。表示數(shù)據(jù)集合,集合中第條記錄用表示。表示訓(xùn)練數(shù)據(jù)及測(cè)試數(shù)據(jù),第條記錄用表示。系統(tǒng)分辨矩陣用對(duì)角矩陣表示,每項(xiàng)定義如下:
4.2 P2P流量異常檢測(cè)
P2P流量異常檢測(cè)的實(shí)質(zhì)是通過(guò)訓(xùn)練大量數(shù)據(jù),逐步對(duì)錯(cuò)誤進(jìn)行修正,形成精確預(yù)測(cè)模型。決策樹建立完后進(jìn)行數(shù)據(jù)集訓(xùn)練。訓(xùn)練數(shù)據(jù)集為TA,保存經(jīng)過(guò)某節(jié)點(diǎn)P2P類訓(xùn)練數(shù)據(jù)的數(shù)量為;保存經(jīng)過(guò)該節(jié)點(diǎn)類訓(xùn)練數(shù)據(jù)的數(shù)量為。
4.3 P2P屬性關(guān)鍵度決策樹分類算法
決策樹生成后,經(jīng)訓(xùn)練后,形成檢測(cè)模型,原始TCP/IP數(shù)據(jù)包被從網(wǎng)絡(luò)上截獲,經(jīng)過(guò)數(shù)據(jù)預(yù)處理后,TCP/IP數(shù)據(jù)由每棵子決策樹對(duì)其進(jìn)行判斷,對(duì)判斷結(jié)果進(jìn)行加權(quán)處理,得到最優(yōu)結(jié)果。第棵子決策樹用表示,存儲(chǔ)內(nèi)部節(jié)點(diǎn)數(shù)據(jù)訓(xùn)練的P2P類統(tǒng)計(jì)數(shù),存儲(chǔ)內(nèi)部節(jié)點(diǎn)數(shù)據(jù)訓(xùn)練的類統(tǒng)計(jì)數(shù),第棵子決策樹比率用表示,數(shù)據(jù)包在整個(gè)屬性集的比率用表示,關(guān)鍵度多決策樹分類算法流程圖如圖3所示。
根據(jù)屬性差異,可建立棵子決策樹,綜合考慮全部子決策樹屬性對(duì)分類的影響,能對(duì)整個(gè)問(wèn)題進(jìn)行較好地反映,可使誤報(bào)率降低,檢測(cè)率提高。
5 仿真實(shí)驗(yàn)
本文的實(shí)驗(yàn)數(shù)據(jù)通過(guò)試驗(yàn)室仿真試驗(yàn)得到,仿真試驗(yàn)采用的軟件為Sniffer,在實(shí)驗(yàn)室PC(CPU為Athlon64 X2;雙核處理器4000+2.11 GHz;內(nèi)存2 GB)對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行實(shí)時(shí)采集。在訓(xùn)練分類器實(shí)驗(yàn)中,采用定時(shí)定量的P2P流量Data1,Data1數(shù)據(jù)量較小,實(shí)驗(yàn)數(shù)據(jù)集見表1。
在測(cè)試分類器實(shí)驗(yàn)中,采用Data2~Data5對(duì)虛警率、漏警率進(jìn)行嚴(yán)格測(cè)試,實(shí)驗(yàn)數(shù)據(jù)集見表2。
由表2可以看出,選擇網(wǎng)絡(luò)流量特征后,基于改進(jìn)的C4.5決策樹的P2P網(wǎng)絡(luò)流量分類器能實(shí)現(xiàn)較好的分類效果,分類檢測(cè)率在94.6%~96.7%。
6 結(jié) 語(yǔ)
本文以決策樹算法為基礎(chǔ),對(duì)P2P流量檢測(cè)和流量異常時(shí)的檢測(cè)技術(shù)進(jìn)行研究。通過(guò)試驗(yàn)室仿真試驗(yàn),選擇網(wǎng)絡(luò)流量特征后,基于改進(jìn)的C4.5決策樹的P2P網(wǎng)絡(luò)流量分類器能實(shí)現(xiàn)較好的分類效果,分類檢測(cè)率在94.6%~96.7%,較高的檢測(cè)率說(shuō)明采用改進(jìn)的C4.5決策樹算法能有效地對(duì)P2P流量進(jìn)行檢測(cè),為今后研究P2P流量異常檢測(cè)技術(shù)提供了參考。
參考文獻(xiàn)
[1] 柴琦,曹旭東,王洪蕾,等.P2P流量監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)[J].電子設(shè)計(jì)工程,2016,24(11):64?67.
[2] 謝生鋒.基于數(shù)據(jù)挖掘的P2P流量檢測(cè)技術(shù)研究[J].計(jì)算機(jī)與網(wǎng)絡(luò),2015(13):71?73.
[3] 閆佳,應(yīng)凌云,劉海峰,等.結(jié)構(gòu)化對(duì)等網(wǎng)測(cè)量方法研究[J].軟件學(xué)報(bào),2014,25(6):1301?1315.
[4] 王菁菁,林琛,陳珂,等.基于MapReduce的Flash P2P VoD系統(tǒng)異常監(jiān)測(cè)[J].廈門大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,52(4):459?465.
隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡(luò)技術(shù)廣泛應(yīng)用于生活中,許多公共場(chǎng)所布設(shè)移動(dòng)WiFi接入點(diǎn),為人們獲取信息提供便捷條件。人們應(yīng)用網(wǎng)絡(luò)服務(wù)時(shí)將個(gè)人信息、銀行賬戶等敏感數(shù)據(jù)存儲(chǔ)到網(wǎng)絡(luò)中,重要數(shù)據(jù)傳遞帶來(lái)安全隱患造成網(wǎng)絡(luò)安全問(wèn)題突出。本文利用云計(jì)算技術(shù)對(duì)大數(shù)據(jù)下網(wǎng)絡(luò)異常流量進(jìn)行檢測(cè),并測(cè)試檢測(cè)效果。
1大數(shù)據(jù)下網(wǎng)絡(luò)異常流量檢測(cè)方法研究
光纖網(wǎng)絡(luò)利用光在玻璃纖維實(shí)現(xiàn)光波通信,大數(shù)據(jù)集成調(diào)度,然后通過(guò)交換機(jī)分配IP。光纖通信傳輸距離遠(yuǎn),云計(jì)算環(huán)境通過(guò)波分復(fù)用技術(shù)使光強(qiáng)度變化,通信中受到干擾導(dǎo)致通信信道配置失衡,需要對(duì)云計(jì)算光纖網(wǎng)絡(luò)大數(shù)據(jù)異常負(fù)載優(yōu)化檢測(cè),提高網(wǎng)絡(luò)通信的輸出保真性[1]。云計(jì)算光纖網(wǎng)絡(luò)中大數(shù)據(jù)異常負(fù)載檢測(cè)模型研究需要提取大數(shù)據(jù)負(fù)載異常特征,實(shí)現(xiàn)異常負(fù)載檢測(cè)。
2網(wǎng)絡(luò)異常數(shù)據(jù)檢測(cè)大數(shù)據(jù)分析平臺(tái)
網(wǎng)絡(luò)異常流量分為DDoS、NetworkScan等類型,異常流量類型可從目的IP地址、源IP地址、字節(jié)數(shù)等特征區(qū)分[2]。DDos異常流量可通過(guò)特征二四五七檢測(cè);NetworkScan異常流量可采用多個(gè)網(wǎng)絡(luò)地址對(duì)主機(jī)端口掃描動(dòng)作;FlashCrowd異常流量由異常用戶對(duì)訪問(wèn)資源申請(qǐng)動(dòng)作。本文以影響網(wǎng)絡(luò)安全異常流量檢測(cè)為研究?jī)?nèi)容,運(yùn)用現(xiàn)有數(shù)據(jù)樣本對(duì)建立檢測(cè)模型訓(xùn)練,對(duì)訓(xùn)練后識(shí)別分析模型檢驗(yàn)[3]。研究異常流量類型包括U2R攻擊類型、Probing攻擊類型等,需要對(duì)數(shù)據(jù)特征提取分析,對(duì)入侵事件進(jìn)行分類[4]。應(yīng)用多種入侵事件特征數(shù)據(jù),包括離散不間斷協(xié)議、離散常規(guī)行為、離散接點(diǎn)狀態(tài)、不間斷數(shù)據(jù)源到目標(biāo)數(shù)據(jù)比特?cái)?shù)、持續(xù)創(chuàng)建新文件個(gè)數(shù)等。為避免兩種衡量標(biāo)準(zhǔn)相互干擾,需對(duì)離散數(shù)據(jù)采用連續(xù)化操作。云計(jì)算平臺(tái)迅速占領(lǐng)市場(chǎng),目前應(yīng)用廣泛的是Apache開源分布式平臺(tái)Hadoop,Hadoop云計(jì)算平臺(tái)由文件系統(tǒng)、分布式并行計(jì)算等部分組成[5]。MapReduce將傳統(tǒng)數(shù)據(jù)處理任務(wù)分為多個(gè)任務(wù),提高計(jì)算效率(見圖1)。MapReduce編程核心內(nèi)容是對(duì)Map函數(shù)進(jìn)行特定動(dòng)作定義,Map核心任務(wù)是對(duì)數(shù)據(jù)值讀取,InputFormat類將輸入樣本轉(zhuǎn)換為key/value對(duì)。發(fā)現(xiàn)tasktracker模塊處于空閑狀態(tài),平臺(tái)把相應(yīng)數(shù)據(jù)Split分配到Map動(dòng)作中,采用createRecordReader法讀取數(shù)據(jù)信息,tasktracker處于工作狀態(tài)程序進(jìn)入等待。
3大數(shù)據(jù)分析模型
隨著待處理數(shù)據(jù)規(guī)模劇增,單臺(tái)計(jì)算機(jī)處理數(shù)據(jù)速度過(guò)于緩慢,云計(jì)算系統(tǒng)以Hadoop為平臺(tái)基礎(chǔ),提高計(jì)算效率?;贖adoop平臺(tái)對(duì)網(wǎng)絡(luò)異常流量操作,向平臺(tái)提交網(wǎng)絡(luò)流量檢測(cè)請(qǐng)求,工程JAR包運(yùn)行,通過(guò)JobClient指令把作業(yè)發(fā)送到JobTracker中,從HDFS中獲取作業(yè)分類情況。JobTracker模塊執(zhí)行任務(wù)初始化操作,運(yùn)用作業(yè)調(diào)度器可實(shí)現(xiàn)對(duì)任務(wù)調(diào)度動(dòng)作。任務(wù)分配后進(jìn)入Map階段,所需數(shù)據(jù)在本地磁盤中進(jìn)行存儲(chǔ),依靠計(jì)算機(jī)Java虛擬機(jī)執(zhí)行實(shí)現(xiàn)JAR文件加載,TaskTracker對(duì)作業(yè)任務(wù)處理,需要對(duì)文件庫(kù)網(wǎng)絡(luò)流量特征測(cè)試,Map動(dòng)作結(jié)果在本地計(jì)算機(jī)磁盤中存儲(chǔ)。系統(tǒng)獲得Map動(dòng)作階段計(jì)算結(jié)果后對(duì)網(wǎng)絡(luò)流量分類,中間結(jié)果鍵值相同會(huì)與對(duì)應(yīng)網(wǎng)絡(luò)流量特征向量整合,ReduceTask模塊對(duì)MapTask輸出結(jié)果排序。Reduce動(dòng)作完成后,操作者通過(guò)JobTracker模塊獲取任務(wù)運(yùn)行結(jié)果參數(shù),刪除Map動(dòng)作產(chǎn)生相應(yīng)中間數(shù)據(jù)。BP神經(jīng)網(wǎng)絡(luò)用于建立網(wǎng)絡(luò)流量檢測(cè)模型,MapReduce平臺(tái)具有高效計(jì)算優(yōu)勢(shì),最優(yōu)參數(shù)結(jié)果獲得需多次反復(fù)計(jì)算優(yōu)化,MapReduce平臺(tái)單詞不能實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算任務(wù),采用BP神經(jīng)網(wǎng)絡(luò)算法建立網(wǎng)絡(luò)流量檢測(cè)模型會(huì)加長(zhǎng)計(jì)算時(shí)間。本文采用支持向量機(jī)算法建立網(wǎng)絡(luò)流量檢測(cè)模型。支持向量機(jī)以統(tǒng)計(jì)學(xué)理論為基礎(chǔ),達(dá)到經(jīng)驗(yàn)風(fēng)險(xiǎn)最小目的,算法可實(shí)現(xiàn)從少數(shù)樣本中獲得最優(yōu)統(tǒng)計(jì)規(guī)律。設(shè)定使用向量機(jī)泛化能力訓(xùn)練樣本為(xi,yi),i=1,2,…,I,最優(yōu)分類平面為wx+b=0,簡(jiǎn)化為s.t.yi(w?xi+b)-1≥0,求解問(wèn)題最優(yōu)決策函數(shù)f(x)=sgn[∑i=1lyiai(x?xi)+b],支持向量SVM把樣本x轉(zhuǎn)化到特定高維空間H,對(duì)應(yīng)最優(yōu)決策函數(shù)處理為f(x)=sgn[∑i=1lyiaiK(x?xi)+b]。云計(jì)算Hadoop平臺(tái)為建立網(wǎng)絡(luò)異常流量檢測(cè)模型提供便捷。MapReduce模型通過(guò)Reduce獲得整體支持向量AIISVs,通過(guò)Reduce操作對(duì)SVs收集,測(cè)試操作流量先運(yùn)用Map操作對(duì)測(cè)試數(shù)據(jù)子集計(jì)算,運(yùn)用Reduce操作對(duì)分量結(jié)果Rs統(tǒng)計(jì)。
4仿真實(shí)驗(yàn)分析
為測(cè)試實(shí)現(xiàn)云計(jì)算光纖網(wǎng)絡(luò)大數(shù)據(jù)異常負(fù)載檢測(cè)應(yīng)用性能,采用MATLAB7進(jìn)行負(fù)載檢測(cè)算法設(shè)計(jì)進(jìn)行云計(jì)算光纖網(wǎng)絡(luò)中大數(shù)據(jù)異常負(fù)載檢測(cè),數(shù)據(jù)樣本長(zhǎng)度為1024,網(wǎng)絡(luò)傳輸信道均衡器階數(shù)為24,迭代步長(zhǎng)為0.01。采用時(shí)頻分析法提取異常負(fù)載統(tǒng)計(jì)特征量進(jìn)行大數(shù)據(jù)異常負(fù)載檢測(cè),重疊干擾得到有效抑制。采用不同方法進(jìn)行負(fù)載異常檢測(cè),隨著干擾信噪比增大,檢測(cè)的準(zhǔn)確性提高。所以設(shè)計(jì)的方法可以有效檢測(cè)大數(shù)據(jù)中異常負(fù)載,并且輸出誤碼率比傳統(tǒng)方法降低。單機(jī)網(wǎng)絡(luò)異常流量檢測(cè)平臺(tái)使用相同配置計(jì)算機(jī),調(diào)取實(shí)測(cè)數(shù)據(jù)為檢驗(yàn)訓(xùn)練源數(shù)據(jù),選取典型異常流量200條數(shù)據(jù)樣本用于測(cè)試訓(xùn)練。采用反饋率參量衡量方法好壞,表達(dá)式為precision=TP/FP+FN×100%,其中,F(xiàn)N為未識(shí)別動(dòng)作A特征樣本數(shù)量;TP為準(zhǔn)確識(shí)別動(dòng)作A特征樣本數(shù)量;FP為錯(cuò)誤識(shí)別動(dòng)作A特征樣本數(shù)量。提出檢測(cè)方法平均準(zhǔn)確率提高17.08%,具有較好檢測(cè)性能。對(duì)提出網(wǎng)絡(luò)異常流量檢測(cè)方法進(jìn)行檢測(cè)耗時(shí)對(duì)比,使用提出網(wǎng)絡(luò)異常流量檢測(cè)方法耗時(shí)為常規(guī)方法的8.81%,由于使用檢測(cè)方法建立在大數(shù)據(jù)云計(jì)算平臺(tái),將檢測(cè)任務(wù)分配給多個(gè)子任務(wù)計(jì)算平臺(tái)。使用KDDCUP99集中的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)異常流量檢測(cè)分析,選取R2L攻擊,Probing攻擊異常流量數(shù)據(jù)用于檢測(cè)分析,采用準(zhǔn)確率參數(shù)衡量檢測(cè)方法宏觀評(píng)價(jià)網(wǎng)絡(luò)流量檢測(cè)識(shí)別方法:r=TP/FP+FN×100%。使用單機(jī)平臺(tái)下SVM算法建立網(wǎng)絡(luò)異常檢測(cè)模型對(duì)比分析,本文研究檢測(cè)模型平均識(shí)別率為68.5%,研究網(wǎng)絡(luò)異常流量檢測(cè)模型檢測(cè)準(zhǔn)確率提高28.3%。多次試驗(yàn)對(duì)比檢測(cè)耗時(shí),使用本文提出網(wǎng)絡(luò)異常流量檢測(cè)耗時(shí)較短。
【參考文獻(xiàn)】
[1]林昕,呂峰,姜亞光,等.網(wǎng)絡(luò)異常流量智能感知模型構(gòu)建[J].工業(yè)技術(shù)創(chuàng)新,2021(3):7-14.
[2]武海龍,武海艷.云計(jì)算光纖網(wǎng)絡(luò)中大數(shù)據(jù)異常負(fù)載檢測(cè)模型[J].激光雜志,2019(6):207-211.
[3]農(nóng)婷.大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)流量異常檢測(cè)研究[J].科技風(fēng),2019(17):84.
中圖分類號(hào):TP368 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-9416(2012)07-0028-02
智能交通系統(tǒng)通過(guò)實(shí)時(shí)、準(zhǔn)確、高效和多方位的檢測(cè)監(jiān)控設(shè)備,檢測(cè)有關(guān)車道占有率、車流量、行車速度等交通流量信息,利用有線以及無(wú)線通信網(wǎng)絡(luò)傳輸檢測(cè)數(shù)據(jù)信息,使得交通主管部門能夠詳實(shí)的數(shù)據(jù),處理交通流量數(shù)據(jù),充分發(fā)揮現(xiàn)有交通基礎(chǔ)設(shè)施潛力,改善交通安全以及緩解交通擁擠,提高整個(gè)路網(wǎng)的運(yùn)輸效率和通行能力;既能夠降低油耗,減少?gòu)U氣排放,降低、對(duì)環(huán)境的污染[2],又能夠提高交通出行的方便性、安全性,節(jié)約運(yùn)輸成本,提高社會(huì)效益和經(jīng)濟(jì)效益。
1、交通流量檢測(cè)技術(shù)
交通流量檢測(cè)是智能交通系統(tǒng)的基礎(chǔ)部分,其在交通監(jiān)控、交通誘導(dǎo)、交通應(yīng)急指揮等研究應(yīng)用中占有很重要的地位。主要是通過(guò)各種檢測(cè)設(shè)備對(duì)路面行駛車輛進(jìn)行探測(cè),獲取相關(guān)交通參數(shù),包括各車道的車流量、車道占有率,車速、車型、車頭時(shí)距等,以達(dá)到對(duì)公路各路段交通狀況及異常事件的自動(dòng)檢測(cè)、監(jiān)控、報(bào)警等目的。交通流量檢測(cè)方式一種是接觸式[3][4],其主要分為壓電、壓力管探測(cè)、環(huán)行線圈探測(cè)和磁力式探測(cè),其特點(diǎn)是埋藏在路面之下,當(dāng)汽車經(jīng)過(guò)采集裝置上方時(shí)會(huì)引起相應(yīng)的壓力、電場(chǎng)或磁場(chǎng)的變化,最后采集裝置將這些力和場(chǎng)的變化轉(zhuǎn)換為所需要的交通信息;另一種是非接觸式[5],主要分為微波、超聲波和紅外、和視頻探測(cè)等,除了超聲波探測(cè)只能進(jìn)行單車道交通信息采集外,其余都可同時(shí)進(jìn)行多車道交通信息采集,其安裝維護(hù)簡(jiǎn)單,發(fā)展非常迅速。
2、交通流量檢測(cè)需求分析
智能交通系統(tǒng)應(yīng)用了計(jì)算機(jī)技術(shù)、信息技術(shù)、通信技術(shù)和控制技術(shù)等新技術(shù),把人、車、路緊密聯(lián)系起來(lái),通過(guò)對(duì)交通流信息進(jìn)行實(shí)時(shí)檢測(cè),掌握道路交通的運(yùn)行情況,根據(jù)交通流的動(dòng)態(tài)變化,迅速做出交通誘導(dǎo)控制,不僅有效的解決了交通阻塞問(wèn)題,而且對(duì)交通事故的應(yīng)急處理、環(huán)境的保護(hù)、能源的節(jié)約都有顯著的效果。它是以交通指揮中心為主體,并隨著科技發(fā)展和管理方法的改進(jìn)在不斷完善中。交通流量檢測(cè)系統(tǒng)和通信系統(tǒng)是智能交通系統(tǒng)的關(guān)鍵。交通流量檢測(cè)系統(tǒng)主要完成提取流量數(shù)據(jù)所需的原始信息的采集工作,可通過(guò)地感線圈、激光、紅外或視頻方法,檢測(cè)與識(shí)別交通流、路況等實(shí)時(shí)監(jiān)視,提取交通流信息(車流量、車道占有率、車速等);通信系統(tǒng)是數(shù)據(jù)采集和數(shù)據(jù)處理的橋梁,它是將原始數(shù)據(jù)信息通過(guò)有線網(wǎng)絡(luò)或是無(wú)線網(wǎng)絡(luò)傳輸?shù)浇煌ūO(jiān)控中心,監(jiān)控中心處理原始數(shù)據(jù),進(jìn)而對(duì)得到的信息進(jìn)行進(jìn)一步地分析,判斷該路段的交通擁塞狀況,監(jiān)督異常事故的發(fā)生,在交通擁擠未發(fā)生時(shí)交通信息,及時(shí)采取分流措施,疏導(dǎo)交通,防止交通擁擠發(fā)生。智能交通系統(tǒng)的結(jié)構(gòu)圖如圖1所示。
目前智能交通系統(tǒng)中使用的有線傳輸主要采用標(biāo)準(zhǔn)RS-232或是光纖通信等,在距離監(jiān)控中心較遠(yuǎn)且供電不便利的重點(diǎn)路段、橋隧等地區(qū),或者一些臨時(shí)性的設(shè)備通信,傳統(tǒng)的有線連接便顯得十分不方便,因此希望以一種低成本、高可靠性的無(wú)線傳輸方案來(lái)代替?zhèn)鹘y(tǒng)的有線方式。3G網(wǎng)絡(luò)技術(shù)可以方便實(shí)現(xiàn)設(shè)備之間的無(wú)線連接,具有低成本、低功耗、高速率、組網(wǎng)靈活等特點(diǎn),其通信架設(shè)方便,供電可以采用蓄電池或太陽(yáng)能電池板等,是實(shí)現(xiàn)無(wú)線數(shù)據(jù)采集系統(tǒng)的理想選擇。
3、3G網(wǎng)絡(luò)技術(shù)傳輸架構(gòu)
第三代移動(dòng)通信技術(shù)(3rd-generation,3G)[6],主要是支持高速數(shù)據(jù)傳輸?shù)姆涓C移動(dòng)通訊技術(shù)。目前3G標(biāo)準(zhǔn)分別是WCDMA、CDMA2000和TD-SCDMA。3G網(wǎng)絡(luò)架構(gòu)由無(wú)線接入網(wǎng)絡(luò)(RAN)和核心網(wǎng)絡(luò)(CN)組成。其中,RAN用于處理所有與無(wú)線有關(guān)的功能,而CN則處理3G系統(tǒng)內(nèi)所有的話音呼叫和數(shù)據(jù)連接,并實(shí)現(xiàn)與外部網(wǎng)絡(luò)的交換和路由功能,CN從邏輯上可分為電路交換域(CS)和分組交換域(PS)。3G網(wǎng)絡(luò)分為核心網(wǎng)和接入網(wǎng),UMTS 陸地?zé)o線接入網(wǎng)(UTRAN)、CN與用戶設(shè)備(UE)一起構(gòu)成了整個(gè)無(wú)線系統(tǒng)[7],如圖2所示,體現(xiàn)出分層建設(shè)的特點(diǎn):骨干層傳輸設(shè)備位于網(wǎng)絡(luò)的骨干或核心節(jié)點(diǎn),具有大容量的業(yè)務(wù)調(diào)度功能,強(qiáng)調(diào)業(yè)務(wù)的中繼和傳送能力;接入層傳輸設(shè)備覆蓋在城域的各熱點(diǎn)地區(qū),完成業(yè)務(wù)的接入,體現(xiàn)出低成本、業(yè)務(wù)處理能力弱的特點(diǎn);匯聚層設(shè)備連接骨干層和接入層,完成MADM之間的業(yè)務(wù)整合和匯聚功能。
4、智能交通檢測(cè)系統(tǒng)架構(gòu)及連接拓?fù)鋱D
智能交通檢測(cè)系統(tǒng)的結(jié)構(gòu)分為交通信息采集系統(tǒng)、交通信息數(shù)據(jù)傳輸和交通信息處理整合審核管理三大子系統(tǒng),分為二層結(jié)構(gòu),信息數(shù)據(jù)層和信息應(yīng)用基礎(chǔ)層。具體結(jié)構(gòu)如圖3所示。
交通信息采集是整個(gè)系統(tǒng)的基石,其采集主要是通過(guò)設(shè)置在公路上交通流量檢測(cè)器、視頻監(jiān)控的信息采集設(shè)備以及其他方式,獲得真實(shí)的、可靠及時(shí)的交通流量狀況、突發(fā)事件等有關(guān)交通的信息,同時(shí)與其他相關(guān)部門的數(shù)據(jù)共享,及時(shí)動(dòng)態(tài)獲得各種信息。
交通通信系統(tǒng)是將現(xiàn)場(chǎng)的交通流量的檢測(cè)設(shè)備檢測(cè)到的信息,通過(guò)有線或者無(wú)線傳輸系統(tǒng),傳輸?shù)奖O(jiān)控中心,在那里進(jìn)行集合與整理。如距離比較近,可以采用光纖與標(biāo)準(zhǔn)RS-232等進(jìn)行傳輸;當(dāng)檢測(cè)設(shè)備距離監(jiān)控中心較遠(yuǎn),布設(shè)數(shù)據(jù)線與供電不方便處,就可以采用3G網(wǎng)絡(luò)進(jìn)行無(wú)線數(shù)據(jù)傳輸,同時(shí)采用蓄電池或是太陽(yáng)能電池板進(jìn)行供電。
交通信息處理整合是集合與整理,去偽存真,而這些是需要大量人力、物力以及先進(jìn)的網(wǎng)絡(luò)設(shè)備和技術(shù)。將與交通流量有關(guān)的信息自動(dòng)統(tǒng)計(jì)匯總,通過(guò)人工智能決策系統(tǒng),或是人工分析處理的方法,確定暢通路線、擁擠路段、交通的氣象信息等,并且存儲(chǔ)到數(shù)據(jù)庫(kù)中。
根據(jù)交通部門的對(duì)交通流量需求,對(duì)交通數(shù)據(jù)進(jìn)行采集,同時(shí)集成其他有關(guān)交通的部門有關(guān)交通流量的信息,通過(guò)無(wú)線或是3G網(wǎng)絡(luò)進(jìn)行傳輸,傳輸?shù)浇煌ūO(jiān)控指揮中心,進(jìn)而進(jìn)行數(shù)據(jù)集合和整理,其連接拓?fù)鋱D如圖4。
5、結(jié)語(yǔ)
目前,智能交通系統(tǒng)發(fā)展應(yīng)用的時(shí)期,建立和完善交通流量數(shù)據(jù)采集與傳輸系統(tǒng)來(lái)滿通出、交通管理以及應(yīng)急指揮的需要是當(dāng)務(wù)之急。隨著智能交通系統(tǒng)的實(shí)施及應(yīng)用的逐步發(fā)展,充分利用新技術(shù)先進(jìn)設(shè)備建設(shè)的高標(biāo)準(zhǔn)高質(zhì)量的3G網(wǎng)絡(luò)傳輸技術(shù),其多樣化的數(shù)據(jù)傳輸設(shè)置,有利于智能交通系統(tǒng)更大的應(yīng)用,它的建成以及所采用的各類設(shè)施設(shè)備各種技術(shù)為交通運(yùn)輸和交通管理的安全暢通發(fā)揮了十分重要的作用,將會(huì)在實(shí)際使用中取得了很好的效果,達(dá)到了預(yù)期的建設(shè)目標(biāo)。
參考文獻(xiàn)
[1]夏勁,郭紅衛(wèi).國(guó)內(nèi)外城市智能交通系統(tǒng)的發(fā)展概況與趨勢(shì)及其啟示[J].科技進(jìn)步與對(duì)策.2003年01期.P176-179.
[2]葉文進(jìn).高速公路出行綜合信息服務(wù)系統(tǒng)分析[J].中國(guó)交通信息化,2010(6):125-128.
[3]MARGRIT BETKE,ESIN HARITAOGLU, LARRY S DAVIS. Multiple Vehicle Detection and Tracking in Hard Real-Time[J].IEEE,1996,(9):351~356.
[4]JUNG SOH, BYUNG TAE CHUN, MIN WANG. Analysis of Road Image Sequences for Vehicle Counting,[J].IEEE International Conferenceon,1995,(1):679~683.
中圖分類號(hào):TP393文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2008)22-670-03
A Survey and Analysis: Network State Monitoring Technology of Campus Network
ZHU Peng
(Computer Application Department,Research Institute of Petroleum Processing,Beijing 100083,China)
Abstract:The structure of Campus Network is becoming more and more complex together with its applications. New applications appear which are sensitive to network performance. Network state monitoring is becoming more and more important for network users and researchers. The article summarizes significance and analyzes the main theory,technology of network state monitoring.
Key words:network performance; network state monitoring; SNMP; NetFlow
1 園區(qū)網(wǎng)網(wǎng)絡(luò)監(jiān)測(cè)的意義
近年來(lái),隨著各單位計(jì)算機(jī)應(yīng)用水平的整體提高、內(nèi)部園區(qū)網(wǎng)網(wǎng)絡(luò)建設(shè)的日漸完善,以及實(shí)驗(yàn)儀器設(shè)備的網(wǎng)絡(luò)自動(dòng)化程度提高和發(fā)展,越來(lái)越多的日常學(xué)習(xí)、工作和科研、實(shí)驗(yàn)活動(dòng)依賴計(jì)算機(jī)和網(wǎng)絡(luò)來(lái)開展運(yùn)行,這就要求各單位內(nèi)部的園區(qū)網(wǎng)網(wǎng)絡(luò)環(huán)境有很高的穩(wěn)定性和運(yùn)行效率,并能針對(duì)不同網(wǎng)絡(luò)內(nèi)部科研應(yīng)用需求提供相應(yīng)的網(wǎng)絡(luò)質(zhì)量保障。園區(qū)網(wǎng)連接著各個(gè)計(jì)算機(jī)、服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備及系統(tǒng)設(shè)備、試驗(yàn)裝置、儀器儀表,通過(guò)交換信息使之成為一個(gè)高效運(yùn)行的有機(jī)整體,為確保各項(xiàng)依賴園區(qū)網(wǎng)的科研活動(dòng)順利進(jìn)行,必須保障園區(qū)網(wǎng)的正常運(yùn)行和性能穩(wěn)定。
同時(shí),不斷進(jìn)行的信息化建設(shè)使得各項(xiàng)商業(yè)、科研活動(dòng)對(duì)園區(qū)網(wǎng)絡(luò)日漸依賴,這也帶來(lái)了新的信息安全隱患,如何保障網(wǎng)絡(luò)與信息系統(tǒng)的安全已經(jīng)成為需要被高度重視的問(wèn)題。隨著園區(qū)網(wǎng)內(nèi)部網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展,越來(lái)越多的攻擊和安全隱患來(lái)自于園區(qū)網(wǎng)內(nèi)部,使得傳統(tǒng)的基于網(wǎng)關(guān)的安全架構(gòu)在新一代的攻擊手段面前顯得非常脆弱。而且這些傳統(tǒng)的安全防護(hù)手段多屬于被動(dòng)形式,只能簡(jiǎn)單過(guò)濾或丟棄攻擊數(shù)據(jù),而無(wú)法在攻擊源發(fā)起攻擊時(shí)或之后的較短時(shí)間內(nèi)即時(shí)響應(yīng),將內(nèi)部網(wǎng)絡(luò)中可疑的攻擊源主機(jī)斷開,使其無(wú)法通過(guò)內(nèi)網(wǎng)連接進(jìn)行攻擊。在這種情況下,主動(dòng)對(duì)園區(qū)網(wǎng)內(nèi)部的網(wǎng)絡(luò)運(yùn)行狀態(tài)進(jìn)行監(jiān)控,并根據(jù)網(wǎng)絡(luò)流量異常信息采取相應(yīng)的質(zhì)量控制和防范乃至隔離控制,將可以成為傳統(tǒng)計(jì)算機(jī)安全技術(shù)(如網(wǎng)關(guān)防火墻)的有益補(bǔ)充。
2 園區(qū)網(wǎng)網(wǎng)絡(luò)狀態(tài)監(jiān)測(cè)技術(shù)
2.1 網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)概述
網(wǎng)絡(luò)狀態(tài)監(jiān)測(cè)是網(wǎng)絡(luò)管理和系統(tǒng)管理的一個(gè)重要組成部分,網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)為園區(qū)網(wǎng)的運(yùn)行和維護(hù)提供了重要信息,這些數(shù)據(jù)對(duì)調(diào)控網(wǎng)絡(luò)資源分布、規(guī)劃網(wǎng)絡(luò)容量、網(wǎng)絡(luò)服務(wù)質(zhì)量分析、網(wǎng)絡(luò)故障檢測(cè)與隔離、網(wǎng)絡(luò)安全管理都非常重要。目前,根據(jù)對(duì)網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)、基于SNMP的監(jiān)測(cè)技術(shù)和基于NetFlow的監(jiān)測(cè)技術(shù)三種常用技術(shù)。
2.2 基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)。
網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過(guò)交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過(guò)分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實(shí)現(xiàn)網(wǎng)絡(luò)流量的無(wú)損復(fù)制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點(diǎn)是能夠提供豐富的應(yīng)用層信息。 但采用端口流量鏡像方式將增加網(wǎng)絡(luò)設(shè)備負(fù)擔(dān),對(duì)網(wǎng)絡(luò)設(shè)備性能的影響較大。而若使用探針等附加設(shè)備實(shí)現(xiàn)流量鏡像,安裝時(shí)對(duì)網(wǎng)絡(luò)影響較大,安裝完成后雖對(duì)網(wǎng)絡(luò)設(shè)備的影響較小,但為網(wǎng)絡(luò)結(jié)構(gòu)增加了新的單點(diǎn)失效點(diǎn),在大型網(wǎng)絡(luò)環(huán)境下,可能會(huì)影響網(wǎng)絡(luò)的穩(wěn)定性。故基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)較少用于園區(qū)網(wǎng)網(wǎng)絡(luò)監(jiān)測(cè)中。
2.3 基于SNMP的流量監(jiān)測(cè)技術(shù)
簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議(SNMP)已經(jīng)成為事實(shí)上的網(wǎng)絡(luò)管理標(biāo)準(zhǔn),得到很大范圍的應(yīng)用。SNMP首先是由Internet工程任務(wù)組織(Internet Engineering Task Force)(IETF)的研究小組為了解決Internet上的路由器管理問(wèn)題而提出的。SNMP是基于TCP/IP協(xié)議的網(wǎng)絡(luò)管理標(biāo)準(zhǔn),它簡(jiǎn)單明了,占用系統(tǒng)資源少,已成為事實(shí)上的工業(yè)標(biāo)準(zhǔn)。SNMP提供了從網(wǎng)絡(luò)設(shè)備收集網(wǎng)絡(luò)管理信息的方法,并為設(shè)備提供了向網(wǎng)絡(luò)管理端報(bào)告故障和錯(cuò)誤的途徑。SNMP是協(xié)議和規(guī)范族,包括MIB(管理對(duì)象信息庫(kù))、SMI(管理信息結(jié)構(gòu))和SNM協(xié)議。同時(shí),SNMP被設(shè)計(jì)成與協(xié)議無(wú)關(guān),所以它可以在IP,IPX,AppleTalk,OSI以及其他傳輸協(xié)議上被使用。
基于SNMP的流量信息采集,實(shí)質(zhì)上是通過(guò)提取網(wǎng)絡(luò)設(shè)備Agent提供的MIB(管理對(duì)象信息庫(kù))中收集一些與具體設(shè)備及流量信息有關(guān)的變量?;赟NMP收集的網(wǎng)絡(luò)流量信息包括:輸入字節(jié)數(shù)、輸入非廣播包數(shù)、輸入廣播包數(shù)、輸入包丟棄數(shù)、輸入包錯(cuò)誤數(shù)、輸入未知協(xié)議包數(shù)、輸出字節(jié)數(shù)、輸出非廣播包數(shù)、輸出廣播包數(shù)、輸出包丟棄數(shù)、輸出包錯(cuò)誤數(shù)、輸出隊(duì)長(zhǎng)等。 基于SNMP的網(wǎng)絡(luò)流量信息采集可以以極小的代價(jià)實(shí)現(xiàn)一定程度的網(wǎng)絡(luò)流量相關(guān)信息的收集,但其收集的信息多是出于網(wǎng)絡(luò)管理的需要,無(wú)法提供足夠豐富的網(wǎng)絡(luò)流量信息。利用其實(shí)現(xiàn)網(wǎng)絡(luò)總流量的定期監(jiān)控、觀察網(wǎng)絡(luò)設(shè)備端口的流量和使用狀況可以滿足網(wǎng)絡(luò)管理的基本需求。
SNMP采用‘管理者―’模型來(lái)監(jiān)測(cè)各種可管理的網(wǎng)絡(luò)設(shè)備,利用無(wú)連接的UDP協(xié)議在管理者和之間進(jìn)行信息的傳遞。圖1勾畫出了SNMP管理者和SNMP間的通信關(guān)系。一個(gè)SNMP管理者可以向SNMP發(fā)送請(qǐng)求,讀?。℅et)或設(shè)置(Set)一個(gè)或多個(gè)MIB變量數(shù)值。SNMP可以應(yīng)答這些請(qǐng)求。除了這種交互式通信方式,SNMP還可以主動(dòng)向SNMP管理者發(fā)送通知(Trap或Inform Request)以提示管理者一個(gè)設(shè)備或網(wǎng)絡(luò)的狀態(tài)。
■
圖1 SNMP管理者與SNMP間的通信示意圖
在園區(qū)網(wǎng)網(wǎng)絡(luò)監(jiān)測(cè)中采用SNMP機(jī)制有以下優(yōu)勢(shì):1)可以隨時(shí)隨地收集網(wǎng)絡(luò)流量信息,及時(shí)獲取當(dāng)前園區(qū)網(wǎng)絡(luò)的運(yùn)行情況;2)能夠即時(shí)收集到網(wǎng)絡(luò)中大量設(shè)備的同步流量信息;3)采用方法基于IP層,不受底層網(wǎng)絡(luò)物理類型的限制;4)能夠收集到網(wǎng)絡(luò)設(shè)備自身的工作信息、端口狀態(tài)。并可根據(jù)需要遠(yuǎn)程配置修改網(wǎng)絡(luò)設(shè)備的相關(guān)參數(shù);5)基于SNMP的流量監(jiān)測(cè)所需費(fèi)用較少,對(duì)現(xiàn)有的網(wǎng)絡(luò)性能影響較小,且易于集成到各種網(wǎng)管系統(tǒng)中去。
在此基礎(chǔ)上,如果配合后臺(tái)數(shù)據(jù)庫(kù)記錄收集到的網(wǎng)絡(luò)流量、性能數(shù)據(jù),就可以實(shí)現(xiàn)對(duì)整個(gè)園區(qū)網(wǎng)絡(luò)進(jìn)行有效的監(jiān)視,并能在網(wǎng)絡(luò)發(fā)生故障時(shí)及時(shí)發(fā)現(xiàn)并通知相關(guān)人員處理,從而提高網(wǎng)絡(luò)可靠運(yùn)轉(zhuǎn)的時(shí)間,減少因網(wǎng)絡(luò)故障造成的中斷時(shí)間。
2.1.基于NetFlow的流量監(jiān)測(cè)技術(shù)
NetFlow是Cisco公司提出的一項(xiàng)網(wǎng)絡(luò)數(shù)據(jù)流統(tǒng)計(jì)標(biāo)準(zhǔn),利用NetFlow技術(shù),路由器可以輸出流經(jīng)路由的包的統(tǒng)計(jì)信息,從而監(jiān)測(cè)網(wǎng)絡(luò)上的IP 流( IP flow) 。采集到的NetFlow流量信息可以幫助進(jìn)行網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)管理、流量計(jì)費(fèi)和病毒檢測(cè)等等,NetFlow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的NetFlow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量信息采集,在此基礎(chǔ)上實(shí)現(xiàn)的流量信息采集效率和效果均能夠滿足網(wǎng)絡(luò)流量異常監(jiān)測(cè)的需求。它可以實(shí)時(shí)提取大量流量的特征,實(shí)現(xiàn)對(duì)流量的宏觀統(tǒng)計(jì)分析。目前,NetFlow技術(shù)已經(jīng)成為網(wǎng)絡(luò)設(shè)備流量信息采集事實(shí)上的標(biāo)準(zhǔn),一些大型的網(wǎng)絡(luò)設(shè)備廠商均在其主流的路由設(shè)備中實(shí)現(xiàn)了對(duì)NetFlow主要版本的支持。
表1主流廠商網(wǎng)絡(luò)流技術(shù)對(duì)比
■
NetFlow的實(shí)現(xiàn)由路由器、數(shù)據(jù)采集設(shè)備和流量分析工具三部分構(gòu)成,如圖2所示。
路由器啟動(dòng)NetFlow功能,負(fù)責(zé)抓取路由器上發(fā)生的流量信息,當(dāng)Cache表超時(shí)后,網(wǎng)絡(luò)設(shè)備中的NetFlow Agent 將通過(guò)規(guī)范的報(bào)文格式將表項(xiàng)數(shù)據(jù)以UDP方式向NetFlow數(shù)據(jù)采集設(shè)備發(fā)送。NetFlow數(shù)據(jù)采集設(shè)備可以是商業(yè)系統(tǒng)或是采用開放源代碼的工作站,它負(fù)責(zé)實(shí)時(shí)處理收到的報(bào)文,提取出流量數(shù)據(jù),進(jìn)行過(guò)濾和聚合后記錄在數(shù)據(jù)庫(kù)中。NetFlow流量分析工具根據(jù)數(shù)據(jù)采集設(shè)備數(shù)據(jù)庫(kù)中記錄的網(wǎng)絡(luò)流量信息進(jìn)行網(wǎng)絡(luò)規(guī)劃、流量計(jì)費(fèi)和各種網(wǎng)絡(luò)管理應(yīng)用,并產(chǎn)生各類報(bào)表等。
■
圖2NetFlow的工作原理示意圖
由于NetFlow技術(shù)所產(chǎn)生的信息詳盡且趨近于即時(shí),可讓網(wǎng)管人員深入地了解數(shù)據(jù)包中的信息,獲得很多網(wǎng)絡(luò)運(yùn)行情況的細(xì)節(jié)。依據(jù)NetFlow信息進(jìn)行網(wǎng)絡(luò)規(guī)劃,將大大提高規(guī)劃的效率,減少盲目性。
(上接第671頁(yè))
在園區(qū)網(wǎng)網(wǎng)絡(luò)監(jiān)測(cè)中采用NetFlow機(jī)制有以下優(yōu)勢(shì):
1) 對(duì)源及目的業(yè)務(wù)端口號(hào)的統(tǒng)計(jì)、分析,可以科學(xué)地估算出各種業(yè)務(wù)在網(wǎng)絡(luò)總流量中所占的比重和在各條鏈路上的分布,對(duì)網(wǎng)絡(luò)業(yè)務(wù)流量進(jìn)行精細(xì)化分析,包括網(wǎng)絡(luò)間數(shù)據(jù)流中各個(gè)具體業(yè)務(wù)的流量及百分比;同時(shí),也可以根據(jù)應(yīng)用層數(shù)據(jù)參數(shù)Protocol、Port、Bytes對(duì)各個(gè)網(wǎng)絡(luò)業(yè)務(wù)進(jìn)行排行,進(jìn)而科學(xué)地預(yù)測(cè)各類業(yè)務(wù)流量的增長(zhǎng)規(guī)律。
2) 通過(guò)對(duì)整網(wǎng)流量的長(zhǎng)期監(jiān)測(cè),可以建立園區(qū)網(wǎng)流量基線,了解網(wǎng)絡(luò)內(nèi)各節(jié)點(diǎn)的即時(shí)與歷史網(wǎng)絡(luò)流量狀態(tài),掌握網(wǎng)絡(luò)應(yīng)用及發(fā)展趨勢(shì),從而提高網(wǎng)絡(luò)的管理維護(hù)能力。
3) 通過(guò)統(tǒng)計(jì)分析,我們還可以獲知那些業(yè)務(wù)是目前網(wǎng)絡(luò)上最受歡迎的業(yè)務(wù),進(jìn)而對(duì)相關(guān)網(wǎng)絡(luò)應(yīng)用業(yè)務(wù)的建設(shè)和規(guī)劃提供準(zhǔn)確的基礎(chǔ)數(shù)據(jù);對(duì)于業(yè)務(wù)流量大的端點(diǎn),分析其增長(zhǎng)規(guī)律,可以指導(dǎo)對(duì)其合理及時(shí)的擴(kuò)容,從而提高整個(gè)網(wǎng)絡(luò)的運(yùn)行質(zhì)量。
4) 利用NetFlow產(chǎn)生的流量記錄與統(tǒng)計(jì)分析系統(tǒng)配合,還可以記錄網(wǎng)絡(luò)平常在不同時(shí)間的流量或服務(wù)器連接使用情況,當(dāng)發(fā)現(xiàn)網(wǎng)絡(luò)或某服務(wù)器流量異常,或是服務(wù)器連接情況異常大量增加或減少時(shí),在第一時(shí)間發(fā)出警報(bào),讓網(wǎng)絡(luò)管理員可以立即采取相應(yīng)措施,盡快確定異常流量源地址及目的地址、端口號(hào)等多種信息,針對(duì)不同的情況,分別利用切斷連接、ACL過(guò)濾、靜態(tài)空路由過(guò)濾、異常流量限定等多種手段,對(duì)異常流量進(jìn)行有效控制、處理,從而在最短時(shí)間內(nèi)恢復(fù)網(wǎng)絡(luò)的正常運(yùn)行。這在防范病毒,尤其是蠕蟲或木馬等造成的DoS與DDoS攻擊時(shí)尤為有效。
3 結(jié)束語(yǔ)
當(dāng)前,隨著信息化建設(shè)步伐的加快,各單位都在不斷地建設(shè)和改造內(nèi)部的園區(qū)網(wǎng)絡(luò),園區(qū)網(wǎng)絡(luò)的不斷擴(kuò)展使得網(wǎng)絡(luò)的拓?fù)渥兊迷絹?lái)越復(fù)雜和不規(guī)則。而網(wǎng)絡(luò)新應(yīng)用的涌現(xiàn)和網(wǎng)絡(luò)用戶的快速增長(zhǎng)也使得網(wǎng)絡(luò)流量不斷增大、網(wǎng)絡(luò)應(yīng)用日益復(fù)雜。采用一種或混合使用多種技術(shù)監(jiān)測(cè)園區(qū)網(wǎng)網(wǎng)絡(luò)狀態(tài)的重要性和迫切性越來(lái)越突出。園區(qū)網(wǎng)網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)已經(jīng)成為計(jì)算機(jī)網(wǎng)絡(luò)研究中一個(gè)重要的課題方向。
參考文獻(xiàn):
[1] Cisco. System , NetFlow Services Solutions Guide[S], 2003.
[2] Stewart A J. Network State Monitoring: A Network Security Assessment Concept[EB/OL]. /papers/nsm/network_state_monitoring.txt, 2000
[3] 陳秀蘭,吳軍華.通用網(wǎng)絡(luò)流量監(jiān)測(cè)報(bào)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 微計(jì)算機(jī)應(yīng)用, 2006(4):47-50.
中圖分類號(hào):TP393.06 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-9416(2015)12-0000-00
隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展,互聯(lián)網(wǎng)[1]已經(jīng)被運(yùn)用到千家萬(wàn)戶,實(shí)時(shí)以及多媒體的傳播技術(shù)也在不斷普及,網(wǎng)絡(luò)流量將不斷增加,這對(duì)于現(xiàn)階段的網(wǎng)絡(luò)管理、維護(hù)以及檢測(cè)技術(shù)來(lái)說(shuō)是一個(gè)不小的挑戰(zhàn)。有挑戰(zhàn)就存在一定的機(jī)遇,網(wǎng)絡(luò)流量監(jiān)控是網(wǎng)絡(luò)管理中的一個(gè)重要組成部分,更是網(wǎng)絡(luò)性能分析以及網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)的根基,為網(wǎng)絡(luò)管理者的網(wǎng)絡(luò)實(shí)施運(yùn)行提供了技術(shù)平臺(tái),并且能正確處理網(wǎng)絡(luò)出現(xiàn)的異常問(wèn)題。
1 基于SNMP流量的監(jiān)測(cè)技術(shù)
近幾年來(lái),以NETFLOW以及SFLOW技術(shù)為代表的網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)的運(yùn)用憑借其準(zhǔn)確、高效等優(yōu)勢(shì)在網(wǎng)絡(luò)管理中頗受寵愛,但是其部署也存在一定的局限性,主要表現(xiàn)在以下幾個(gè)方面:(1)該技術(shù)消耗網(wǎng)絡(luò)設(shè)備資源。(2)在大中型網(wǎng)絡(luò)中,該技術(shù)在每一個(gè)節(jié)點(diǎn)全面部署會(huì)產(chǎn)生大量的數(shù)據(jù),如何高效便捷地處理這些數(shù)據(jù)對(duì)于網(wǎng)絡(luò)管理來(lái)說(shuō)至關(guān)重要。即使利用提高采樣率來(lái)減少數(shù)據(jù)流量,但是隨著采樣率的不斷上升,很多有價(jià)值的信息也會(huì)隨之丟失。
綜上所示,現(xiàn)階段使用的NETFLOW以及SFLOW技術(shù)只適用于邊緣路由器的單獨(dú)部署。為了解決校園網(wǎng)方案中存在的一些問(wèn)題,本文就提出了適用于校園區(qū)的網(wǎng)絡(luò)流量監(jiān)測(cè)系統(tǒng),此方案使用基于SNMP技術(shù),在現(xiàn)階段的校園網(wǎng)絡(luò)上能夠較為廉價(jià)以及便捷地解決上述問(wèn)題。
1.1 SNMP簡(jiǎn)介
SNMP的全稱是簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議,此協(xié)議是一種基于TCP/IP參考模型[2]的應(yīng)用層互聯(lián)網(wǎng)網(wǎng)絡(luò)管理協(xié)議,能對(duì)于互聯(lián)網(wǎng)中的各式各樣的設(shè)備進(jìn)行監(jiān)控以及管理,它主要還包含了網(wǎng)絡(luò)管理站以及被管的網(wǎng)絡(luò)設(shè)備這兩個(gè)部分。被管的設(shè)備端運(yùn)行者稱為設(shè)備的運(yùn)用進(jìn)程,其實(shí)現(xiàn)階段對(duì)于被管設(shè)備的各種被管對(duì)象的信息,例如流量等的收集以及對(duì)于這些被管對(duì)象的訪問(wèn)支持。利用SNMP實(shí)現(xiàn)的網(wǎng)絡(luò)管理一般包含:管理進(jìn)程利用定時(shí)來(lái)向各個(gè)設(shè)備的設(shè)備進(jìn)程發(fā)送可查詢請(qǐng)求信息,,以便于跟蹤每一個(gè)設(shè)備的狀態(tài)。SNMP的作用是幫助網(wǎng)絡(luò)管理員提升網(wǎng)絡(luò)管理的主要性能,及時(shí)快速地發(fā)現(xiàn)并且解決網(wǎng)絡(luò)問(wèn)題以及規(guī)劃網(wǎng)絡(luò)的增長(zhǎng)。網(wǎng)絡(luò)管理員還可以利用SNMP接收網(wǎng)絡(luò)節(jié)點(diǎn)的通知消息,來(lái)告警事件報(bào)告等來(lái)獲知網(wǎng)絡(luò)出現(xiàn)的問(wèn)題。
1.2 流量數(shù)據(jù)的采集
為了達(dá)到網(wǎng)絡(luò)流量的采集,設(shè)計(jì)了運(yùn)用SNMP協(xié)議采集網(wǎng)絡(luò)設(shè)備MIB的方法,程序以輪詢的方式進(jìn)行訪問(wèn)MIB相對(duì)應(yīng)的葉節(jié)點(diǎn)。SNMP是由三個(gè)部分組成的,分別是管理者、以及MIB,其中被管設(shè)備一定要啟動(dòng)SNMP服務(wù),管理者利用SNMP的相應(yīng)操作通過(guò)獲得以及設(shè)置MIB變量的參數(shù)值,此處涉及到的一個(gè)共同體名是客戶進(jìn)行提供的,與此同時(shí),要能被服務(wù)器進(jìn)程所識(shí)別的一個(gè)口令密碼,也正是管理進(jìn)程請(qǐng)求的權(quán)限標(biāo)志。MIB變量有簡(jiǎn)單變量以及表格變量,對(duì)于簡(jiǎn)單變量的訪問(wèn),通過(guò)對(duì)其對(duì)象標(biāo)識(shí)符后面添加“0”來(lái)處理,利用get-request報(bào)文請(qǐng)求即可。
2 網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)的現(xiàn)狀及其發(fā)展趨勢(shì)
根據(jù)現(xiàn)階段的網(wǎng)絡(luò)流量的采集方式可以將網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)分為以下三個(gè)部分,分別是基于網(wǎng)絡(luò)流量全鏡像的檢測(cè)技術(shù)、基于SNMP的監(jiān)測(cè)技術(shù)以及基于NETFLOW的監(jiān)測(cè)技術(shù)。
網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè):它是現(xiàn)階段IDS主要使用的是網(wǎng)絡(luò)流量采集模式,其工作原理是利用交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者是通過(guò)分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實(shí)現(xiàn)了網(wǎng)絡(luò)流量的無(wú)損復(fù)制以及鏡像采集,該技術(shù)的主要特征是可以為管理者提供應(yīng)用層的信息。
目前,網(wǎng)絡(luò)流量監(jiān)測(cè)技術(shù)正在朝著迅猛提升的方向發(fā)展,其技術(shù)以及產(chǎn)品也正在不斷更新,也有朝著智能化發(fā)展的趨勢(shì),主要表現(xiàn)在:流量自主學(xué)習(xí),為判斷異樣流量提供強(qiáng)有力的證據(jù)。
3 采集過(guò)程中需要考慮的問(wèn)題
3.1時(shí)間間隔的正確選擇
Cisco路由器[3]為IP Accounting Table 中建立了一個(gè)緩沖區(qū),缺省設(shè)置為512行,如果超出了已經(jīng)限定的行數(shù),那么全新的數(shù)據(jù)就會(huì)丟失。所以,在采集數(shù)據(jù)的時(shí)候要選擇正確合適的時(shí)間間隔。假如兩次采集的時(shí)間間隔過(guò)長(zhǎng),就會(huì)使得數(shù)據(jù)庫(kù)中的數(shù)據(jù)溢出,之前的數(shù)據(jù)就會(huì)被覆蓋,最終造成數(shù)據(jù)的丟失;假如采集時(shí)間間隔過(guò)短的話,又會(huì)導(dǎo)致訪問(wèn)路由器以及寫入的數(shù)據(jù)庫(kù)過(guò)于頻繁,最終造成整個(gè)系統(tǒng)的性能下降。
3.2 Trap技術(shù)的應(yīng)用
假如在采集程序運(yùn)行之前,計(jì)費(fèi)信息就會(huì)超過(guò)路由器保留計(jì)費(fèi)信息的緩沖區(qū)的大小,就會(huì)造成計(jì)費(fèi)信息的丟失。為了防止此類情況的出現(xiàn),我們就要運(yùn)用SNMP中的事件驅(qū)動(dòng)技術(shù),也就是Trap技術(shù)。
3.3準(zhǔn)確安全性的考慮
考慮到整個(gè)系統(tǒng)的健壯性能,設(shè)計(jì)方案就會(huì)引入主從式的設(shè)計(jì),在整個(gè)系統(tǒng)中,引入一個(gè)從計(jì)費(fèi)服務(wù)器作為主服務(wù)器的備份。從服務(wù)器上采集而來(lái)的數(shù)據(jù)過(guò)程是實(shí)時(shí)的,全天運(yùn)行的。其系統(tǒng)要根據(jù)已經(jīng)設(shè)定好的固定的時(shí)間間隔輪詢路由器IPAccountingTable表的讀寫情況,假如表的更新時(shí)間超過(guò)設(shè)定的最大更新周期,就會(huì)出現(xiàn)主服務(wù)器發(fā)生故障的狀況,根據(jù)服務(wù)器將進(jìn)行數(shù)據(jù)的采集工作,為了防止數(shù)據(jù)的丟失。
本文利用分析了常見流量監(jiān)控系統(tǒng),提出了在校園中網(wǎng)絡(luò)上運(yùn)用SNMP協(xié)議實(shí)現(xiàn)在網(wǎng)絡(luò)流量上的監(jiān)控,本系統(tǒng)是架構(gòu)于SNMP模式的管理者以及結(jié)構(gòu)之上。此設(shè)計(jì)方案是在校園網(wǎng)上有較強(qiáng)的推廣價(jià)值,也被廣泛運(yùn)用于其他網(wǎng)絡(luò)管理功能模塊的設(shè)計(jì)。
參考文獻(xiàn)
網(wǎng)絡(luò)流量性能測(cè)量和分析涉及許多關(guān)鍵技術(shù),如單向測(cè)量中的時(shí)鐘同步新問(wèn)題,主動(dòng)測(cè)量和被動(dòng)測(cè)量的抽樣算法探究,多種測(cè)量工具之間的協(xié)同工作,網(wǎng)絡(luò)測(cè)量體系結(jié)構(gòu)的搭建,性能指標(biāo)的量化,性能指標(biāo)的模型化分析,對(duì)網(wǎng)絡(luò)未來(lái)狀態(tài)進(jìn)行趨向猜測(cè),對(duì)海量測(cè)量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘或者利用已有的模型(petri網(wǎng)、自相似性、排隊(duì)論)探究其自相似特征,測(cè)量和分析結(jié)果的可視化,以及由測(cè)量所引起的平安性新問(wèn)題等等。
1.在IP網(wǎng)絡(luò)中采用網(wǎng)絡(luò)性能監(jiān)測(cè)技術(shù),可以實(shí)現(xiàn)
1.1合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)性能
為更好的管理和改善網(wǎng)絡(luò)的運(yùn)行,網(wǎng)絡(luò)管理者需要知道其網(wǎng)絡(luò)的流量情況和盡量多的流量信息。通過(guò)對(duì)網(wǎng)絡(luò)流量的監(jiān)測(cè)、數(shù)據(jù)采集和分析,給出具體的鏈路和節(jié)點(diǎn)流量分析報(bào)告,獲得流量分布和流向分布、報(bào)文特性和協(xié)議分布特性,為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級(jí)提供依據(jù)。
1.2基于流量的計(jì)費(fèi)
現(xiàn)在lSP對(duì)網(wǎng)絡(luò)用戶提供服務(wù)絕大多數(shù)還是采用固定租費(fèi)的形式,這對(duì)一般用戶和ISP來(lái)說(shuō),都不是一個(gè)好的選擇。采用這一形式的很大原因就是網(wǎng)絡(luò)提供者不能夠統(tǒng)計(jì)全部用戶的準(zhǔn)確流量情況。這就需要有方便的手段對(duì)用戶的流量進(jìn)行檢測(cè)。通過(guò)對(duì)用戶上網(wǎng)時(shí)長(zhǎng)、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站數(shù)據(jù)分析,擺脫目前單一的包月制,實(shí)現(xiàn)基于時(shí)間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的交費(fèi)標(biāo)準(zhǔn)。
1.3網(wǎng)絡(luò)應(yīng)用狀況監(jiān)測(cè)和分析
了解網(wǎng)絡(luò)的應(yīng)用狀況,對(duì)探究者和網(wǎng)絡(luò)提供者都很重要。通過(guò)網(wǎng)絡(luò)應(yīng)用監(jiān)測(cè),可以了解網(wǎng)絡(luò)上各種協(xié)議的使用情況(如www,pop3,ftp,rtp等協(xié)議),以及網(wǎng)絡(luò)應(yīng)用的使用情況,探究者可以據(jù)此探究新的協(xié)議和應(yīng)用,網(wǎng)絡(luò)提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡(luò)。
1.4實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)狀況
針對(duì)網(wǎng)絡(luò)流量變化的突發(fā)性特性,通過(guò)實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)狀況,能實(shí)時(shí)獲得網(wǎng)絡(luò)的當(dāng)前運(yùn)行狀況,減輕維護(hù)人員的工作負(fù)擔(dān)。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時(shí)發(fā)出自動(dòng)告警,在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和猜測(cè)?,F(xiàn)在隨著Internet網(wǎng)絡(luò)不斷擴(kuò)大,網(wǎng)絡(luò)中也經(jīng)常會(huì)出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡(luò)突發(fā)事件從設(shè)備和網(wǎng)管的角度看卻很難發(fā)現(xiàn),經(jīng)常讓網(wǎng)絡(luò)管理員感到棘手。因此,針對(duì)網(wǎng)絡(luò)中突發(fā)性的異常流量分析將有助于網(wǎng)絡(luò)管理員發(fā)現(xiàn)和解決新問(wèn)題。
1.5網(wǎng)絡(luò)用戶行為監(jiān)測(cè)和分析
這對(duì)于網(wǎng)絡(luò)提供者來(lái)說(shuō)非常重要,通過(guò)監(jiān)測(cè)訪問(wèn)網(wǎng)絡(luò)的用戶的行為,可以了解到摘要:
1)某一段時(shí)間有多少用戶在訪問(wèn)我的網(wǎng)絡(luò)。
2)訪問(wèn)我的網(wǎng)絡(luò)最多的用戶是哪些。
3)這些用戶停留了多長(zhǎng)時(shí)間。
4)他們來(lái)自什么地方。
5)他們到過(guò)我的網(wǎng)絡(luò)的哪些部分。
通過(guò)這些信息,網(wǎng)絡(luò)提供者可以更好的為用戶提供服務(wù),從而也獲得更大的收益。
2.網(wǎng)絡(luò)流量測(cè)量有5個(gè)要素摘要:
測(cè)量時(shí)間、測(cè)量對(duì)象、測(cè)量目的、測(cè)量位置和測(cè)量方法。網(wǎng)絡(luò)流量的測(cè)量實(shí)體,即性能指標(biāo)主要包括以下幾項(xiàng)。2.1連接性
連接性也稱可用性、連通性或可達(dá)性,嚴(yán)格說(shuō)應(yīng)該是網(wǎng)絡(luò)的基本能力或?qū)傩裕荒芊Q為性能,但I(xiàn)TU-T建議可以用一些方法進(jìn)行定量的測(cè)量。
2.2延遲
對(duì)于單向延遲測(cè)量要求時(shí)鐘嚴(yán)格同步,這在實(shí)際的測(cè)量中很難做到,許多測(cè)量方案都采用往返延遲,以避開時(shí)鐘同步新問(wèn)題。
2.3丟包率
為了評(píng)估網(wǎng)絡(luò)的丟包率,一般采用直接發(fā)送測(cè)量包來(lái)進(jìn)行測(cè)量。目前評(píng)估網(wǎng)絡(luò)丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當(dāng)一條路徑(通路)中沒有其他背景流量時(shí),網(wǎng)絡(luò)能夠提供的最大的吞吐量。
2.5流量參數(shù)
ITU-T提出兩種流量參數(shù)作為參考摘要:一種是以一段時(shí)間間隔內(nèi)在測(cè)量點(diǎn)上觀測(cè)到的所有傳輸成功的IP包數(shù)量除以時(shí)間間隔,即包吞吐量;另一種是基于字節(jié)吞吐量摘要:用傳輸成功的IP包中總字節(jié)數(shù)除以時(shí)間間隔。
3.測(cè)量方法
Internet流量數(shù)據(jù)有三種形式摘要:被動(dòng)數(shù)據(jù)(指定鏈路數(shù)據(jù))、主動(dòng)數(shù)據(jù)(端至端數(shù)據(jù))和BGP路由數(shù)據(jù),由此涉及兩種測(cè)量方法摘要:被動(dòng)測(cè)量方法和主動(dòng)測(cè)量方法然而,近幾年來(lái),主動(dòng)測(cè)量技術(shù)被網(wǎng)絡(luò)用戶或網(wǎng)絡(luò)探究人員用來(lái)分析指定網(wǎng)絡(luò)路徑的流量行為。
3.1主動(dòng)測(cè)量
主動(dòng)測(cè)量的方法是指主動(dòng)發(fā)送數(shù)據(jù)包去探測(cè)被測(cè)量的對(duì)象。以被測(cè)對(duì)象的響應(yīng)作為性能評(píng)分的結(jié)果來(lái)分析。測(cè)量者一般采用模擬現(xiàn)實(shí)的流量(如WebServer的請(qǐng)求、FTP下載、DNS反應(yīng)時(shí)間等)來(lái)測(cè)量一個(gè)應(yīng)用的性能或者網(wǎng)絡(luò)的性能。由于測(cè)量點(diǎn)一般都靠近終究端,所以這種方法能夠代表從監(jiān)測(cè)者的角度反映的性能。
3.2被動(dòng)測(cè)量
被動(dòng)測(cè)量是在網(wǎng)絡(luò)中的一點(diǎn)收集流量信息,如使用路由器或交換機(jī)收渠數(shù)據(jù)或者一個(gè)獨(dú)立的設(shè)備被動(dòng)地監(jiān)測(cè)網(wǎng)絡(luò)鏈路的流量。被動(dòng)測(cè)量可以完全取消附加流量和Heisenberg效應(yīng),這些優(yōu)點(diǎn)使人們更愿意使用被動(dòng)測(cè)量技術(shù)。有些測(cè)度使用被動(dòng)測(cè)量獲得相當(dāng)困難摘要:如決定分縮手縮腳一所經(jīng)過(guò)的路由。但被動(dòng)測(cè)量的優(yōu)點(diǎn)使得決定測(cè)量之前應(yīng)該首先考慮被動(dòng)測(cè)量。被動(dòng)測(cè)量技術(shù)碰到的另一個(gè)重要新問(wèn)題是目前提出的要求確保隱私和平安新問(wèn)題。
3.3網(wǎng)絡(luò)流量抽樣測(cè)量技術(shù)