網(wǎng)絡數(shù)據(jù)分析的需求由來已久,早期的用戶通過SNMP平臺采集網(wǎng)絡設備端口的流量MIB 并通過圖形化工具來顯示流經(jīng)網(wǎng)絡設備的流量情況。隨著硬件技術的發(fā)展,xFLOW技術被集成在網(wǎng)絡設備中,網(wǎng)絡設備可以基于2到4層的信息把網(wǎng)絡數(shù)據(jù)包形成flow分類,繼而進行統(tǒng)計和輸出,用戶可以基于網(wǎng)絡設備輸出的flow信息進行數(shù)據(jù)分析。隨著網(wǎng)絡速度的飛速提高,網(wǎng)絡規(guī)模的快速增大,數(shù)據(jù)中心、云計算、虛擬化、容器技術的普及和應用,一些用戶對網(wǎng)絡數(shù)據(jù)分析的要求進一步提高,基于xFLow技術的網(wǎng)絡數(shù)據(jù)采集方式在實時性、顆粒度和規(guī)模上很難滿足要求,這些用戶轉(zhuǎn)而采用網(wǎng)絡設備 SPAN或者是外部TAP的方式來進行網(wǎng)絡數(shù)據(jù)的采集,這些方式在采集能力和代價上作出了較大的折衷。
挑戰(zhàn)是創(chuàng)新的源泉,思科公司Nexus 9000 交換機的研發(fā)團隊與科研機構(gòu)共同努力,在業(yè)界首先實現(xiàn)了大規(guī)模高速網(wǎng)絡的數(shù)據(jù)采集、存儲和分析平臺-Tetration AnalyticsTM。該平臺由數(shù)據(jù)采集部分、存儲和分析部分組成:數(shù)據(jù)采集部分包括安裝在實體服務器或者是虛擬機中的軟件數(shù)據(jù)采集器、以太網(wǎng)交換機轉(zhuǎn)發(fā)芯片的硬件數(shù)據(jù)采集邏輯和第三方數(shù)據(jù)接口組成;存儲和分析部分由基于思科UCS計算平臺的服務器集群組成。
軟件數(shù)據(jù)采集器支持業(yè)界主流的操作系統(tǒng)平臺,可以通過用戶自己的自動化服務器部署工具自動地部署到服務器中。軟件數(shù)據(jù)采集器只針對操作系統(tǒng)協(xié)議棧發(fā)出和接受的數(shù)據(jù)包頭部信息進行數(shù)據(jù)采集,并且收集相應的發(fā)送和接受進程的信息,這些收集到的數(shù)據(jù)經(jīng)過嚴格加密后,發(fā)送到存儲和分析部分。軟件數(shù)據(jù)采集器看似簡單,但是,為了減少對主機CPU、內(nèi)存和網(wǎng)絡資源的占用,加強對用戶隱私的保護,對成千上萬個分布部署的軟件采集器進行統(tǒng)一管理和維護,支持多種操作系統(tǒng),思科公司的開發(fā)人員為此做了大量的工作。
“硬件數(shù)據(jù)采集器”實際上是思科公司Cloud Scale芯片技術的內(nèi)置硬件數(shù)據(jù)采集邏輯,數(shù)據(jù)中心交換機可以在1RU的設備中做到Tbps級別的轉(zhuǎn)發(fā)能力,每秒中流過一臺接入設備的數(shù)據(jù)包可以達到幾十億個,思科在芯片技術上的創(chuàng)新可以將每個數(shù)據(jù)包的元信息和其它網(wǎng)絡相關信息都記錄下來,并且及時地發(fā)送到Tetration AnalyticsTM存儲和分析部分。軟件數(shù)據(jù)采集器和“硬件數(shù)據(jù)采集器”可以根據(jù)需求同時部署,或者單獨部署。軟件數(shù)據(jù)采集器與用戶采用何種網(wǎng)絡設備、何種網(wǎng)絡拓撲等完全無關,為用戶提供了網(wǎng)絡數(shù)據(jù)采集的靈活性和覆蓋的廣泛性。
Tetration AnalyticsTM存儲和分析部分是該平臺的精彩所在,億萬個網(wǎng)絡數(shù)據(jù)流的秒級快速檢索能力、多維度(在第一版軟件中可以同時通過20個維度)網(wǎng)絡數(shù)據(jù)流可視化展示只是基本能力。針對萬億個數(shù)據(jù)的無監(jiān)督機器學習算法的采用,為網(wǎng)絡訪問行為基線設立、網(wǎng)絡訪問異常檢測、應用訪問關系的動態(tài)甄別、聚類動態(tài)劃分等提供了方便的工具。這些內(nèi)置的應用也僅僅是網(wǎng)絡數(shù)據(jù)分析新篇章的序曲,這個緊湊高效的平臺為用戶的數(shù)據(jù)分析專家提供了網(wǎng)絡數(shù)據(jù)完善的、全面的大數(shù)據(jù)來源,基于Tetration AnalyticsTM存儲和分析部分的外部接口,用戶可以在網(wǎng)絡數(shù)據(jù)分析領域無限地發(fā)揮自己的創(chuàng)造力。
這個世界上沒有無人區(qū),只有無畏的探索者——作為專注網(wǎng)絡領域的廠商,思科不僅將技術創(chuàng)新視為公司持續(xù)發(fā)展的根本,更將其視作行業(yè)領導者對業(yè)界的責任。新想法、新技術接連不斷地孕育和誕生,為業(yè)界源源不斷地注入發(fā)展動力,這就是思科公司作為科技樂觀主義者對創(chuàng)新的絕佳踐行。