中國的網絡通信技術在近年來實現了突飛猛進的發展,各種新興技術層出不窮，除了傳統的網絡接入終端智能手機和電腦外，智能手表、健身腕帶、智能家庭設備、網絡支付、高清影音、物聯網等的普及也使用戶對于聯網速率的要求越來越高，三大運營商為了適應時代潮流，同時為用戶提供更為便捷迅速的服務，采用的通信技術也逐漸由從上世紀90年代的2G，到2010年左右興起的4G。時至今日，隨著用戶的音頻、 視頻、圖像等業務急劇增長，網絡流量的爆炸式增長,即使是4G網絡也逐漸無法完全滿足人民對網絡速率提升的需求，5G網絡的普及變得越來越迫切。
根據工信部等部門提出的5G推進工作部署以及三大運營商的5G商用計劃，我國最快2020年正式推出5G商用服務。可見5G時代馬上就要到來，而5G網絡其峰值理論傳輸速度可達每秒數十Gb，這比4G網絡的傳輸速度快數百倍，除了支持手機和平板電腦外，5G網絡將還可支持各種可佩戴式智能設備以及智能家居，等到5G網絡商用后，也將帶動車聯網、物聯網、無人機、云計算等應用的發展，所以基礎承載網絡的擴容需求隨著也變得迫在眉睫。目前常用的千兆以太網技術已經完全無法滿足時代的需求，萬兆以太網技術和基于IEEE 802.3ba標準的40/100G以太網技術必將成為以后的主流。
一、5G承載網絡中數據采集遇到的問題
凡事利弊共存，隨著5G時代海量數據的接入，用戶在享受便利的網絡沖浪的同時，面臨的諸如網絡蠕蟲、木馬病毒及垃圾郵件、DDOS攻擊、網絡資源濫用（包括P2P下載、IM即時通訊、網絡游戲、在線視頻等行為）、黑客攻擊行為等網絡威脅也愈發嚴峻，傳統的基于千兆接口和萬兆接口的安全性能分析設備和基于交換機端口鏡像的數據采集方式，由于性能和設計的時代特性，逐漸變得力不從心，用戶在監控數據采集方面經常會遇到如下問題：
（一）多種旁路監控分析設備同時部署，交換機鏡像端口不足
基于交換機鏡像端口旁路部署的安全設備逐漸增多，在同時部署兩個或以上的旁路監聽設備之時不僅增加交換機的性能開銷，且不能滿足各種安全監控設備靈活部署的需要。
（二）基于核心出口南北向數據采集方式，存在東西向數據監控盲點
傳統采集方式主要采用出口或核心區域的交換機鏡像方式采集流量，這種方式只能采集跨網段數據訪問，但相同網段下的數據訪問無法進行采集，存在監控盲點和監控分析數據不完整，將導致無法在第一時間溯源原始攻擊和影響數據分析結果
（三）安全監控設備部署管理分散，數據存在泄密風險
不同種類的監控分析設備直接采集全量的區域數據流量，但數據安全審計設備只需監控數據庫類型數據、網絡監控分析系統只需監控分析網絡層流量，一旦這些設備獲得全量的原始數據后，將存在人為泄密或系統安全漏洞泄密風險
（四）監控分析設備投資成本增加，但分析效率不高
在網絡帶寬升級時，企業首先考慮增加安全監控設備的投資，但全量的數據監控分析，勢必帶有大量無用的背景流，其真正所需的數據并不多，如不能有效過濾，將降低安全設備分析效率。
（五）無法監控分析10/40/100G高帶寬鏈路
安全監控設備廠商擅長于從普通100/1000M以太網網卡捕獲報文，通過CPU進行流重組、協議解密、數據分析，其技術架構都沉淀在X86平臺上，這類解決方案由于受到網卡和硬件架構的局限性，可處理的鏈路介質和流量都不高。
（六）無法標識數據源，無法精確定位故障源
在復雜的網絡環境中采集原始數據時，不能有效的標識數據源來自那些網元設備或地理位置（如租戶、虛擬機、物理機、虛擬網元、物理網元設備的邏輯關系映射），將影響監控分析設備及時發現攻擊事件或定位故障事件。
（七）采集節點和安全監控設備缺乏統一可視化管理
大量采集節點和安全監控設備管理相對獨立，采用傳統的傳統的網絡分流器或匯聚分流設備解決方案管理，無法做到全網全局可視化，存在許多管理盲點。
二、NetTAP流量可視化智能管控平臺解決方案
成都數維通信技術有限公司，是一家專注于流量可視化智能管控設備研發、生產、制造的高新技術企業，為了應對5G網絡的發展所帶來的一系列問題，未雨綢繆，提出NetTAP流量可視化智能管控平臺整體解決方案，可以充分的利用現有安全設備，有效的解決用戶所面臨的一系列問題。
圖1.1
如上圖1.1所示，在用戶的網絡采集節點和后端安全分析設備之間構建一層智能的數據采集分發平臺，采用全方位的圖形化控制界面，按需分配數據到相關的安全監控設備，進而保護用戶網絡安全。
智能的數據采集分發平臺由兩個功能模塊組成，分別為（1）數據采集矩陣：由流量可視化智能管控設備級聯組成，執行基礎的數據采集和預處理功能，通過多種采集方式對全網流量進行統一的采集，有效的消除監控盲點，并根據后端安全分析設備的需求進行精確的流量復制提取和分發，簡化網絡復雜度，減輕后端分析設備壓力。（2）統一管理分析系統：成都數維自主研發的MATRIX NetTAP-insight統一管理分析平臺，實現可視化分析和可視化管理兩個功能子項，其中可視化管理是指對前端流量可視化智能管控設備的統一配置管理和網絡拓撲狀態的展現，可視化分析是指對輸入流量大小和趨勢分析、協議分布分析、鏈接質量分析、輸出流量分析、實時預警、傳輸路徑和傳輸延遲分析和自動/人工流量快照等功能，最終實現幫助用戶及時了解全網狀態，精確進行故障定位的目標。
三、NetTAP流量可視化智能管控平臺-采集技術介紹：
成都數維通信公司生產的數據可視化采集設備支持旁路鏡像、光鏈路在線、電鏈路在線三種采集方式，通過這三種采集方式可以將用戶各個采集節點的流量采集下來，有效的減少監控盲點。
（1）旁路鏡像采集
旁路采集是指通過鏡像數據采集設備作為前端采集設備，截取交換機端口鏡像數據，再由流量可視化智能管控設備對采集的數據進行統一分發；基于旁路的采集方式不會對網絡造成任何影響。
（2）光鏈路在線采集
光鏈路在線采集是指通過無源分光設備作為前端采集設備，串聯部署在網絡設備之間，透明采集其通信數據，再由流量可視化智能管控設備對采集的數據進行統一分發；基于無源分光的采集方式，一旦成功割接后，其穩定性非常高。
（3）電鏈路在線采集
電鏈路在線采集是指通過在線TAP設備作為前端采集設備，串聯部署在網絡設備之間，透明采集其通信數據，再由流量可視化智能管控平臺對采集的數據進行統一分發；基于Bypass保護機制的設備，在其意外掉電情況下，由繼電器陣列進行切換，快速實現網絡設備物理直通，持續保障網絡暢通。
四、流量可視化智能管控平臺-預處理功能介紹：
成都數維通信公司生產的數據可視化采集設備，支持對采集到的流量進行各種預處理，有效解決用戶部署安全分析設備時遇到的各種問題，減輕安全分析設備處理壓力。
4.1基礎流量處理功能
4.1.1 復制/匯聚
對原始輸入流量和預處理后流量按1路信號復制到N路信號或者N路信號匯聚后復制到M路信號的10GE線速轉發，完美的解決了網絡中同時部署兩臺以上的多端口監聽旁路設備的需求。
4.1.2 分流/過濾
對輸入的數據流進行精確分類，將不同數據業務按白名單或黑名單規則，丟棄或轉發至多個接口輸出。進一步滿足各類網絡安全設備、協議分析、信令分析、等流量監控部署需求。
4.1.3負載均衡
依據L2-L7層特征進行Hash算法和基于會話的權重分算法的負載均衡，以保證旁路監聽設備接收到數據流的會話完整性，且分流端口組成員在鏈路狀態發生變化時可靈活退出（鏈路DOWN）或加入（鏈路UP），分流組自動重新分配流量，保證端口輸出流量的動態負載均衡。
4.1.4UDF匹配
對報文前128字節任意關鍵字段的匹配，用戶可以自定義偏移值和關鍵字段長度、內容，根據用戶配置決定流量輸出策略。
4.1.5vlan標記/替換/刪除
將原始數據包打上vlan 標記，用于標識數據包的來源，同時支持替換及對vlan 標簽的刪除。
4.1.6MAC地址替換
替換原始數據包中的目的MAC地址，可根據用戶配置決定實施流量輸出策略。
4.2智能流量處理功能
4.2.1時間戳標記
同步NTP服務器將時間校準后，以相對時間的標簽形式寫入報文中（在幀末尾打上時間戳標記），時間的精度為納秒級。
4.2.2標簽剝離
對原始數據包中的VxLAN、VLAN、MPLS包頭進行剝離后輸出。
4.2.3數據去重
基于端口或策略級的統計粒度對多個采集源數據進行對比，在規定時間內對采集到的相同數據包去重復；用戶可選擇不同的報文標識（dst.ip 、src.port、dst.port、tcp.seq、tcp.ack）進行比對后實現去重復。
4.2.4數據切片
對原始數據進行基于策略級的切片（64-1518字節可選），可根據用戶配置決定實施流量輸出策略。
4.2.5數據脫敏
基于策略級的粒度對原始數據內的任意關鍵字段進行替換，以達到屏蔽敏感信息的目的，可根據用戶配置決定實施流量輸出策略。
4.2.6高層協議識別
應用層協議識別及過濾分流輸出�，F有特征庫可支持常用的應用層協議識別，如ftp、http、pop、smtp、dns、ntp、BitTorrent、syslog、mysql、mssql等。若有特殊需求，也可進行二次開發。
五、流量可視化智能管控平臺-診斷與監控功能介紹
5.1實時監控
對端口級、策略級的數據流量進行實時監控統計，并以報表、圖形曲線的方式對收/發速率、收/發字節數、收/發報文數、收/發錯誤數、最大收/發速率等關鍵指標進行展現。同時，也可對多條策略的命中流量實現關聯合并統計。
5.2流量告警
對端口級、策略級的數據流量監控告警。通過設置各端口、各策略流量溢出告警閥值來對可能出現流量超限的接口或數據業務流量進行提前預警，并以圖表、日志報告的方式即時展現。
5.3歷史流量回溯
對端口級、策略級的近N個月的歷史流量統計查詢。可根據天、小時、分鐘等粒度對收/發速率、收/發字節數、收/發報文數、收/發錯誤數等信息進行查詢選擇。
5.4數據捕獲
對端口級、策略級的報文實時捕獲。當出現網絡數據包異常、流量異常波動的時候可在第一時間對可疑鏈路或策略中的原始數據包進行抓包并下載到本地，通過Wireshark工具進行分析，幫助用戶快速分析定位故障點。
六、部署方案介紹：
6.1 100G/40G接口流量采集方案
隨著5G通信時代的來臨，用戶業務網絡的擴容，100GE/40GE接口的應用必將越來越普遍，而傳統的網絡安全分析和性能分析設備均是基于10G/1G/100M接口進行網絡流量的捕獲，無法適應100GE/40GE接口數據采集的需求，成都數維針對該場景，推出了100GE/40GE系列高密度網絡NetTAP流量可視化智能管控設備， 如上圖所示，NetTAP設備對采集到的N路100GE 鏈路的流量首先執行流量匯聚及基于特定規則的報文/流過濾流量標識，并根據不同的后臺應用需求，通過多個 10GE 接口分配相應流量輸出至各后臺系統進行分析。同時，流量可視化智能管控設備支持對多臺分析設備組成的監控分析云系統的各個節點進行動態監控健康檢查，基于健康檢查的結果對其進行智能分配流量，在分析節點狀態正常時，為其正常分配一定比例的流量，節點狀態異常時，減輕或停止為其分配分析流量。通過流量可視化智能管控設備與后臺分析云節點之間的互動共同構建一套高可靠性的監控分析云系。
6.2 級聯部署流量采集方案
5G通信時代，隨著用戶網絡的擴容，網絡架構更加復雜、監控節點更加廣泛，在執行多級安全防護時，需要部署大量的安全監控設備在各網絡處進行安全監控，但大量的安全監控設備分散部署，容易形成信息孤島，導致信息分散，重復數據監控也無法避免，不僅降低了流量監控工具的利用率，同時造成了管理和維護的困難。
采用多臺NetTAP流量可視化智能管控設備級聯作為解決方案，一般通過不同類型的流量可視化智能管控設備進行智能組網，使用旁路和在線采集方式捕獲各網段的數據流量，對不同節點的采集流量先進行入站標識，梳理分散流量；在出站時，可基于L2-L7層信息對關鍵流量進行提取、分類和優先等級的分配，配合各類安全監控設備對流量不同要求作出優化，大幅降低出站流量，并智能地分配流量負載。最終通過流量智能采集統一分發平臺對數據流量進行整合、分類、可視化管控，可有效解決的大型網絡安全監控中存在節點分散、管理維護困難、監控流量過大等難題。
七、結語
在5G網絡時代，伴隨著海量網絡數據的接入，原有安全監控項目中的傳統采集技術已經不適應迅速增大的數據量級，不同種類安全監控設備的部署也面臨諸多挑戰。因此，應以可視、可控、可調、可管為目的，在構建海量數據信息安全等級保護技術框架時，使用可視化流量可視化智能管控平臺對流量進行預處理和精細化管控等方式無疑最佳選擇。
