經過十多年的發展，企業在IT基礎設施以及云原生的業務應用上穩步推進。上云業務規模增加，混合云中網絡變得更為復雜，企業對業務安全的訴求、行業主管部門監管的要求有增無減。

為什么混合云需要全網流量

在混合云環境，企業的業務運行在邏輯網絡中，同樣面臨網絡性能分析、網絡問題定位及排障、網絡安全管理、合規審計、網絡擴展等問題。獲取完整的網絡流量是解決上述問題的前提。獲取并管理好現網監控流量并不是一件輕松的事情。在云環境下，選擇網絡流量采集方案需要考慮流量獲取的方式、環境中的流量模型、規模及可管理性、對現網環境的影響、平臺開放性。目前獲取虛擬交換機流量的技術方案有以下幾種，企業可根據自身IT環境的實際情況進行靈活部署。

1)在虛擬機或工作負載(Workload)中安裝采集探針，從操作系統層抓取流量信息。此方案探針部署規模大，且需要獲取虛擬機根(Root)權限。

2)通過在虛擬交換機(OVS：Open vSwitch、VDS：vSphere Distributed Switch、VSS：Virtual Standard Switch)上配置鏡像或廣播策略，將所需流量引出。該方案需要對生產平面的虛擬交換機進行配置。

3)在宿主機Hypervisor(如 Openstack Hypervisor)上安裝采集探針，以用戶態進程形式獨立獲取虛擬交換機上的流量。該方案無需對生產平面的虛擬交換機進行配置。

混合云環境中，網絡規模宏大且資源池類型繁多，虛擬交換機采集點數量相比傳統監控規模有幾個數量級的增長。在構建整體采集方案時，企業應充分考慮IT資源的多樣性，采集平臺應該分階段進行建設，尤其要注意確保方案具備擴展和統一管理能力。單一的生產環境在企業中并不多見，在進行流量采集部署時，需要滿足平滑部署且保證業務不間斷，同時確保對計算資源和網絡帶寬的消耗限制。

全網流量采集與分發方案

多數大型企業目前都存在多數據中心、混合云的IT設施資源，從網絡的角度看，自有的數據中心通過專有網絡互聯，并劃分業務區，并且有可能存在多個分支機構網絡。為保障資源彈性，業務快速上線等，也大量使用公有云資源，選擇多個云服務商。企業從運維排障、運營管理、業務性能等方面都需要對網絡有全面清晰的畫像。

本方案的目標是為企業混合云建立統一高效的網絡流量采集及分發平臺，面對各類資源池實現統一的流量采集抽象層，并且能對流量實現過濾、去重、壓縮、截短等處理功能，支持IPv4、IPv6協議環境，能為網絡運營中心、安全運營中心、大數據分析平臺等多方流量消費端提供數據供給。

數據中心側

實現全網流量采集及處理，可以從區域以及資源池來規劃，數據中心可按區域來定義，區域內通常包含多個可用區;區域內的網絡流量包含可用區內的物理網絡流量和資源池內的虛擬網絡流量。在物理網絡中，采集點通常由設備廠商的監控方案實現。DeepFlow® 采集器可對接設備廠商方案的標準數據輸出。各類型號的DeepFlow® 采集器為全網流量采集方案提供數據包捕獲能力;按部署方式分為VMware ESXi采集器、KVM采集器、KVM-DPDK采集器、HyperV采集器、容器OnVM采集器、容器OnHost采集器、Workload采集器等。

公有云側

公有云為租戶提供VPC網絡，Workload采集器以用戶態的軟件形式部署在虛擬機、容器、裸金屬設備等Workload上，支持Linux、Windows等主流操作系統，實現VPC內各類資源的網絡流量采集。由于部署安裝在Workload操作系統上，采集器數量多，可以通過鏡像進行預裝。

控制管理側

由于采集器數量大、策略多，波動強，需從控制面設計入手，解決大規模及可管理性的問題。在多點的部署環境中，首先指定主區域(Region)，主控制器存在于主區域中，當啟動主控制器高可用功能，主區域內應部署多臺控制器，通過心跳保證控制器間的狀態同步，及時啟動主、備控制器選舉。選舉產生主控制器后，為整體流量管理平臺提供控制入口。除主區域外的其他區域控制器為從控制器，不參與主控制器選舉。在云環境、容器環境中，控制器通過對接虛擬化資源池、配置管理數據庫、公有云開放API等，可實現多粒度下發采集、分發策略，更靈活、更貼近業務應用。

控制器完全控制采集器狀態，各類采集器具備相同狀態機機制，各類型的采集器可能處于自檢、運行、停止、異常、保護等幾種狀中，其中保護狀態，是確保采集器工作時，平臺能對其使用CPU、內存資源使用上限的限定。當采集器壓力過大時，采集器狀態將由“運行”切換至“保護”狀態，以確保不對生產環境產生影響，直至重新調整資源配置或處理壓力下降，切回至“運行”狀態。

此外，單一DeepFlow® 控制器可管理2000個采集器，通常能夠滿足一個可用區;控制器最大支持50臺的規模，方案整體可滿足10萬臺采集器統一管理，足以應對大型企業私有IT、公有云、容器等網絡流量采集需求。

基于分布式的監控流量處理

不同于集中式后處理的方案，DeepFlow® 采集器具備專利算法的前置計算能力可在采集點對流量進行直接處理。眾多采集器和控制器共同構建成一個與云網規模一致的分布式流量處理系統，大幅減少了分發數據對監控網絡和后端分析工具的壓力。通過各類型的采集器實現流量采集處理抽象層，主要對數據包處理能力進行抽象，包括過濾、去重、數據包截短、壓縮、特征標記等功能。

高性能網絡時序數據訂閱服務

對于非原始數據包的數據消費需求，平臺提供開放的數據訂閱方式。處理后的包頭，網絡元數據、遙測統計數據通過網絡平面匯總至高性能時序數據庫中，可通過API，消息隊列為其他數據消費平臺調用。

部署

整體方案主要涉及采集器、控制器、高性能時序數據庫三部分，在完成規劃整體方案后，可分區域、分資源池按階段投入建設，最終為企業混合云IT基礎設施環境構建統一的流量監控管理平臺。對于已經運行的混合云環境，可以在不影響生產環境運行的情況下部署實施，網絡規劃上將 DeepFlow® 平臺所涉及的管理、監控分發平面復用在已有的網絡平面中，通常可以復用已有的網絡管理平面。對于整體規劃的方案，建議對整體混合云規劃獨立的網絡監控平面，對混合云的監管流量統一、獨立地進行管理。根據流量、資源情況整體規劃采集器的性能，DeepFlow® 采集器最低可配置1vCPU、128M的計算資源。

與傳統方案比較

采集技術先進：全網采集方案主要圍繞 DeepFlow® 采集器技術實現，采集器以進程形態部署，最大程度上避免對生產交換平面的干擾，不存在與生產平面交換機流表沖突的風險，同時在操作系統上繼承進程級保護優勢，實現整體系統穩定。

分布式系統：采集到數據包后避免集中處理，采用分布式架構，采集點分布處理控制器集中管理。

場景全規模大：整體方案是基于分布式設計模型以及多地域管理，可以充分保障資源池規模彈性擴展，整體系統可管理 10 萬臺采集器，涵蓋虛擬機、容器、公有云資源池。

可管理性：平臺主控制器具備對所有采集器的監控和管理能力。通過對接云平臺使得操作貼近資源池特性，針對云資源的遷移、回收、重新部署等場景做到了實時策略跟隨，保障采集能力在動態環境下的持續執行。

數據服務：數據服務是將流量采集與后端平臺對接的重要環節，完整流量數據包多目的地分發，高性能網絡時序數據庫通過API、ZeroMQ、Kafka等消息隊列提供流數據服務。同時也將采集與后端各類分析工具解耦，避免流量采集器局限在僅為單一工具服務的豎井中。

總結

DeepFlow® 混合云全網監控流量采集與分發解決方案為企業在混合云、云原生等新型IT基礎設施環境演進過程中，提供完整地、可持續的平臺級監控流量管理，避免重復投入，重復安裝，解決實際網絡監管難題，也為企業規劃整體運維、安全平臺補齊現網流量、流日志這一板塊。本方案已應用于金融、運營商等客戶IT環境中。