醫院分布式雙活數據中心的網絡架構

序論：好文章的創作是一個不斷探索和完善的過程，我們為您推薦一篇醫院分布式雙活數據中心的網絡架構范例，希望它們能助您一臂之力，提升您的閱讀品質，帶來更深刻的閱讀感受。

一、前言

隨著醫院規模的不斷擴大，醫療信息化程度的逐漸提高，醫院數據中心業務日益增加。醫療業務的開展對信息系統的依賴性愈發強烈，且需求不斷提高。醫院對信息系統的穩定運行越來越重視，對業務連續性要求越來越高，重要的業務系統只允許短暫停頓甚至不允許中斷業務。從行業建設標準來看，醫療行業互聯互通評級、電子病歷評級，信息安全三級等保要求，對災備都有明確要求，以保證醫院系統持續運行。出于災備、資源利用率等方面的考慮，醫院可能在不同的物理站點部署自己的數據中心網絡，包括醫聯體內的多地部署等。如何將這些數據中心站點連接起來，降低管理成本、靈活擴充業務等成為醫院數據中心的重要任務。EVPN?VXLAN不僅為分散在不同位置的物理站點提供二層和三層互聯，還可以通過EVPN網關在不同的物理站點之間提供三層互通，實現了不同VXLAN之間及VXLAN與外部網絡之間的三層通信。

二、分布式數據中心網絡

傳統的醫院數據中心采用主備模式，主用數據中心對外提供業務，備用數據中心大多時候處于閑置狀態。只有在發生災難宕機的情況下，業務系統才從主遷移到備。這樣導致醫院投入大量人力和物力建設的備用數據中心大多時候都是處于閑置狀態，資源使用率極低。更為重要的是，主-備模式的數據中心的RTO和RPO無法保證業務的連續性，醫院信息互聯互通測評也對數據災備恢復有明確的的指標要求，五級乙等要達到RTO≤0.25h，RPO≤0.25h的要求。伴隨著醫療數據大集中、業務應用不斷增多、以及醫院對業務連續性要求的不斷提高，分布式雙活數據中心的建設已然成為醫院數據中心建設的目標和方向。分布式雙活數據中心優化了投資利用率、保證了業務連續性。建設分布式雙活數據中心需要網絡、存儲、計算資源甚至包括應用系統等多個方面之間的緊密合作，是一個龐大的系統工程。在數據中心之間建設一張虛擬的大二層網絡是實現網絡層面分布式雙活的基礎。通過大二層網絡實現跨數據中心的集群和資源共享及故障探測，是保證故障發生后切換過程不丟包的重要手段。

三、大二層網絡

（一）Underlay和Overlay

Underlay網絡就是傳統的物理網絡，可實現設備之間互聯互通。在這個層面可用的網絡設備虛擬化技術包括VSS、CSS、IRF等，從物理層面上構建大二層，難免需要對原來的網絡做較大的改動，并且這些技術的大二層網絡的范圍依然會受到種種條件的限制，包括光纖資源或物理距離的限制。主要還是用于數據中心內部或近距離數據中心之間使用。

Overlay網絡通過封裝技術、利用Underlay網絡提供的三層轉發路徑，實現報文在不同站點間傳遞。對于用基于EVPNVXLAN技術實現醫院分布式雙活數據中心的網絡架構白鵬馬嵐戶來說Underlay網絡是透明的，只能感知到Overlay網絡。Overlay技術架構能夠實現虛擬網絡與物理網絡解耦，分離控制平面與數據平面[1]。這個層面的大二層技術主要有VPLS、OTV（Overlay?Transport?Virtualization?，覆蓋傳輸虛擬化）、EVI（Ethernet?Virtual?Interconnection?，以太網虛擬化互聯）、EVN（Ethernet?virtual?Network，以太網虛擬網絡）、VXLAN（Virtual?Extensible?LocalArea?Nexwork，虛擬擴展局域網）、EVPN（Ethernet?Virtual?Private?Network，以太網虛擬專用網絡）等，其中OTV?屬于思科的私有協議，EVI?屬于華三的私有協議，EVN屬于華為的私有協議[2]。VPLS是一種經過驗證且廣泛部署的技術，然而當它涉及多宿主和冗余、多播優化、提供簡單性、基于流的負載平衡和多路徑等情況時，現有的解決方案有許多限制。這些限制卻是數據中心的重要考慮因素[3]。當前數據中心應用比較廣泛的通用技術是EVPN和VXLAN?技術。

（二）EVPN?VXLAN技術

EVPN是一種基于Overlay的二層VPN技術，控制平面采用擴展的BGP協議通告BGP?EVPN路由信息，數據平面可以采用VXLAN、NVGRE或MPLS封裝方式轉發報文[4]。用戶的物理站點分散在不同位置時，EVPN可以基于現有的網絡，為不同站點提供二層互聯。為了支持EVPN，MP-BGP在L2VPN地址族下定義了新的子地址族——EVPN地址族，并為該地址族定義了EVPN?NLRI（Network?Layer?Reachability?Information，網絡層可達性信息），即EVPN路由。EVPN子地址族使用的地址族編號為：AFI=25，SAFI=70p[5]。EVPN通過MP-BGP可以實現PE/VTEP的自動發現、PW/VXLAN隧道的自動建立、VXLAN隧道與VXLAN隧道的自動關聯，無需手工配置，這大大降低了網絡部署的難度。而且控制平面和數據平面是分離的，由控制平面負責路由的發布，數據平面負責報文的轉發。架構非常清晰、易于管理。相較于VPLS技術EVPN不僅支持多歸屬的應用場景，還采用MP-BGP宣告二層的MAC/IP信息（即ARP或ND信息），形成二層和三層的控制信令都通過BGP協議來完成。既解決了多歸屬應用場景時的負載分擔、網絡故障收斂的問題，又保證了終端之間的隔離，還具有較好的擴展性。VXLAN是一種實現網絡虛擬化的Overlay技術,主要應用于數據中心組網,?通過隧道封裝在一個共享的三層Underlay?網絡上實現二層擴展[6]。基于IP網絡、采用“MAC?in??UDP”封裝形式的二層VPN技術。VXLAN可以基于已有的IP網絡，為分散的物理站點提供二層互聯，并能夠為不同的用戶提供業務隔離。IANA為VXLAN?UDP端口分配了4789端口號，作為目標端口的默認值。VXLAN的一些早期實現為目標端口使用了其他值。為了實現與這些實現的互操作性，目標端口應該是可配置的[7]。由于VXLAN采用了MAC?in?UDP的封裝方式，使虛擬機遷移時IP、MAC不變，實現原始二層報文在IP網絡中的透明傳輸，保證虛擬機遷移前后的IP和MAC不變。VXLAN使用24位的標識符，最多可支持2的24次方（16777216）個VXLAN，支持的租戶數目大規模增加，解決了傳統二層網絡VLAN資源不足的問題。VXLAN只在IP核心網絡的邊緣設備進行封裝和處理，在基于IP網絡組建大二層網絡時，使網絡部署和維護更加容易。EVPN?VXLAN是將EVPN與VXLAN結合使用，控制平面采用MP-BGP通告EVPN路由信息，數據平面采用VXLAN封裝方式轉發報文[8]。EVPN?VXLAN通過VXLAN?ID來標識VXLAN網絡，并為每個VXLAN網絡維護獨立的MAC地址表，以實現相同VXLAN網絡的二層互通、不同VXLAN網絡的二層隔離。通過在網絡中部署EVPN?VXLAN網關，還可以實現不同VXLAN網絡的三層互通，以及VXLAN網絡與外部網絡的三層通信。

四、設計與實現

（一）數據中心站點間互聯

醫院數據中心的不同物理站點之間首先需要通過傳統網絡技術互聯形成?Underlay網絡。然后再利用EVPN?VXLAN搭建Overlay大二層網絡。由于網絡中需要使用BGP路由協議，當EVPN?VXLAN網絡中的設備屬于同一個AS（Autonomous?System，自治域系統）時，在建立IBGP鄰居時要形成全連接的鄰居關系或對等體。若網絡設備眾多，則網絡的配置相當復雜和繁瑣，這就需要在網絡中部署路由反射器（RR）以減輕網絡部署的難度。網絡中所有需要建立IBGP鄰居關系的設備都只與路由反射器（RR）建立IBGP鄰居關系。路由反射器（RR）與IBGP鄰居設備之間建立連接后形成鄰居設備列表，將從某個IBGP鄰居設備收到的路由反射給其他的IBGP鄰居設備，形成全連接的鄰居關系。EVPN?VXLAN通常采用核心——分支的分層結構。核心層設備通常作為路由反射器（RR）反射BGP?EVPN路由；分支層設備作為VTEP，轉發二層流量或三層流量。EVPN?VXLAN網絡構建的是一個相對獨立的網絡空間，可以通過接入外網，實現與外界網絡的通信。為了與外界網絡互通，在VXLAN網絡的邊緣，還需要部署邊界（Border）設備。邊界（Border）設備通過Underlay網絡的接口與外網之間運行路由協議學習路由；然后將這些路由引入到EVPN?VXLAN網絡中。在實際組網中，通常部署多臺邊界（Border）設備。這些邊界（Border）設備都可以通告這些路由，從而形成等價路由負載分擔的架構。EVPN?VXLAN網絡主要包括如下幾個組成部分：VTEP：EVPN網絡邊緣設備，EVPN相關處理均在其上進行。VXLAN隧道：兩個VTEP之間的點到點邏輯連接。AC接入電路：連接站點和VTEP的物理電路或虛擬電路，如以太網鏈路、VLAN，如圖1所示為了實現EVPN?VXLAN網絡的三層互通，需要部署EVPN?VXLAN網關。在EVPN?VXLAN網關上配置VSI虛接口，并為該接口配置IP地址作為網關地址。EVPN?VXLAN網關分為：集中式網關和分布式網關兩種。集中式網關：網絡中只有一臺設備作為網關，不同VXLAN之間的流量以及VXLAN訪問外部網絡的流量全部通過這個網關處理。這種組網方式配置簡單，但網關的壓力比較大。分布式網關：網絡中多臺設備作為網關，能夠對本地站點的流量進行三層轉發，緩解了網關的壓力。在分布式網關組網中，通常邊界（Border）設備也需要配置VSI虛接口，用來與外部網絡通信。

（二）數據中心間互聯

超大規模的醫院或在醫聯體模式下醫療單位，隨著業務規模的不斷發展，跨地域的數據中心同樣需要互聯。跨地域、大范圍的互聯很有可能需要依賴通訊服務提供商作為支撐。服務提供商可能會提供VPLS、PBB-VPLS，EVPN或PBB-EVPN等鏈路。數據中心間互聯通過EVPN?VXLAN數據中心互聯技術在數據中心之間建立VXLAN-DCI（VXLAN?Data?Center?Interconnect，VXLAN數據中心互聯）隧道，實現不同數據中心之間虛擬機的二層和三層互通。

1.使用GW的數據中心互聯

當與運營商保持一致控制范圍的邊界時，可能需要在數據中心網絡中使用網關（GW）功能，這是因為網關提供了跨越網絡邊界時的?VNI轉換。根據連接方式的不同，分為解耦互連和集成互連兩個解決方案。兩者的區別主要在于解耦互連解決方案中數據中心網絡和廣域網不是同一個的服務提供商，只是EVPN-Overlay與WAN之間簡單的連接轉換，轉換的方式可以基于VLAN或是MPLS?的PW，廣域網中部署的L2VPN?擁有技術的獨立性，如圖2所示。集成互聯解決方案中數據中心網絡和廣域網由同一管理實體運營，可以將網關（GW）和WAN?Edge功能集成在同一設備中，?EVPN-Overlay網絡與WAN中支持的L2VPN?技術之間的控制平面和數據平面互通[9]。集成互聯解決方案中不再提供數據中心網絡和廣域網之間的明確分界鏈接，網關（GW）可以具有本地AC，如圖3所示。

2.使用ASBR的數據中心互聯

在不同數據中心網絡虛擬邊界需要互連，并且網絡虛擬邊界需要使用本地分配的VNI（例如，類似于MPLS標簽）的情況下，可能不需要在數據中心網絡的邊緣使用網關（GW）。更具體地說，發送網絡虛擬邊界使用的VNI值由接收業務的網絡虛擬邊界分配（換句話說，這類似于“下游分配的”MPLS標簽）。這使得VNI空間可以在不同的DCN之間解耦，而無需在數據中心邊緣設置專用網關，如圖4。這種方法可以被視為與上一種方法相反的方法，它有利于數據中心互聯設備的簡化，而不是使用網絡虛擬邊界NVE，網絡虛擬邊界NVE需要維護較大的MAC-VRF（和IP-VRF）表,而數據中心互聯設備不需要維護任何MAC（和IP）轉發表。此外，DCI設備不需要終止和處理與多歸屬相關的路由，而是中繼這些消息以建立端到端標簽交換路徑（LSP）。換句話說，這種方法中的DCI設備的運行方式與MPLS?VPN?中AS間option?B的ASBR類似。這要求使用本地分配的VNI，就像使用下游分配的MPLS?VPN標簽一樣，在所有實際用途中，VNI的功能類似于24位VPN標簽。這種方法同樣適用于采用MPLS封裝的數據中心（或運營商以太網）[10]。

五、負載均衡技術

負載均衡屬于網絡行業內較為常見的一種技術[11]，通過負載均衡技術，可以實現流量在不同數據中心間的調度以及在單獨數據中心內多服務器的負載均衡；同時負載均衡設備也是探測業務故障實現自動切換的關鍵點。不同的負載均衡技術需要部署在網絡中的不同位置，以完成各自的流量分發任務。實現靈活業務流量調試，有兩個主要的設備：全局負載均衡，主要完成DNS解析功能；本地負載均衡，主要負責對內部服務器健康狀態檢查、將訪問流量分擔到不同服務器以及出口流量的鏈路負載分擔等。全局負載均衡可以和本地負載均衡聯動，當本地負載均衡檢測到管轄的服務器資源故障，不能對外提供服務時，全局負載均衡可以對DNS解析做替換。同時本地負載均衡會實時保持與全局負載均衡聯動，將檢測到的服務器健康狀況上報給全局負載均衡。在分布式雙活數據中心方案中，無論是基于IP地址還是DNS發布的雙活業務，都可以通過數據中心間大二層網絡，將進入到故障數據中心的流量引導到正常數據中心，來保證業務的連續性。從用戶角度來看，RTO（Recovery?Time?Objective，RTO）恢復時間目標[12]可以為0。無論業務訪問的是哪個數據中心，或是跨數據中心路徑的訪問，虛擬的大二層網絡都可以為訪問流量提供了始終可用的服務站點。

六、結語

傳統醫院數據中心網絡多采用核心交換機VRRP或多虛一虛擬化技術避免單點故障，而以大二層技術為基礎的數據中心突破了物理限制，為醫院提供分布式雙活數據中心的擴展能力。分布式雙活數據中心的建設是一個復雜的系統工程，它不僅僅是網絡系統雙活，更是涉及到服務器、數據庫和存儲等多個系統，甚至和具體應用也息息相關。EVPN?VXLAN技術可以為醫院提供更加完善數據中心網絡的解決方案。隨著網絡架構的變革，醫院管理層與信息部門也需要不斷的提升綜合素質和能力，配合更加完善的管理秩序，以應對醫院信息化建設中的更多挑戰。H

作者:白鵬 單位:天津醫科大學總醫院