1. 堆疊不是簡單的“插線擴(kuò)容”先搞清楚它到底在解決什么問題很多人第一次接觸“堆疊”這個(gè)詞是在交換機(jī)機(jī)房里。兩臺設(shè)備幾根線一連配置幾行命令然后它們就“變成”了一臺設(shè)備。聽起來很神奇但如果你只停留在“插線擴(kuò)容”的認(rèn)知層面后面遇到環(huán)路、主備切換、版本升級這些問題時(shí)基本就是兩眼一抹黑。堆疊的本質(zhì)是把多臺物理設(shè)備在邏輯上整合成一臺單一的虛擬設(shè)備。這個(gè)“單一”體現(xiàn)在三個(gè)層面管理平面統(tǒng)一、控制平面統(tǒng)一、轉(zhuǎn)發(fā)平面協(xié)同。管理平面統(tǒng)一意味著你只需要一個(gè)管理地址就能管所有成員控制平面統(tǒng)一意味著整個(gè)堆疊系統(tǒng)只跑一套路由協(xié)議、一張轉(zhuǎn)發(fā)表轉(zhuǎn)發(fā)平面協(xié)同意味著跨設(shè)備的鏈路可以像同一臺設(shè)備上的端口一樣做聚合。為什么需要這樣做核心動機(jī)有三個(gè)。第一是簡化管理十幾臺接入交換機(jī)如果每臺都單獨(dú)配置、單獨(dú)監(jiān)控、單獨(dú)升級運(yùn)維成本會隨著設(shè)備數(shù)量線性增長而堆疊之后管理復(fù)雜度基本是常數(shù)級的。第二是消除二層環(huán)路傳統(tǒng)多臺設(shè)備互聯(lián)必須依賴生成樹協(xié)議來破環(huán)生成樹收斂慢、鏈路利用率低堆疊之后跨設(shè)備鏈路聚合天然無環(huán)所有鏈路都能轉(zhuǎn)發(fā)流量。第三是提升可靠性堆疊系統(tǒng)內(nèi)某臺成員故障時(shí)流量可以快速切換到其他成員業(yè)務(wù)中斷時(shí)間遠(yuǎn)小于傳統(tǒng)生成樹收斂。但這里有一個(gè)容易被忽略的前提堆疊不是萬能的。它解決的是同一邏輯區(qū)域內(nèi)多臺設(shè)備的整合問題跨機(jī)房、跨長距離的場景下堆疊線纜的部署會非常受限。所以理解堆疊的適用邊界比記住配置命令更重要。2. 堆疊的底層邏輯從“多臺設(shè)備”到“一臺設(shè)備”到底發(fā)生了什么2.1 堆疊系統(tǒng)的角色分工與選舉機(jī)制堆疊系統(tǒng)里的成員設(shè)備并不是平等的。啟動之后它們會經(jīng)過一輪選舉產(chǎn)生一個(gè)主設(shè)備Master和若干從設(shè)備Standby/Slave。主設(shè)備負(fù)責(zé)整個(gè)堆疊系統(tǒng)的控制平面運(yùn)算包括路由計(jì)算、ARP表維護(hù)、端口狀態(tài)管理等等。從設(shè)備則主要負(fù)責(zé)本地的轉(zhuǎn)發(fā)平面操作同時(shí)把本地的狀態(tài)信息同步給主設(shè)備。選舉的規(guī)則各廠商實(shí)現(xiàn)有差異但核心邏輯大同小異。通常會比較優(yōu)先級、MAC地址、設(shè)備型號等因素。優(yōu)先級是人為可以干預(yù)的所以你在規(guī)劃堆疊的時(shí)候最好提前把希望成為主設(shè)備的那個(gè)成員優(yōu)先級調(diào)高避免選舉結(jié)果隨機(jī)化。我見過不少案例因?yàn)闆]設(shè)優(yōu)先級結(jié)果一臺性能較弱的設(shè)備被選成了主設(shè)備整個(gè)堆疊系統(tǒng)的控制平面性能就成了瓶頸。選舉過程本身需要時(shí)間通常在幾十秒到幾分鐘不等取決于堆疊成員數(shù)量和鏈路質(zhì)量。這段時(shí)間內(nèi)堆疊系統(tǒng)處于不穩(wěn)定狀態(tài)業(yè)務(wù)轉(zhuǎn)發(fā)會受影響。所以堆疊建立的過程最好安排在業(yè)務(wù)窗口期進(jìn)行。2.2 堆疊鏈路的物理連接方式堆疊成員之間需要專用的堆疊鏈路來通信。這些鏈路承載的是設(shè)備間的控制消息和跨設(shè)備轉(zhuǎn)發(fā)流量對帶寬和延遲都有要求。常見的連接方式有兩種鏈形連接和環(huán)形連接。鏈形連接就是A連B、B連C、C連D首尾不相連。這種方式布線簡單但可靠性差——中間任何一條鏈路斷了堆疊系統(tǒng)就會分裂成兩個(gè)獨(dú)立的子系統(tǒng)。環(huán)形連接則是首尾相連任何一條鏈路故障都不會導(dǎo)致系統(tǒng)分裂可靠性更高。所以在實(shí)際部署中只要條件允許我都建議做環(huán)形堆疊。堆疊線纜的選擇也有講究。有些設(shè)備支持專用堆疊端口和專用堆疊線纜這種方案帶寬有保障、延遲低但線纜長度受限通常只有幾米適合同一機(jī)柜或相鄰機(jī)柜的設(shè)備。另一種方案是用普通業(yè)務(wù)端口做堆疊通過萬兆或更高速率的端口互聯(lián)這種方式線纜長度可以更長但會占用業(yè)務(wù)端口而且堆疊流量和業(yè)務(wù)流量共享帶寬規(guī)劃時(shí)需要留足余量。2.3 堆疊合并與分裂的典型場景堆疊系統(tǒng)在運(yùn)行過程中可能發(fā)生合并和分裂。合并是指兩個(gè)獨(dú)立的堆疊系統(tǒng)通過鏈路連接后重新選舉并整合成一個(gè)更大的堆疊系統(tǒng)。分裂則是指堆疊鏈路全部斷開后原堆疊系統(tǒng)拆分成多個(gè)獨(dú)立的子系統(tǒng)。分裂是最危險(xiǎn)的情況。因?yàn)榉至押蟮亩鄠€(gè)子系統(tǒng)都認(rèn)為自己是“正統(tǒng)”如果它們各自還連著上游網(wǎng)絡(luò)就可能出現(xiàn)IP地址沖突、MAC地址沖突、雙主控等問題。這時(shí)候就需要依賴雙主檢測機(jī)制來發(fā)現(xiàn)分裂并采取保護(hù)措施。雙主檢測通常通過業(yè)務(wù)端口發(fā)送檢測報(bào)文或者通過獨(dú)立的檢測鏈路來實(shí)現(xiàn)。一旦檢測到分裂通常會關(guān)閉其中一個(gè)子系統(tǒng)的業(yè)務(wù)端口避免網(wǎng)絡(luò)震蕩。3. 堆疊配置的完整實(shí)操鏈路從零搭建一個(gè)雙機(jī)堆疊系統(tǒng)3.1 前期規(guī)劃哪些參數(shù)必須在動手前確定在敲任何命令之前有幾件事必須先想清楚。第一是堆疊成員的物理位置和線纜走向這決定了你用鏈形還是環(huán)形用專用堆疊口還是業(yè)務(wù)口。第二是主設(shè)備的選定根據(jù)設(shè)備性能和業(yè)務(wù)分布確定哪臺做Master然后提前設(shè)置好優(yōu)先級。第三是堆疊系統(tǒng)的管理IP地址這個(gè)地址是給整個(gè)堆疊系統(tǒng)用的不是給單個(gè)成員用的。第四是堆疊域編號Domain ID同一個(gè)堆疊系統(tǒng)內(nèi)所有成員的域編號必須一致不同堆疊系統(tǒng)之間必須不同否則合并時(shí)會出現(xiàn)沖突。我一般會畫一張簡單的表格把每個(gè)成員的序列號、優(yōu)先級、預(yù)期角色、堆疊端口編號都列出來。這張表在后續(xù)配置和排錯(cuò)時(shí)非常有用尤其是成員數(shù)量超過兩臺的時(shí)候。3.2 堆疊建立的具體操作步驟以下步驟以常見的框式或盒式交換機(jī)堆疊為例不同廠商的命令語法有差異但邏輯是相通的。第一步登錄每臺成員設(shè)備先確認(rèn)當(dāng)前沒有殘留的堆疊配置。如果設(shè)備之前做過堆疊建議先清除相關(guān)配置并重啟避免舊配置干擾。第二步配置堆疊域編號和成員編號。成員編號在整個(gè)堆疊系統(tǒng)內(nèi)必須唯一通常從1開始編號。有些廠商支持自動編號但手動指定更可控。# 示例設(shè)置堆疊域編號為10成員編號為1 stack domain 10 stack member 1第三步配置堆疊優(yōu)先級。優(yōu)先級高的設(shè)備更有可能被選為Master。通常優(yōu)先級范圍是1-255默認(rèn)值各廠商不同建議主設(shè)備設(shè)為最高。# 示例設(shè)置堆疊優(yōu)先級為200 stack priority 200第四步指定堆疊端口。如果是專用堆疊口直接綁定即可如果是業(yè)務(wù)口需要先關(guān)閉業(yè)務(wù)口的二層/三層功能再綁定為堆疊口。# 示例將Te1/0/49和Te1/0/50綁定為堆疊口 interface Te1/0/49 stack port enable interface Te1/0/50 stack port enable第五步保存配置并重啟設(shè)備。堆疊配置通常需要重啟才能生效。重啟順序建議先重啟主設(shè)備等它完全啟動后再重啟從設(shè)備這樣可以減少選舉過程中的震蕩。第六步驗(yàn)證堆疊狀態(tài)。使用顯示命令查看堆疊成員、角色、鏈路狀態(tài)。# 示例查看堆疊狀態(tài) show stack show stack members show stack ports3.3 堆疊建立后的驗(yàn)證清單堆疊建立后不要急著上業(yè)務(wù)。先按以下清單逐項(xiàng)驗(yàn)證所有成員是否都被正確識別成員編號是否與規(guī)劃一致主從角色是否符合預(yù)期優(yōu)先級設(shè)置是否生效堆疊鏈路是否全部Up帶寬是否達(dá)到預(yù)期跨設(shè)備的鏈路聚合是否正常建立管理IP是否可達(dá)能否通過管理IP登錄整個(gè)堆疊系統(tǒng)雙主檢測是否配置并生效這張清單看起來簡單但實(shí)際項(xiàng)目中至少有三分之一的問題出在驗(yàn)證環(huán)節(jié)被跳過。比如堆疊鏈路雖然顯示Up但實(shí)際帶寬只有預(yù)期的一半原因可能是其中一條鏈路協(xié)商速率不對或者線纜質(zhì)量有問題。這些問題如果不提前發(fā)現(xiàn)等業(yè)務(wù)上線后就是隨機(jī)丟包和性能抖動。4. 堆疊運(yùn)維中最容易踩的五個(gè)坑4.1 版本不一致導(dǎo)致的堆疊分裂堆疊系統(tǒng)要求所有成員的軟件版本一致。如果版本不一致堆疊建立過程中可能出現(xiàn)成員無法加入、反復(fù)重啟、甚至堆疊分裂。我遇到過最典型的情況是一臺設(shè)備出廠版本較老另一臺是新版本直接堆疊后老版本設(shè)備反復(fù)嘗試加入失敗最后被隔離。解決辦法是在堆疊前統(tǒng)一升級到相同版本并且確認(rèn)補(bǔ)丁級別也一致。4.2 堆疊線纜松動引發(fā)的連鎖反應(yīng)堆疊線纜的物理連接質(zhì)量直接影響堆疊穩(wěn)定性。線纜松動、接口氧化、光模塊老化都可能導(dǎo)致堆疊鏈路閃斷。閃斷的后果比完全斷開更麻煩——完全斷開會觸發(fā)雙主檢測系統(tǒng)有明確的保護(hù)動作而閃斷可能導(dǎo)致控制平面消息丟失出現(xiàn)轉(zhuǎn)發(fā)表不一致、ARP表項(xiàng)不同步等隱蔽問題。所以堆疊線纜建議使用質(zhì)量可靠的成品線光模塊要選原廠或經(jīng)過兼容性驗(yàn)證的型號并且定期檢查接口狀態(tài)和光功率。4.3 主設(shè)備故障后的切換時(shí)間被低估主設(shè)備故障后從設(shè)備需要接管控制平面。這個(gè)切換時(shí)間取決于堆疊系統(tǒng)的實(shí)現(xiàn)和當(dāng)前狀態(tài)通常在秒級到十秒級。如果業(yè)務(wù)對中斷時(shí)間極其敏感這個(gè)切換時(shí)間可能無法接受。優(yōu)化方向有兩個(gè)一是選擇支持快速切換的堆疊方案二是通過跨設(shè)備鏈路聚合和上層協(xié)議收斂來減少對業(yè)務(wù)的沖擊。但無論如何不要假設(shè)主設(shè)備故障對業(yè)務(wù)“完全無感”提前做切換測試是必須的。4.4 堆疊系統(tǒng)升級的復(fù)雜性堆疊系統(tǒng)升級比單臺設(shè)備升級復(fù)雜得多。你需要考慮升級順序、業(yè)務(wù)中斷窗口、版本兼容性。通常的做法是先升級從設(shè)備再升級主設(shè)備利用堆疊系統(tǒng)的冗余能力減少業(yè)務(wù)中斷。但有些廠商的實(shí)現(xiàn)不支持在線升級必須整系統(tǒng)重啟那就需要安排完整的業(yè)務(wù)停窗。升級前務(wù)必備份配置確認(rèn)新版本與當(dāng)前硬件的兼容性并且準(zhǔn)備好回退方案。4.5 堆疊與生成樹的交互問題堆疊系統(tǒng)對外表現(xiàn)為一臺設(shè)備但內(nèi)部成員之間如果還有殘留的生成樹配置可能產(chǎn)生意想不到的交互。比如某些成員上還保留著舊的生成樹優(yōu)先級配置堆疊后可能導(dǎo)致生成樹拓?fù)溆?jì)算異常。建議在堆疊建立后清理所有成員上不必要的生成樹配置統(tǒng)一由堆疊系統(tǒng)的主設(shè)備來管理生成樹參數(shù)。5. 堆疊技術(shù)的適用邊界與替代方案對比堆疊不是解決所有網(wǎng)絡(luò)擴(kuò)展問題的銀彈。它最適合的場景是同一機(jī)房內(nèi)、多臺同系列設(shè)備、需要簡化管理和消除二層的場景。但如果設(shè)備分布在不同的機(jī)房、不同的樓層堆疊線纜的部署就會成為大問題。這時(shí)候可以考慮其他技術(shù)方案。方案管理復(fù)雜度二層環(huán)路跨設(shè)備鏈路聚合適用距離典型場景堆疊低無支持短距離幾米到幾十米同機(jī)房多臺接入/匯聚傳統(tǒng)生成樹高依賴破環(huán)不支持任意分散設(shè)備互聯(lián)跨設(shè)備鏈路聚合中無支持中等距離雙歸接入分布式網(wǎng)關(guān)中高無支持任意大型數(shù)據(jù)中心從表格可以看出堆疊的核心優(yōu)勢在于管理簡化和無環(huán)轉(zhuǎn)發(fā)但代價(jià)是距離受限。如果你的設(shè)備分布超過堆疊線纜的可靠傳輸距離那就應(yīng)該考慮跨設(shè)備鏈路聚合或分布式網(wǎng)關(guān)方案而不是強(qiáng)行堆疊。另外堆疊系統(tǒng)的規(guī)模也有上限。成員數(shù)量越多控制平面同步的開銷越大選舉和切換的時(shí)間越長穩(wěn)定性風(fēng)險(xiǎn)也越高。一般建議堆疊成員不超過4到8臺具體取決于廠商的實(shí)現(xiàn)和業(yè)務(wù)需求。超過這個(gè)規(guī)模就應(yīng)該考慮分層架構(gòu)而不是繼續(xù)堆疊。6. 從堆疊到設(shè)備虛擬化一個(gè)更大的技術(shù)圖景堆疊是設(shè)備虛擬化技術(shù)的一個(gè)分支。設(shè)備虛擬化的核心思想是把多個(gè)物理實(shí)體抽象成一個(gè)邏輯實(shí)體從而獲得簡化管理、提升可靠性、優(yōu)化資源利用率等好處。除了堆疊還有橫向虛擬化如跨設(shè)備鏈路聚合和縱向虛擬化如將接入設(shè)備作為匯聚設(shè)備的遠(yuǎn)程板卡等不同形態(tài)。理解堆疊在設(shè)備虛擬化技術(shù)圖譜中的位置有助于你在面對具體需求時(shí)做出更合理的選擇。比如如果你需要的是“多臺設(shè)備統(tǒng)一管理但不需要跨設(shè)備鏈路聚合”那堆疊可能過度設(shè)計(jì)了如果你需要的是“跨機(jī)房的雙活接入”那堆疊根本不適用應(yīng)該看分布式網(wǎng)關(guān)方案。我在實(shí)際項(xiàng)目中總結(jié)出一條經(jīng)驗(yàn)堆疊適合“同機(jī)房、同系列、同版本、短距離”的四同場景缺一個(gè)條件就要重新評估方案。這條經(jīng)驗(yàn)幫我避免了好幾次生搬硬套堆疊導(dǎo)致的返工。最后分享一個(gè)實(shí)操中的小技巧在堆疊系統(tǒng)上線前用模擬器或者測試環(huán)境做一次完整的分裂測試和主備切換測試。具體做法是拔掉一條堆疊鏈路觀察系統(tǒng)反應(yīng)再拔掉主設(shè)備的電源觀察切換時(shí)間最后恢復(fù)并確認(rèn)系統(tǒng)能自動回到穩(wěn)定狀態(tài)。這個(gè)測試花不了多少時(shí)間但能讓你對堆疊系統(tǒng)的真實(shí)行為有直觀認(rèn)識比看任何文檔都管用。