簡介《FusionCompute實驗手冊1》面向備考華為HCIP-Cloud Computing V4.0的學(xué)員及希望掌握服務(wù)器虛擬化運維的讀者圍繞FusionCompute平臺梳理從環(huán)境搭建到日常運維的實踐路徑。文件為1個docx文檔壓縮包約10.53MB正文按7個實驗分為四部分先依托KVM嵌套環(huán)境完成CNA與VRM安裝理解基礎(chǔ)架構(gòu)再練習(xí)計算、存儲、網(wǎng)絡(luò)三類虛擬資源管理隨后覆蓋虛擬機創(chuàng)建、Tools安裝、模板封裝、快照、規(guī)格調(diào)整、HA、熱遷移及安全組規(guī)則組等發(fā)放管理操作最后涉及用戶管理、管理數(shù)據(jù)備份與時間管理等常見運維。已有227人學(xué)習(xí)下載。手冊以實驗任務(wù)串聯(lián)知識點便于讀者對照拓撲和配置說明完成操作也適合作為認證備考與平臺運維查漏補缺的參考。1. 裝 FusionCompute 之前先算清你要幾塊網(wǎng)卡裝 FusionCompute 這件事最容易被低估的地方是第一屏CNA 的安裝向?qū)б还仓挥袔灼凉芾砜?IP、存儲口 IP、VLAN ID、主機名這四項填下去后面想改的成本比重裝還高。我在一套 KVM 嵌套環(huán)境里按手冊第 1 章走的時候把存儲 VLAN 填成了管理 VLAN結(jié)果到「添加主機」那一步一直卡在「主機網(wǎng)絡(luò)不通」回頭查了兩個多小時才發(fā)現(xiàn)是網(wǎng)卡綁錯了平面。這份實驗手冊對應(yīng) Cloud Computing V4.0 高級工程師方向的 FusionCompute 部分一共 7 個實驗、四個部分從環(huán)境搭建一路做到虛擬機發(fā)放和日常運維適合正在備考的人也適合剛接手虛擬化資源池、需要把 CNA 和 VRM 裝一遍摸清架構(gòu)的人。下面按我實際裝一遍的順序?qū)懓咽謨岳餂]寫透的參數(shù)取舍和容易失敗的點補上。2. 環(huán)境規(guī)劃FusionCompute 6.5.0 的安裝包、IP 與嵌套虛擬化裝之前先把東西湊齊。這一步很多人會跳過直接開虛擬機結(jié)果裝到一半發(fā)現(xiàn)缺 VRM 包或者發(fā)現(xiàn)虛擬機的網(wǎng)卡配少了。手冊配套實驗依托 KVM 嵌套虛擬化環(huán)境實現(xiàn)也就是說你的實驗虛機本身跑在一臺 KVM 宿主機上CNA 再跑在實驗虛機里。這個結(jié)構(gòu)決定了三件事CPU 要能透傳硬件虛擬化、網(wǎng)絡(luò)要能橋接出去、每臺 CNA 至少兩塊網(wǎng)卡。2.1 軟件包與工具清單七樣?xùn)|西缺一不可手冊列出的軟件和工具我整理成一張表裝機前對著核一遍比裝到一半再回頭找省事得多文件或工具版本或形態(tài)用途FusionCompute 6.5.0_Installer.zip6.5.0服務(wù)器虛擬化安裝工具含 CNA 安裝介質(zhì)與安裝客戶端FusionCompute 6.5.0_VRM.zip6.5.0VRM 軟件包安裝 VRM 時上傳cn_windows_10_Professional_x86_64專業(yè)版鏡像實驗所需 Windows 虛擬機CentOS-7-x86_64-DVD-1810.iso7.1810實驗所需 Linux 虛擬機PuTTY任意穩(wěn)定版SSH 登錄 Linux 系統(tǒng)與 CNAVNC Viewer任意穩(wěn)定版連 KVM 虛機控制臺WinSCP任意穩(wěn)定版?zhèn)靼惭b包、導(dǎo)模板兩個 zip 包要分清用途Installer 包里是 CNA 的安裝介質(zhì)和那個連接 CNA 用的安裝客戶端VRM 包留到裝 VRM 那一步才用得上。只下第一個包就開裝是最常見的低級翻車。提示Installer 和 VRM 的版本號必須對齊。6.5.0 的 Installer 配 6.5.0 的 VRM 包混版本會在 VRM 安裝向?qū)У男ｒ炿A段直接被拒報的還是「軟件包不匹配」這種看不出所以然的錯。2.2 IP 與 VLAN 規(guī)劃手冊那張網(wǎng)表要先抄下來實驗拓撲里兩臺 CNA 加一臺 VRM管理面和存儲面分開走這是能不能一次裝通的關(guān)鍵。按手冊的網(wǎng)絡(luò)配置說明整理如下網(wǎng)元管理 IP存儲 IPVLANCNA01192.168.201.101192.168.202.101存儲 VLAN 202CNA02192.168.201.102192.168.202.102存儲 VLAN 202VRM192.168.201.100192.168.201.11 / 192.168.202.11管理 201 / 存儲 202為什么非要分兩個平面管理平面跑的是 VRM 與 CNA 之間的心跳和 API 調(diào)用流量小而敏感存儲平面跑的是 iSCSI 讀寫一旦有大文件拷貝或者虛機啟動風暴流量會瞬間打滿。兩個擠在一張網(wǎng)卡上最典型的表現(xiàn)就是 VRM 管理界面點一下轉(zhuǎn)三秒虛機還時不時失聯(lián)。常見做法就是物理上兩塊網(wǎng)卡、邏輯上兩個 VLAN實驗環(huán)境里用兩塊虛擬網(wǎng)卡模擬。VRM 有兩個存儲 IP是因為 VRM 自己也是一臺虛機它的磁盤可以放在管理存儲上也可以放到存儲平面去手冊里兩個都給了。實驗階段我一般只配 192.168.201.11 那個等存儲資源添加完再補第二個少填一個少一個錯。2.3 KVM 嵌套虛擬化把實驗虛機先跑起來宿主機是 KVM 的話先確認硬件虛擬化能透傳到虛機里否則裝了 CNA 也起不來虛機。三條命令依次跑# 1. 確認 CPU 支持并已開啟硬件虛擬化返回值大于 0 才算可用 egrep -c (vmx|svm) /proc/cpuinfo # 2. 列出 KVM 宿主機上的所有虛機確認兩臺 CNA 虛機都已創(chuàng)建 virsh list --all # 3. 查看某臺虛機的網(wǎng)卡列表確認管理面和存儲面各一塊 virsh domiflist CNA01第一條的返回值是關(guān)鍵0 表示嵌套虛擬化沒開你在這臺虛機里再裝 CNA、再在 CNA 上創(chuàng)建虛機會卡在虛機加電階段界面上什么錯都不報就是不啟動。第二條用來核對虛機命名我習(xí)慣直接叫 CNA01、CNA02、VRM后面在 VRM 界面里添加主機時對得上。第三條最容易被忽略輸出里應(yīng)該看到兩塊網(wǎng)卡如果只有一塊回到第 3 章安裝 CNA 時會發(fā)現(xiàn)向?qū)Ю锔具x不出存儲平面的網(wǎng)卡。網(wǎng)絡(luò)這邊還要確認橋接# 查看當前網(wǎng)橋和綁定的物理網(wǎng)卡 brctl show # 查看橋接接口上的地址 ip addr show br0brctl show輸出里br0 下面的 interfaces 列應(yīng)該掛著宿主機的物理網(wǎng)卡以及兩臺 CNA 虛機的虛擬網(wǎng)卡。ip addr show br0應(yīng)該能看到宿主機在 192.168.201.x 段的地址。這兩條對不上后面所有 ping 都不通。注意如果egrep -c (vmx|svm) /proc/cpuinfo返回 0改虛機配置文件重啟是不生效的要在 KVM 宿主機上把 CPU 模式改成 host-passthrough 后重建虛機。這個參數(shù)屬于「創(chuàng)建時定死」的那一類別指望熱改。3. 安裝 CNA 與 VRM從裸機到能打開登錄頁這一章是整個實驗里最容易反復(fù)重來的部分。CNA 裝完才輪到 VRMVRM 裝完才有圖形界面中間任何一步填錯都只能重裝。我的建議是每裝完一臺就把 IP、主機名、密碼記在記事本上別指望回頭去翻。3.1 安裝 CNA管理口、存儲口和主機名在這一步定死CNA 的安裝是引導(dǎo)式的不是在操作系統(tǒng)里跑腳本。以 CNA01 為例流程是這樣的在 KVM 宿主機上新建虛機命名 CNA012 vCPU、8 GB 內(nèi)存、40 GB 系統(tǒng)盤掛兩塊網(wǎng)卡光驅(qū)掛載 Installer 包里的 CNA ISO。開機進引導(dǎo)界面選安裝進配置向?qū)?。管理平面IP 填 192.168.201.101掩碼 255.255.255.0網(wǎng)關(guān) 192.168.201.1VLAN ID 留空。存儲平面IP 填 192.168.202.101VLAN ID 填 202。主機名填 CNA01設(shè)置 root 密碼確認后開始寫入。安裝完成自動重啟拔掉 ISO 避免二次引導(dǎo)。參數(shù)上要摳的只有兩處。VLAN ID 那一欄管理平面如果交換機側(cè)是 access 口就留空是 trunk 口才填管理 VLAN存儲平面填 202 是因為兩臺 CNA 的存儲口要落進同一個二層域后面 iSCSI 才能互相看到。主機名必須唯一VRM 里添加主機時靠它區(qū)分兩臺都叫 localhost 的話添加第二臺會提示主機已存在。CNA02 的流程完全一樣IP 換成 192.168.201.102 和 192.168.202.102。兩臺都裝完回宿主機驗一下# 裝完 CNA 先確認 SSH 能進能進說明系統(tǒng)起來了 ssh root192.168.201.101 # 進去后看系統(tǒng)版本輸出里應(yīng)能看到 6.5.0 字樣 cat /etc/*release # 看網(wǎng)卡和地址管理口和存儲口應(yīng)該各有一個地址 ip addr showssh能進是第一個通過信號進不去先別急著查 FusionCompute先回到 2.3 那兩條網(wǎng)橋命令。ip addr show的輸出里如果只有一個地址說明安裝時只配了一個平面這種情況不用糾結(jié)直接重裝比在系統(tǒng)里手工加網(wǎng)卡快。提示CNA 安裝完成后管理口的 Web 服務(wù)是開著的用瀏覽器訪問 https://192.168.201.101:8443 能看到 CNA 自己的管理頁。這個頁面不是 VRM 界面容易看混VRM 的地址是 192.168.201.100。3.2 安裝 VRM在 CNA 之上再起一臺虛機VRM 不是裝在物理機上它是通過安裝客戶端連到一臺已經(jīng)裝好的 CNA由這臺 CNA 創(chuàng)建出一臺 VRM 虛機。所以順序不能反也不能跳。打開 Installer 包里的安裝客戶端輸入 CNA01 的管理 IP 和 root 賬號密碼連上去然后按向?qū)ё呱蟼?VRM 軟件包配置 VRM 虛機規(guī)格我一般給 2 vCPU、8 GB 內(nèi)存、系統(tǒng)盤 50 GB 起配置 VRM 的 IP 地址 192.168.201.100、掩碼和網(wǎng)關(guān)確認后開始部署。整個部署過程就是 CNA 在本地存儲上建了一臺虛機再把 VRM 軟件寫進去耗時比裝 CNA 長中間別關(guān)客戶端。裝完先確認端口通不通# -k 跳過自簽證書校驗-I 只取響應(yīng)頭 curl -k -I https://192.168.201.100:8443返回 200 或者 302 就說明 VRM 服務(wù)起來了。返回 connection refused八成是 VRM 虛機沒起來回 CNA 上用 VNC Viewer 連進去看虛機控制臺通常能看到卡在引導(dǎo)或者磁盤掛載失敗。返回超時回到網(wǎng)絡(luò)平面去查跟 VRM 服務(wù)本身沒關(guān)系。3.3 首次登錄 VRM 與基礎(chǔ)檢查瀏覽器打開 https://192.168.201.100:8443證書告警點繼續(xù)用 admin 登錄。首次登錄會強制改密碼改完記下來實驗環(huán)境里我一般統(tǒng)一成一個好記的強口令別用默認的。登進去先別急著建集群把三件事核一遍系統(tǒng)管理里的 VRM 狀態(tài)是不是正常、CNA01 是不是已經(jīng)注冊在列表里、系統(tǒng)時間和宿主機時間差多少。第三項看著無關(guān)緊要實際上時間不同步會導(dǎo)致后面添加主機時認證失敗報的還是「用戶名或密碼錯誤」很容易往錯誤方向查。4. 資源池初始化集群、IP-SAN、分布式交換機與第一臺虛擬機裝完 CNA 和 VRM界面能打開了但這時候整個環(huán)境還只是個空殼。真正讓資源池跑起來的是三件事把主機拉進集群、把存儲掛上來、把網(wǎng)絡(luò)配通。這三件事的順序建議按計算、存儲、網(wǎng)絡(luò)的順序做因為添加存儲和端口組的時候都要選主機主機沒加進集群就選不到。4.1 創(chuàng)建集群并添加兩臺 CNA 主機在 VRM 里新建集群命名 Cluster01集群策略里把 HA 和 DRS 打開。HA 是主機故障時虛機自動重啟DRS 是資源不均衡時自動遷移這兩個實驗后面都要用現(xiàn)在不開后面還得回來改集群配置。添加主機時輸入 CNA02 的管理 IP 192.168.201.102 和 root 密碼一路下一步。加完看主機狀態(tài)正常狀態(tài)是「正?！谷绻@示「離線」或者「維護」點進去看告警詳情。兩臺主機都加進集群后在集群下的「計算資源」里應(yīng)該能看到兩個主機節(jié)點CPU 和內(nèi)存總量是兩臺之和。如果只看到一臺或者另一臺的資源顯示為 0先查 4.1 里添加主機那一步有沒有報錯再查兩臺主機的時間是否同步。4.2 IP-SAN 存儲iSCSI 啟動器、端口綁定與數(shù)據(jù)存儲存儲這塊分三步順序不能亂先改 iSCSI 啟動器號再做端口綁定最后加存儲資源。第一步兩臺主機的 iSCSI 啟動器號必須不一樣。進主機「存儲接口」里看 iSCSI 啟動器號如果兩臺是同一個改成不同的。這個號相當于主機在存儲側(cè)的身份證一樣的話存儲只認一臺掃描設(shè)備時另一臺什么都掃不到。第二步配置端口綁定。把存儲平面的網(wǎng)卡綁定到 iSCSI 主端口上綁完之后 iSCSI 流量只走 192.168.202.x 這個平面不會串到管理面。第三步添加存儲資源填存儲設(shè)備的 IP 和端口 3260然后掃描存儲設(shè)備掃出來之后再添加數(shù)據(jù)存儲。實驗環(huán)境如果沒有硬件存儲通常用一臺 Linux 主機裝 targetcli 模擬# 查看 iSCSI 目標端已導(dǎo)出的后端存儲 targetcli ls /iscsi # 確認 3260 端口在監(jiān)聽 ss -lntp | grep 3260targetcli ls /iscsi里能看到 target 和它下面的 lun說明存儲側(cè)導(dǎo)出成功。ss -lntp | grep 3260里 -l 是監(jiān)聽狀態(tài)、-n 顯示數(shù)字端口、-t 只顯示 TCP、-p 帶進程名3260 是 iSCSI 的默認端口。這條不通FusionCompute 那邊掃描設(shè)備一定是空的別在 VRM 里反復(fù)點。存儲資源加完創(chuàng)建一塊普通精簡磁盤驗證一下。精簡磁盤的特點是先分配邏輯空間、后分配物理空間寫多少占多少實驗環(huán)境空間有限時用這個比厚置備合適。4.3 分布式交換機、上行鏈路與 VLAN 池網(wǎng)絡(luò)這塊的坑集中在順序上。分布式交換機建好之后要先加上行鏈路再加 VLAN 池最后才能加端口組。VLAN 池是所有端口組可選 VLAN 的集合池里沒有 201建端口組時 VLAN 下拉框就是空的很多人卡在這一步以為是權(quán)限問題。上行鏈路綁的是主機的物理網(wǎng)卡兩臺 CNA 都要綁只綁一臺的話另一臺主機上的虛機沒網(wǎng)絡(luò)出口。VLAN 池里把 201 和 202 都加進去201 給業(yè)務(wù)虛機用202 給存儲用。端口組建一個業(yè)務(wù)端口組VLAN 選 201后面部署虛機時選這個端口組。配完可以順手驗證一下二層通不通在 VRM 里隨便找一臺虛擬機的控制臺或者直接登錄 CNAping 一次網(wǎng)關(guān)。這一步是為了確認 VLAN 池和端口組的配置真的生效了不是只在界面上顯示正常。4.4 模板導(dǎo)入、按模板部署與 Tools 安裝虛擬機發(fā)放這部分手冊給了 Windows 和 CentOS 兩條線流程基本一致導(dǎo)入模板、按模板部署、裝 Tools、再封裝成新模板。導(dǎo)入模板在「虛擬機」下的模板頁簽里操作格式一般是 OVF 或 OVA。導(dǎo)入時選好所屬集群和存儲導(dǎo)完在模板列表里能看到。按模板部署時選集群、存儲、端口組部署完開機。Tools 安裝分系統(tǒng)。Windows 虛機直接掛載 Tools ISO進系統(tǒng)后跑里面的安裝程序一路下一步重啟就行。CentOS 這邊手工掛載# 創(chuàng)建掛載點把光驅(qū)掛上去 mkdir -p /mnt/tools mount /dev/cdrom /mnt/tools # 進目錄看安裝包通常是一個腳本加一個 rpm cd /mnt/tools lsmount把光驅(qū)設(shè)備掛到目錄上/dev/cdrom是光驅(qū)的符號鏈接指向?qū)嶋H的 /dev/sr0。掛載失敗提示「no medium found」說明虛機沒掛載 Tools ISO回 VRM 界面給虛機掛上再執(zhí)行。裝完 Tools 建議重啟一次網(wǎng)卡驅(qū)動和內(nèi)存氣球驅(qū)動才完整生效不重啟的話后面做規(guī)格調(diào)整會失敗。Tools 裝完是封裝模板的前置條件。手冊里把「制作虛擬機模板」單獨列了一節(jié)核心動作就是虛機里清理臨時文件、關(guān)機、再從虛機轉(zhuǎn)成模板。轉(zhuǎn)之前一定要關(guān)機運行中的虛機轉(zhuǎn)模板會失敗。5. 常見問題排查六個最容易出錯的地方這一章是我自己裝下來記錄的問題清單每條按現(xiàn)象、原因、解決三段的順序?qū)?。有些問題在手冊里不會寫因為手冊假設(shè)環(huán)境是干凈的而實際裝的時候環(huán)境往往不干凈。5.1 安裝與網(wǎng)絡(luò)類三條添加主機失敗提示「主機網(wǎng)絡(luò)不通」?，F(xiàn)象是 VRM 里加 CNA02 的時候卡在連接階段報網(wǎng)絡(luò)不通但宿主機 ping 192.168.201.102 是通的。原因是 CNA 安裝時管理平面和存儲平面的網(wǎng)卡綁反了或者 VLAN ID 填錯導(dǎo)致 CNA 的回包走錯平面。解決方法是 ssh 進 CNA用ip addr show看兩個地址分別落在哪塊網(wǎng)卡上綁反了直接重裝別在系統(tǒng)里手工改路由改完 VRM 那邊還是認不上。VRM 裝完瀏覽器打不開 8443?，F(xiàn)象是安裝客戶端提示部署成功但瀏覽器訪問超時。原因通常是 VRM 虛機的 IP 和 CNA 管理口不在同一網(wǎng)段或者網(wǎng)關(guān)填錯了。解決方法是 VNC 連到 CNA 上看 VRM 虛機的控制臺登錄界面進去ip addr核地址改完重啟 VRM 服務(wù)。如果地址是對的還打不開看 CNA 上的防火墻是不是攔了 8443。虛機部署完拿不到 IP?，F(xiàn)象是虛機開機正常網(wǎng)卡也識別了但ip addr里只有 lo。原因是部署時選的端口組 VLAN 和交換機側(cè)不一致或者端口組根本沒綁上行鏈路。解決方法是回分布式交換機里看端口組的 VLAN 配置再確認上行鏈路綁的是哪塊物理網(wǎng)卡兩塊都對還不行就在虛機里手動配個靜態(tài)地址試能通說明是 DHCP 側(cè)的問題。5.2 存儲與虛擬機類三條掃描存儲設(shè)備掃不到東西?，F(xiàn)象是存儲資源加上了點掃描設(shè)備列表是空的。原因有三個常見方向iSCSI 啟動器號兩臺主機重復(fù)、存儲平面端口沒綁定、存儲側(cè)沒導(dǎo)出或者在防火墻后面。排查順序是先看兩臺主機的啟動器號是否不同再看存儲接口的端口綁定最后去存儲側(cè)ss -lntp | grep 3260。三個都沒問題再看 202 網(wǎng)段兩臺主機互相能不能 ping 通。添加數(shù)據(jù)存儲失敗提示設(shè)備已被使用。現(xiàn)象是掃描能看到設(shè)備但加數(shù)據(jù)存儲時報占用。原因是這塊 LUN 之前被別的環(huán)境格式化過還留著舊的簽名。解決方法是先在存儲側(cè)確認這塊 LUN 沒被別的環(huán)境在用然后在 FusionCompute 里對設(shè)備做一次清除簽名再添加。實驗環(huán)境里圖省事可以直接在存儲側(cè)重新導(dǎo)出一塊干凈的 LUN。熱遷移失敗提示主機不兼容。現(xiàn)象是手動遷移虛機時選不了目標主機或者選了之后報錯。原因是目標主機沒掛載同一塊共享存儲或者兩臺主機的 CPU 特性不一致。前者去目標主機的存儲列表里確認數(shù)據(jù)存儲是否可見后者在集群里把 CPU 兼容性模式調(diào)成和兩臺主機都兼容的級別。嵌套環(huán)境里 CPU 特性不一致是常態(tài)這個坑幾乎每次裝都會遇到。還有一條值得單獨說時間不同步導(dǎo)致添加主機報認證失敗?，F(xiàn)象是密碼明明是對的但就是加不上主機報「用戶名或密碼錯誤」。原因是 CNA 和 VRM 的時間差超過閾值認證直接失敗。解決方法是在兩臺 CNA 和 VRM 上分別看時間差得多就把 NTP 配上實驗環(huán)境里手動改也行改完再添加。6. 裝完怎么驗證一次 HA 加一次熱遷移就夠界面能打開、主機是綠的、存儲掛上了這些都不算裝完。真正能說明這套 FusionCompute 環(huán)境可用是兩件事虛機能在主機之間遷移主機掛了虛機能自己回來。我習(xí)慣按下面這張表逐項過一遍全部通過才算交付驗收項操作通過標準虛機基礎(chǔ)連通部署一臺測試虛機開機拿地址能 ping 通網(wǎng)關(guān)能 SSH 或遠程桌面進去快照回滾給測試虛機打一次快照改個文件再恢復(fù)恢復(fù)后改動消失虛機正常啟動手動熱遷移把運行中的虛機從 CNA01 遷到 CNA02遷移過程中虛機不中斷ping 不掉包HA 接管直接給 CNA01 斷電觀察虛機虛機在 CNA02 上自動重啟業(yè)務(wù)恢復(fù)熱遷移那一項要重點看 ping遷移過程中在另一個窗口持續(xù)ping -c 100 虛機IP掉包超過三四個就說明共享存儲或者網(wǎng)絡(luò)配置有問題正常應(yīng)該是零丟包或者偶爾一兩個。HA 那一項別在正式環(huán)境演實驗環(huán)境里直接斷 CNA01 的電源觀察虛機多久在 CNA02 上起來一般一到三分鐘。做完這四項再回到 VRM 的告警頁面看一遍清掉所有殘留告警。有些告警是安裝過程中產(chǎn)生的歷史告警不清掉的話下次出問題時你會以為是新問題。從那以后我每次裝完 FusionCompute都會先跑一遍這四項驗收尤其是熱遷移和 HA 這兩條界面全綠但遷移失敗的例子見過不止一次。裝環(huán)境這件事能跑起來和能扛住故障是兩回事驗收清單不走過一遍等于沒裝完。希望幫到你。本文還有配套的精品資源點擊獲取