云原生存儲(chǔ)高可用容器編排【免費(fèi)下載鏈接】longhornCloud-Native distributed storage built on and for Kubernetes項(xiàng)目地址https://gitcode.com/gh_mirrors/lo/longhorn點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文以 Longhorn 倉(cāng)庫(kù)中的設(shè)計(jì)文檔 enhancements/20200904-csi-snapshot-support.md 為骨架系統(tǒng)講解如何通過(guò) Kubernetes 標(biāo)準(zhǔn)的 CSI Snapshot 機(jī)制VolumeSnapshot/VolumeSnapshotContent/VolumeSnapshotClass資源對(duì) Longhorn 卷進(jìn)行程序化的備份創(chuàng)建、備份刪除與卷恢復(fù)。讀完本文你將掌握如何為 Longhorn 部署 CSI Snapshotter 前置組件、如何配置VolumeSnapshotClass、如何創(chuàng)建/刪除備份、如何從 CSI 快照恢復(fù)新卷以及如何將備份存儲(chǔ)中已存在的 Longhorn 備份預(yù)置為可恢復(fù)的 CSI 快照。背景與動(dòng)機(jī)在引入 CSI Snapshot 支持之前Longhorn 用戶只能通過(guò) UI、CLI 或直接調(diào)用 Longhorn API 與備份系統(tǒng)交互缺乏標(biāo)準(zhǔn)化的程序化訪問(wèn)途徑。該設(shè)計(jì)文檔提出在 Longhorn CSI 驅(qū)動(dòng)中增加對(duì) CSI Snapshot 機(jī)制的支持使既有 Kubernetes 生態(tài)工具可以直接創(chuàng)建VolumeSnapshotAPI 資源并由 CSI 插件響應(yīng)這些資源從而完成備份的創(chuàng)建、刪除與基于備份的卷恢復(fù)。相關(guān)需求來(lái)自 Longhorn issue #304、#610、#1127設(shè)計(jì)參照了 Kubernetes 社區(qū)的 CSI Snapshot 設(shè)計(jì)提案。其核心目標(biāo)非常聚焦為 Longhorn CSI 驅(qū)動(dòng)添加 CSI Snapshot 支持Goals不涉及VolumeBackupCRD 重構(gòu)、不改動(dòng) Longhorn 備份核心代碼Non-goals。CSI Snapshot 工作機(jī)制概覽CSI Snapshot 體系由三層 Kubernetes 資源構(gòu)成三者協(xié)作完成快照即備份的映射資源作用由誰(shuí)創(chuàng)建VolumeSnapshot用戶請(qǐng)求創(chuàng)建快照的入口聲明數(shù)據(jù)源PVC 或既有VolumeSnapshotContent用戶VolumeSnapshotContent已供應(yīng)快照的實(shí)例承載 CSI 返回的snapshotHandle外部 snapshotter自動(dòng)或用戶預(yù)置既有備份VolumeSnapshotClass聲明使用的 CSI driver 與刪除策略用戶/管理員工作流上用戶創(chuàng)建VolumeSnapshot后集群中的 snapshot controller 會(huì)調(diào)用 external-snapshotter后者通過(guò) CSI gRPC 接口調(diào)用 Longhorn CSI 插件插件側(cè)完成 Longhorn 快照 備份后返回一個(gè)snapshotHandlesnapshotter 將其寫(xiě)入自動(dòng)生成的VolumeSnapshotContent。前置條件與集群要求原設(shè)計(jì)文檔明確指出CSI Snapshot 支持依賴 Kubernetes 集群側(cè)具備 snapshot 能力而 CRD 與 snapshot controller 的安裝責(zé)任屬于 Kubernetes 發(fā)行版而非 Longhorn 本身。部署前需要確認(rèn)Kubernetes 版本原設(shè)計(jì)文檔要求集群版本至少為 1.17當(dāng)前倉(cāng)庫(kù)的 Longhorn 部署清單已演進(jìn)為更現(xiàn)代的組件版本見(jiàn)下文鏡像說(shuō)明生產(chǎn)環(huán)境請(qǐng)以所用 Longhorn 版本的官方文檔要求為準(zhǔn)。CRD 安裝集群中必須存在snapshot.storage.k8s.io相關(guān) CRDVolumeSnapshot、VolumeSnapshotContent、VolumeSnapshotClass該設(shè)計(jì)文檔特別提醒 rancher rke 默認(rèn)未部署這些 CRD需手動(dòng)安裝 external-snapshotter 的client/config/crd清單。Snapshot Controller集群中必須運(yùn)行 snapshot controllerexternal-snapshotter 的deploy/kubernetes/snapshot-controller清單rancher rke 同樣默認(rèn)未部署。CSI 組件鏡像在 airgap離線等需要手動(dòng)固定 CSI 鏡像的環(huán)境中需要手動(dòng)提供以下鏡像原設(shè)計(jì)文檔版本longhornio/csi-provisioner:v1.6.0longhornio/csi-snapshotter:v2.1.1原文檔同時(shí)說(shuō)明csi-provisioner 從 1.4 升級(jí)到 1.6但仍以 Kubernetes 1.13 為最低支持版本。當(dāng)前倉(cāng)庫(kù)中的 CSI 鏡像版本對(duì)照當(dāng)前倉(cāng)庫(kù)的 deploy/longhorn.yamlLonghorn 部署清單中的 CSI 相關(guān)鏡像已經(jīng)隨項(xiàng)目演進(jìn)升級(jí)csi-attacher:v4.12.0csi-provisioner:v6.3.0csi-node-driver-registrar:v2.17.0csi-resizer:v2.2.1csi-snapshotter:v8.6.0livenessprobe:v2.19.0這些鏡像統(tǒng)一以CSI_*_IMAGE環(huán)境變量注入 Longhorn CSI Driver 的 Deployment便于離線環(huán)境替換為私有倉(cāng)庫(kù)地址。Helm 部署方式下可通過(guò) chart/values.yaml 的image.csi.*配置項(xiàng)定制鏡像倉(cāng)庫(kù)與 tag對(duì)應(yīng)模板見(jiàn) chart/templates/deployment-driver.yaml。另外當(dāng)前部署清單中還預(yù)留了 CSI VolumeGroupSnapshot 開(kāi)關(guān)CSI_VOLUME_GROUP_SNAPSHOT_ENABLED注釋中明確提示啟用它需要先安裝groupsnapshot.storage.k8s.ioCRD否則 CSI Snapshotter 會(huì)停止服務(wù)常規(guī)卷快照普通用戶無(wú)需開(kāi)啟。配置 VolumeSnapshotClass由于無(wú)法假設(shè)用戶集群的發(fā)行版默認(rèn)包含 snapshotter 支持用戶必須自行創(chuàng)建VolumeSnapshotClass才能使用 CSI Snapshot。原設(shè)計(jì)文檔給出的示例為snapshot.storage.k8s.io/v1beta1版本當(dāng)前倉(cāng)庫(kù)的示例文件 examples/snapshot/snapshotclass.yaml 已使用穩(wěn)定的v1API 版本kind: VolumeSnapshotClass apiVersion: snapshot.storage.k8s.io/v1 metadata: name: longhorn driver: driver.longhorn.io deletionPolicy: Delete #parameters: # csi.storage.k8s.io/snapshotter-secret-name: mysecret # csi.storage.k8s.io/snapshotter-secret-namespace: mysecretnamespace要點(diǎn)說(shuō)明driver必須固定為 Longhorn 的 CSI 驅(qū)動(dòng)標(biāo)識(shí)driver.longhorn.io這是 external-snapshotter 與 Longhorn CSI 插件對(duì)接的依據(jù)。deletionPolicy決定刪除VolumeSnapshot時(shí)底層備份的處置方式詳見(jiàn)下文備份刪除一節(jié)。注釋掉的parameters字段用于配置 snapshotter 訪問(wèn)憑證 secret使用帶認(rèn)證的備份存儲(chǔ)時(shí)可參考啟用。用戶操作場(chǎng)景詳解以下四種場(chǎng)景全部來(lái)自原設(shè)計(jì)文檔的 User Experience In Detail 部分并已對(duì)照倉(cāng)庫(kù) examples/snapshot 目錄下的示例清單做了版本同步v1beta1→v1。場(chǎng)景一通過(guò) VolumeSnapshot 創(chuàng)建備份用戶創(chuàng)建 KubernetesVolumeSnapshot對(duì)象即可觸發(fā)對(duì)指定 PVC 的備份。例如對(duì)名為test-vol的卷請(qǐng)求備份apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: test-snapshot-pvc spec: volumeSnapshotClassName: longhorn source: persistentVolumeClaimName: test-vol對(duì)應(yīng)倉(cāng)庫(kù)示例examples/snapshot/snapshot_pvc.yaml。底層流程創(chuàng)建VolumeSnapshot資源后snapshot controller 與 external-snapshotter 會(huì)調(diào)用 Longhorn CSI 插件的CreateSnapshot接口。插件先創(chuàng)建 Longhorn 快照再通過(guò) Longhorn 備份機(jī)制將快照備份到用戶定義的備份存儲(chǔ)S3、NFS、Azure Blob 等。備份未完成期間CSI 快照會(huì)被標(biāo)記為 not ready to use用戶應(yīng)等待VolumeSnapshot進(jìn)入 Ready 狀態(tài)后再使用。場(chǎng)景二通過(guò) VolumeSnapshot 恢復(fù)新卷用戶創(chuàng)建引用VolumeSnapshot作為dataSource的 PVC即可從既有備份恢復(fù)出全新卷。例如基于test-snapshot-pvc恢復(fù)名為test-restore-snapshot-pvc的卷apiVersion: v1 kind: PersistentVolumeClaim metadata: name: test-restore-snapshot-pvc namespace: default spec: storageClassName: longhorn dataSource: name: test-snapshot-pvc kind: VolumeSnapshot apiGroup: snapshot.storage.k8s.io accessModes: - ReadWriteOnce resources: requests: storage: 2Gi對(duì)應(yīng)倉(cāng)庫(kù)示例examples/snapshot/restore_pvc_snapshot.yaml。注意storageClassName必須為 Longhorn StorageClass且 PVC 容量與備份來(lái)源卷容量保持一致示例為 2Gi。場(chǎng)景三恢復(fù)備份存儲(chǔ)中已存在的 Longhorn 備份預(yù)置對(duì)于不是通過(guò) CSI 層創(chuàng)建的既有 Longhorn 備份用戶需要手工創(chuàng)建一對(duì)VolumeSnapshotContentVolumeSnapshot對(duì)象將備份預(yù)置為 CSI 快照。核心是讓VolumeSnapshotContent.spec.source.snapshotHandle指向備份存儲(chǔ)中的既有備份格式為bs://backupVolume/backupNameapiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshotContent metadata: name: test-existing-backup spec: volumeSnapshotClassName: longhorn driver: driver.longhorn.io deletionPolicy: Delete source: # NOTE: change this to point to an existing backup on the backupstore snapshotHandle: bs://test-vol/backup-625159fb469e492e volumeSnapshotRef: name: test-snapshot-existing-backup namespace: defaultapiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: test-snapshot-existing-backup spec: volumeSnapshotClassName: longhorn source: volumeSnapshotContentName: test-existing-backupapiVersion: v1 kind: PersistentVolumeClaim metadata: name: test-restore-existing-backup namespace: default spec: storageClassName: longhorn dataSource: name: test-snapshot-existing-backup kind: VolumeSnapshot apiGroup: snapshot.storage.k8s.io accessModes: - ReadWriteOnce resources: requests: storage: 2Gi三個(gè)清單分別對(duì)應(yīng)倉(cāng)庫(kù)示例 examples/snapshot/existing_backup.yaml、examples/snapshot/snapshot_existing.yaml 和 examples/snapshot/restore_existing_backup.yaml。snapshotHandle中的bs://test-vol/backup-625159fb469e492e為占位示例實(shí)際使用時(shí)需替換為備份存儲(chǔ)中真實(shí)存在的備份標(biāo)識(shí)。場(chǎng)景四通過(guò)刪除 VolumeSnapshot 刪除備份刪除操作遵循VolumeSnapshotClass的deletionPolicyDelete默認(rèn)刪除VolumeSnapshot對(duì)象后snapshotter 會(huì)調(diào)用 CSIDeleteSnapshot接口底層 Longhorn 備份會(huì)連同VolumeSnapshotContent一起被刪除。Retain底層 Longhorn 備份與VolumeSnapshotContent均保留僅移除 Kubernetes 側(cè)的引用關(guān)系。命令行操作為kubectl delete volumesnapshots test-snapshot-pvc若希望保留 Longhorn 備份請(qǐng)創(chuàng)建deletionPolicy: Retain的VolumeSnapshotClass并在VolumeSnapshot中引用它。實(shí)現(xiàn)設(shè)計(jì)CSI 調(diào)用背后的 Longhorn 映射機(jī)制原設(shè)計(jì)文檔對(duì)本增強(qiáng)的實(shí)現(xiàn)方案做了清晰拆解理解這些機(jī)制有助于排查快照不可用備份找不到等問(wèn)題。CreateSnapshot從 CSI 請(qǐng)求名到備份的持久映射請(qǐng)求名的由來(lái)CSI snapshotter 依據(jù)配置的前綴 VolumeSnapshot.uuid生成 CSI snapshot request name并據(jù)此生成VolumeSnapshotContent.name snapcontent-uuid。必須復(fù)用同名對(duì)同一個(gè)VolumeSnapshot對(duì)象csi-snapshotter 會(huì)以相同的CSI snapshot 請(qǐng)求名反復(fù)調(diào)用 Longhorn CSI 插件備份大卷耗時(shí)很長(zhǎng)。因此 Longhorn 必須使用該請(qǐng)求名來(lái)命名 Longhorn 快照否則每次調(diào)用都會(huì)生成新快照——這顯然不是期望行為。原設(shè)計(jì)文檔也提出了另一條備選路徑引入VolumeBackupCRD 來(lái)持久關(guān)聯(lián) csiSnapshot ? longhornSnapshot ? longhornBackup但該 CRD 重構(gòu)被列為 Non-goal未在本增強(qiáng)中實(shí)現(xiàn)。snapshotID 編碼為讓后續(xù)DeleteSnapshot或CreateVolume調(diào)用能回查到對(duì)應(yīng)備份插件將backupVolume與backupName編碼進(jìn)CreateSnapshot返回的 snapshotID 中格式為type://backupVolume/backupName其中默認(rèn)type為bs直接引用 Longhorn 備份。該 snapshotID 會(huì)被 Kubernetes 寫(xiě)入自動(dòng)創(chuàng)建的VolumeSnapshotContent.spec.snapshotHandle。設(shè)計(jì)上保留type前綴是為了將來(lái)可以改為引用自定義 Kubernetes 資源用于備份元數(shù)據(jù)的持久化。恢復(fù)復(fù)用既有路徑基于 CSI 快照創(chuàng)建卷時(shí)解碼 snapshotID 即可在備份存儲(chǔ)中查到備份獲得backupURL并填入 Longhorn Volume 資源的fromBackup字段。由于 Longhorn 早已支持通過(guò) StorageClass 參數(shù)fromBackup恢復(fù)備份這里復(fù)用同一機(jī)制無(wú)需維護(hù)多套卷恢復(fù)代碼路徑。DeleteSnapshot解碼即刪除備份刪除的實(shí)現(xiàn)非常簡(jiǎn)潔解碼 snapshotID然后通過(guò) Longhorn API 觸發(fā)底層備份刪除調(diào)用。端到端驗(yàn)證測(cè)試方案原設(shè)計(jì)文檔給出了四組可復(fù)現(xiàn)的驗(yàn)證流程每組都圍繞數(shù)據(jù)寫(xiě)入 → 快照操作 → 備份核對(duì) → 數(shù)據(jù)校驗(yàn)閉環(huán)展開(kāi)創(chuàng)建測(cè)試Creation test創(chuàng)建卷向卷寫(xiě)入數(shù)據(jù)創(chuàng)建VolumeSnapshot對(duì)象等待VolumeSnapshot變?yōu)?ready to use檢查備份存儲(chǔ)中是否存在對(duì)應(yīng)備份。刪除測(cè)試Deletion test創(chuàng)建卷并寫(xiě)入數(shù)據(jù)創(chuàng)建VolumeSnapshot等待 ready to use確認(rèn)備份存儲(chǔ)中存在備份刪除VolumeSnapshot對(duì)象等待備份從備份存儲(chǔ)中移除?；謴?fù) CSI 快照測(cè)試Restore csi snapshot test創(chuàng)建卷并寫(xiě)入數(shù)據(jù)創(chuàng)建VolumeSnapshot等待 ready to use確認(rèn)備份存在創(chuàng)建dataSource指向該VolumeSnapshot的 PVC等待卷恢復(fù)完成校驗(yàn)恢復(fù)后的卷數(shù)據(jù)與寫(xiě)入前的數(shù)據(jù)一致?；謴?fù)既有 Longhorn 備份測(cè)試Restore existing longhorn backup test創(chuàng)建卷并寫(xiě)入數(shù)據(jù)創(chuàng)建 Longhorn 備份并確認(rèn)其存在于備份存儲(chǔ)創(chuàng)建指向該備份的VolumeSnapshotContent創(chuàng)建指向該VolumeSnapshotContent的VolumeSnapshot創(chuàng)建dataSource指向該VolumeSnapshot的 PVC等待卷恢復(fù)并校驗(yàn)數(shù)據(jù)一致性。所需的全部 YAML 清單見(jiàn)上文用戶操作場(chǎng)景詳解及 examples/snapshot 目錄。與后續(xù)增強(qiáng)的銜接CSI Snapshot 支持落地后Longhorn 圍繞快照/備份的 CSI 生態(tài)仍在持續(xù)演進(jìn)倉(cāng)庫(kù)中可看到兩條直接相關(guān)的后續(xù)設(shè)計(jì)enhancements/20220110-extend-csi-snapshot-to-support-longhorn-snapshot.md將 CSI Snapshot 擴(kuò)展支持到 Longhorn 本地快照enhancements/20230417-extend-csi-snapshot-to-support-backingimage.md將 CSI Snapshot 擴(kuò)展支持到 Backing Image。這說(shuō)明本文所述的type://backupVolume/backupName可擴(kuò)展 snapshotID 設(shè)計(jì)確實(shí)為后續(xù)資源類(lèi)型如自定義 CR 引用預(yù)留了空間。讀者可按需閱讀上述文檔了解后續(xù)能力邊界。常見(jiàn)問(wèn)題與注意事項(xiàng)快照一直 not ready to use備份未完成時(shí)快照不會(huì)進(jìn)入 Ready 狀態(tài)大卷備份耗時(shí)較長(zhǎng)請(qǐng)耐心等待并檢查備份存儲(chǔ)可達(dá)性。集群缺少 CRD/controllerVolumeSnapshot相關(guān) CRD 與 snapshot controller 屬于集群發(fā)行版職責(zé)Longhorn 安裝不會(huì)代為部署。若kubectl get volumesnapshots報(bào)資源不存在請(qǐng)先補(bǔ)齊 external-snapshotter 的 CRD 與 controller。離線環(huán)境鏡像固定airgap 環(huán)境務(wù)必手動(dòng)提供 CSI 鏡像原文檔為csi-provisioner:v1.6.0與csi-snapshotter:v2.1.1當(dāng)前版本請(qǐng)參考 deploy/longhorn.yaml 中的CSI_*_IMAGE變量。預(yù)置備份的 snapshotHandlebs://backupVolume/backupName必須指向備份存儲(chǔ)中真實(shí)存在的備份否則恢復(fù) PVC 會(huì)失敗。刪除策略默認(rèn)deletionPolicy: Delete會(huì)連帶刪除底層備份需保留備份時(shí)改用Retain的VolumeSnapshotClass?？偨Y(jié)通過(guò)本增強(qiáng)Longhorn 將標(biāo)準(zhǔn)的 Kubernetes CSI Snapshot 機(jī)制與自身快照/備份體系打通用戶可以用統(tǒng)一的VolumeSnapshot資源完成備份創(chuàng)建、刪除與卷恢復(fù)也能將備份存儲(chǔ)中已有的 Longhorn 備份預(yù)置為 CSI 快照進(jìn)行恢復(fù)而無(wú)需改變底層備份核心代碼。其關(guān)鍵實(shí)現(xiàn)——用 CSI snapshotter 生成的請(qǐng)求名持久映射快照與備份、以bs://backupVolume/backupName編碼 snapshotID、復(fù)用fromBackup恢復(fù)路徑——保證了多次重試冪等與恢復(fù)路徑的唯一性。部署時(shí)請(qǐng)務(wù)必確認(rèn)集群具備 snapshot CRD 與 controller并按需創(chuàng)建VolumeSnapshotClass參考 examples/snapshot/snapshotclass.yaml。贊分享云原生存儲(chǔ)高可用容器編排【免費(fèi)下載鏈接】longhornCloud-Native distributed storage built on and for Kubernetes項(xiàng)目地址https://gitcode.com/gh_mirrors/lo/longhorn點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Longhorn 擴(kuò)展 CSI Snapshot 管理 BackingImage基于 VolumeSnapshot 的鏡像創(chuàng)建、刪除與恢復(fù)實(shí)戰(zhàn)指南Longhorn 擴(kuò)展 CSI Snapshot 管理 BackingImage基于 VolumeSnapshot 的鏡像創(chuàng)建、刪除與恢復(fù)實(shí)戰(zhàn)指南 導(dǎo)讀 本指云原生存儲(chǔ)高可用容器編排Velero CSI 快照支持基于 Kubernetes CSI VolumeSnapshot API 的持久卷備份與恢復(fù)Velero CSI 快照支持基于 Kubernetes CSI VolumeSnapshot API 的持久卷備份與恢復(fù) Velero當(dāng)前倉(cāng)庫(kù)為 vmwa云原生災(zāi)備存儲(chǔ)后端Velero CSI 快照支持借助 Kubernetes CSI Snapshot API 實(shí)現(xiàn) CSI 卷的備份與恢復(fù)Velero CSI 快照支持借助 Kubernetes CSI Snapshot API 實(shí)現(xiàn) CSI 卷的備份與恢復(fù) 導(dǎo)讀 本文基于 Velero 官方文云原生災(zāi)備存儲(chǔ)后端上一篇三步完成Windows與Office永久激活KMS_VL_ALL_AIO技術(shù)指南下一篇PaddleNLP 小樣本多標(biāo)簽文本分類(lèi)實(shí)戰(zhàn)基于 ERNIE 3.0 的提示學(xué)習(xí)Prompt Learning全流程指南創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考