摘要：邢舟開源與開放標準工程院軟件工程師背景回顧月日，中國社區(qū)全新改版線上課堂，邀請邢舟老師以直播的方式進行了一場以存儲概覽為題的線上講解，反響熱烈。為更好地為學員整合問答，中國社區(qū)特別整理了本期模塊，感謝邢舟老師百忙之中進行校對。

邢舟 /IBM 開源與開放標準工程院軟件工程師

背景回顧：8 月 2 日 20:00，K8sMeetup 中國社區(qū)全新改版線上課堂，邀請邢舟老師以直播的方式進行了一場以《Kubernetes 存儲概覽 & Volume Provisioner》為題的線上講解，反響熱烈。為更好地為學員整合問答，K8sMeetup 中國社區(qū)特別整理了本期 Q & A 模塊，感謝邢舟老師百忙之中進行校對。

Kubernetes 存儲的主要應(yīng)用場景

@青春$：本地掛載卷，比如一個 node上啟動倆個 nginx 怎么做？

A：兩個 nginx 實例么？如果是的話，貌似需要配置 scheduler 讓其分配到同一個節(jié)點上，比如設(shè)置 node affinity 等選項。

Kubernetes 存儲模塊

(￣^￣)ゞ: 創(chuàng)建 pod 的 yaml 文件有沒有統(tǒng)一管理的工具？

A：如果您是指編輯 yaml 的話，目前我都是 vim 編輯的，其他同事有好的編輯工具歡迎共享出來。如果是指保存的話，可以在數(shù)據(jù)庫或者對象存儲里統(tǒng)一保管，Kubernetes 有一定的版本保存功能（如deployment 等的 rolling update），但完全的版本管理需要自己設(shè)置版本管理環(huán)境多帶帶保存。

華: 存儲容量的配額管理怎么做？

A：目前 Kubernetes 的配額管理統(tǒng)一通過 resourceQuota 對象完成，不過存儲容量的配額管理，尤其是本地存儲配額的管理，目前 Kubernetes 還未實現(xiàn)。

Sa.#：本地只能實現(xiàn)臨時存儲嗎？

A：不是的，在 Kubernetes 1.7 后出現(xiàn)了 LocalStorage 這種類型，可以作為 PV source 出現(xiàn)，相關(guān)文檔在：
https://kubernetes.io/docs/co...

歡型悠悠too:

如何實現(xiàn)共享存儲？

如何實現(xiàn)共享存儲，將一塊盤給多個 pod 用？

A：只要后臺存儲支持掛載到多個節(jié)點，那么在 pod spec 中引用相應(yīng)的存儲對象就可以實現(xiàn)將一個塊設(shè)備給多個 pod 使用。

Leon Shi: 存儲是怎樣實現(xiàn)多租戶隔離？

A：這個問題社區(qū)現(xiàn)在正在討論，對 LocalStorage 可能有一些 proposal, 不過目前基本沒什么實現(xiàn)，大家可以關(guān)注一下社區(qū)的進展。

逗號：pod scaling 的時候用的是同一個 volume 嗎？

A：如果是遠程網(wǎng)絡(luò) volume 支持 RWX 的，是可以使用同一個 volume 的，如果是本地臨時存儲或者不支持多掛載的，是不支持的。

Michael: 我現(xiàn)在有個需求就是，同類型的共享一個目錄？這個有什么好的辦法嗎？

A：對映射目錄的問題，可以查看官方文檔，目前僅 project volume 類型支持一定程度的同一目錄映射，文檔：https://kubernetes.io/docs/co...

JackShan:

Kubernetes下面塊設(shè)備一般使用哪種?

保障 docker 的安全都有哪些措施？

A：Kubernetes 的塊設(shè)備是以插件形式提供的，目前已經(jīng)提供了幾十種主流存儲平臺的插件。Kubernetes 官方插件列表請參考我上周分享中的PPT，里面有一頁專門介紹。
想要看具體的信息，您也可以參考文檔：https://kubernetes.io/docs/co...
在 Docker 安全這邊主要是權(quán)限方面的管理，可以參考以下社區(qū) ticket:
https://github.com/kubernetes...

尼克: pod 的存儲會不會跟隨 pod 在 nodes 上的分布一樣分布到不同的 node?

A：是的，需要掛載到 pod 所在的節(jié)點（針對遠程網(wǎng)絡(luò)存儲，本地存儲無所謂）

Michael: 現(xiàn)在社區(qū)有什么好的辦法針對存儲這塊嗎？有什么比較成熟的?

A：您可以看一下社區(qū)的存儲插件列表，選擇一個存儲解決方案。但 Kubernetes 目前在存儲這一塊只實現(xiàn)了最基礎(chǔ)的功能。

馬詩潔：我們的 resize 的話，這個會影響到現(xiàn)有的邏輯卷不，是備份原有數(shù)據(jù)然后重新劃分內(nèi)存，然后數(shù)據(jù)恢復嗎？還是說直接添加內(nèi)存？

A：resize 問題請參考上面類似的問題，目前社區(qū)只有一個 proposal 計劃支持增加磁盤尺寸的。目前選擇的做法是直接動態(tài)擴大原來快設(shè)備的存儲，然后再改文件系統(tǒng)。

風云：attach detach manager 和 volume manager 怎么一起工作，都會掛載 volume 嗎，還是有分工？講師好像說過有個參數(shù)可以去分工？
A：是的，但 volume manager 也可以做 attach/detach 的工作。通過 kubelet 的參數(shù) “--enable-controller-attach-detach=true” 區(qū)分。

H~Z~G：怎么改變 Kubernetes 默認存儲路徑？
A：存儲路徑是在Container Spec中指定的，然后 Kubernetes 會通過Volume Manager和Volume Plugin實現(xiàn)attach和mount。

Yongkui：volume plugin 是各個廠商自己寫的？

A：官方提供了一組插件列表，請參見 PPT 中的總結(jié)。也可自己擴展，主要通過兩個接口：
1.external-storage-provisioner(https://github.com/kubernetes...
2.FlexVolume(https://kubernetes.io/docs/co...

牛海朋： 應(yīng)用的配置文件是存在 volume 還是 configmap 合適，有啥不一樣嗎？

A：一般推薦是使用 configmap, secret 或者 downward API 來完成 app 配置，這個過程可以有 Kubernetes 將配置文件注入到 pod 的文件系統(tǒng)設(shè)置是環(huán)境變量里面。如果走 volume，應(yīng)該需要您將配置信息提前準備好放在 PV 上。

阿星:

卷的生命周期里面有個 using 狀態(tài)，可以從 api 里面找到這個狀態(tài)嗎？我看到過 bound 的狀態(tài)。

社區(qū)會考慮記錄 PV 被那些 pod 使用嗎？從 pod 里可以看到使用了那些卷，不知道能不能從 PV 看到該 PV 被那些 pod 使用了？

A：我沒看到過 using 這個狀態(tài)，PV 的狀態(tài)基本就是 pending, available, bound，released 以及failed?？梢詮?node 對象查看每個 node 有哪些 volume attach，從 pod 對象可以查看到需要使用的 pv 信息，反向的應(yīng)該沒有（或者哪位同事熟悉這塊代碼可以指正一下，謝謝）

Kubernetes 存儲目前存在的一些問題

官官久久: Accessmodes 的 RWO RWX 模式和 pod 的調(diào)度有關(guān)嗎？

A：目前沒有，但如果要做 RWO 和 RWX 的檢查的話，需要從 scheduler 開始做。

keon: Accessmode 不是有單節(jié)點讀寫，多節(jié)點只讀，多節(jié)點讀寫嗎？

A：目前的 AccessMode 包括：ReadOnlyMany(ROX), ReadWriteMany(RWX)和RWO(ReadWriteOnly)。詳細的AccessMode 介紹，推薦您去參照鏈接中的文檔：https://kubernetes.io/docs/co...

阿星：AccessMode 是不是只用在 PV 和 PVC 的 bind 過程中，跟底層的存儲特性沒有關(guān)聯(lián)？

A：是的，目前 Kubernetes 沒有在實際 attach 和 mount 過程中執(zhí)行 AccessMode檢查。

Infei：

RC 的 PV 掛載如何實現(xiàn)數(shù)據(jù)的一致性？

pod 重新掛載 PV，是檢查 PV 的狀態(tài)嗎？pod 故障時 PV 的狀態(tài)會改變嗎？

A：多 pod 之間的數(shù)據(jù)一致性主要通過同一磁盤掛載到多個不同 pod 以及依賴存儲平臺的解決方案實現(xiàn)，目前這部分內(nèi)容實現(xiàn)的比較弱，但可以保證 pod 故障時數(shù)據(jù)不受影響，在 pod 重啟后，volume 會重新掛載到 pod。

PV、PVC & StorageClass

H~Z~G：PV、PVC 是什么？

A：PV 和 PVC 是 Kubernetes 中的兩種資源，PV(Persistent Volume)代表一塊實際的后臺塊存儲設(shè)備；PVC（Persistent Volume Claim）代表的是 Pod 用戶對塊存儲的實際需求，PV 和 PVC 的綁定完成了實際塊存儲設(shè)備和存儲需求的綁定。

董明心: PV 和 PVC 一定是成對出現(xiàn)的么？

A：不一定，但綁定時是 1-1 綁定的?？梢酝ㄟ^kubectl 命令多帶帶創(chuàng)建 PV 和 PVC。

小清、劉沖：PVC 和 PV 是一對一還是一對多？

A：PV 和 PVC 是一對一的關(guān)系，但是 PV 和 PVC 都可以通過 Kubectl create 來多帶帶創(chuàng)建，未綁定的 PV 和 PVC 一般處于 available 和 Pending 狀態(tài)。

lota: 先創(chuàng)建 PVC?

A：沒有順序要求，都可以通過 kubectl create 命令分別創(chuàng)建。

Chao: PVC 找 PV 是隨機找的，還是有相應(yīng)匹配規(guī)則？可以讓 PVC 綁定到指定 PV 嗎？

A：PVC 可以指定需要綁定的 volume, 通過在 PVC 的 Spec 里面定義實現(xiàn)。但是有一種情況是預定的 PV 可能會被其他 PVC 綁定。匹配規(guī)則主要是在 findBestMatch 方法中進行的，主要依據(jù)是兩方面： AccessMode 和磁盤容量，并滿足最小匹配原則。

it2911: PVC 和 PV 的 resize 問題上，就 StroageClass 的擴容請問是否目前也是無解？

A：對，這個問題目前確實無解。一般兩種方案，一種是創(chuàng)建大的 volume,然后 data migration, 另一種就是現(xiàn)在社區(qū)想采用的，直接 resize,然后更新 fs, 但第二種我覺得局限性有點大，很多插件都不支持。

阿仆來耶：為什么 PV 創(chuàng)建的 yaml 中需要指定 StroageClass？

A：我理解是 PVC 需要指定 StroageClass? PVC 并不一定需要指定 StroageClass。StroageClass 我的理解主要為了存儲的分類（如根據(jù) io 等指標）以及 dynamic provisioning。PVC 可以直接指定 PV 的名稱，也可以通過三種其他方式使用 StroageClass:
(1). 不指定，使用默認 StroageClass；
(2).指定空的 StroageClass, 讓 Kubernetes 自動匹配合適的 PV；
(3).指定一個 StroageClass, 使用 in-tree 或者 out-of-tree provisioner 創(chuàng)建塊設(shè)備。

?歐帝?:請問老師 readwriteonce 和 readwritemany 的區(qū)別是什么？什么場景能用many？

A：就是同一塊塊設(shè)備是否能夠同時掛載到多個節(jié)點上，主要是為了應(yīng)用程序之間共享數(shù)據(jù)或者協(xié)同編輯數(shù)據(jù)用的。

柯蓬：

請問 ReadWriteMany 什么場景下會用到？需要特定的 PV 來支持嗎？

有沒有可以推薦的分布式 volume？使用起來性能如何？

A：就是需要多個 pod 同時讀寫一個磁盤的場合，一般用于應(yīng)用程序間的數(shù)據(jù)共享和協(xié)同操作。AccessMode 是需要后面存儲平臺支持的，即只有存儲平臺中的 volume 支持被掛載到多個節(jié)點時才支持，如 IBM SL Block, 目前就只能支持一個設(shè)備掛載到一個節(jié)點上。

Out of Tree Provisioner 的基本實現(xiàn)

張曉宇@serendipity： Cephfs 更改掛載方式 fuse 可以用 out of tree 方式嗎？

A：Cephfs 應(yīng)該有個 out-of-tree provisioner, 鏈接在: https://github.com/kubernetes... 有用過的同事可以分享一下，謝謝。

Green： Kubernetes 與 Mesos 到底是不是一個最佳實踐呢？

A：目前 IBM 的實踐來看，Mesos on Kubernetes 或者 Kubernetes on mesos 都并不是好的選擇。 Kubernetes 社區(qū)也正在逐漸淡化兩者之間的集成關(guān)系，主要原因在于帶來的復雜性過高，用戶需要同時把握 Kubernetes、Mesos 以及兩者之間的集成關(guān)系，一旦出現(xiàn)問題，很難診斷和解決。

Zing：現(xiàn)在 Kubernetes 在生產(chǎn)環(huán)境的實踐情況怎么樣？

A：因為我沒有參與過 Kubernetes 的實際生產(chǎn)部署，所以目前不了解實際的生產(chǎn)實踐。但我可以邀請 IBM 或者其他有生產(chǎn)實踐的企業(yè)嘉賓給大家做實際部署的分享，在實際部署方面，相信 Kubernetes 的坑還是比較多的。如果大家感興趣，請把感興趣的話題發(fā)到群里以便我們安排下一步的課程。