k8s集群應(yīng)用基于Prometheus實現(xiàn)HPA

IT那活兒發(fā)布于2023-01-11 13:19 / 604人閱讀

點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

01

在k8s集群中，我們希望當(dāng)應(yīng)用負(fù)載過大的時候，可以對應(yīng)用進(jìn)行自動擴(kuò)容，提升pod的副本數(shù)來應(yīng)對大量的流量，當(dāng)負(fù)載小的時候可以對應(yīng)用進(jìn)行自動縮容，以避免資源浪費，這個時候就需要給應(yīng)用做一個HPA。

但是并非所有系統(tǒng)應(yīng)用都可以通過多帶帶依靠CPU/內(nèi)存使用量度來滿足其SLA。有時候，我們希望除了CPU/內(nèi)存指標(biāo)外有更多的指標(biāo)能用于實現(xiàn)HPA。這樣不僅能保證實現(xiàn)HPA指標(biāo)的多樣性，還可以通過多指標(biāo)對系統(tǒng)應(yīng)用做HPA，以更好地處理突發(fā)事件并確保高可用性。

02

HPA原理

對k8s比較熟悉的人，都知道k8s集群里的應(yīng)用在調(diào)度和擴(kuò)縮容的時候都有自己的一套算法，自動彈性伸縮的原理是怎樣的呢，下面舉一個實際例子進(jìn)行闡述。

假設(shè)存在一個叫A的Deployment，包含3個Pod，每個副本的Request值是1核，當(dāng)前3個Pod的CPU利用率分別是60%、70%與80%，此時我們設(shè)置HPA閾值為50%，最小副本為3，最大副本為10。

接下來我們將上述的數(shù)據(jù)帶入公式中：

總的Pod的利用率是60%+70%+80% = 210%；
當(dāng)前的Target是3；
算式的結(jié)果是70%，大于50%閾值，因此當(dāng)前的Target 數(shù)目過小，需要進(jìn)行擴(kuò)容；
重新設(shè)置，此時算式的結(jié)果為42%低于50%，判斷還需要擴(kuò)容兩個容器；
此時HPA設(shè)置Replicas為5，進(jìn)行Pod的水平擴(kuò)容。

03

影響HPA的細(xì)節(jié)

經(jīng)過前面的推演，可以協(xié)助我們快速理解HPA最核心的原理，不過上面的推演結(jié)果和實際情況下是有所出入的，如果我們進(jìn)一步試驗的話，會發(fā)現(xiàn) Replicas最終的結(jié)果是6而不是5。這是由于 HPA 中一些細(xì)節(jié)的處理導(dǎo)致的，主要包含如下三個主要的方面：

3.1 噪聲處理

通過前面的公式可以發(fā)現(xiàn)，Target的數(shù)目很大程度上會影響最終的結(jié)果，而在Kubernetes中，無論是變更或者升級，都更傾向于使用Recreate而不是Restart的方式進(jìn)行處理。

這就導(dǎo)致了在Deployment的生命周期中，可能會出現(xiàn)某一個時間，Target會由于計算了Starting或者 Stopping的Pod而變得很大。這就會給HPA的計算帶來非常大的噪聲，在HPA Controller的計算中，如果發(fā)現(xiàn)當(dāng)前的對象存在Starting或者Stopping的Pod會直接跳過當(dāng)前的計算周期，等待狀態(tài)都變?yōu)镽unning再進(jìn)行計算。

3.2 冷卻周期

HPA控制器觀測資源使用率并作出決策是有周期的，執(zhí)行是需要時間的，在執(zhí)行自動伸縮過程中metrics不是靜止不變的，可能降低或者升高，如果執(zhí)行太頻繁可能導(dǎo)致資源的使用快速抖動，因此控制器每次決策后的一段時間內(nèi)不再進(jìn)行新的決策。

在彈性伸縮中，冷卻周期是不能逃避的一個話題，很多時候我們期望快速彈出與快速回收，而另一方面，我們又不希望集群震蕩，所以一個彈性伸縮活動冷卻周期的具體數(shù)值是多少，一直被開發(fā)者所挑戰(zhàn)。在HPA中，默認(rèn)的擴(kuò)容冷卻周期是3min，縮容冷卻周期是5min?？梢酝ㄟ^調(diào)整kube-controller-manager組件啟動參數(shù)設(shè)置冷卻時間：

--horizontal-pod-autoscaler-downscale-delay擴(kuò)容冷卻

--horizontal-pod-autoscaler-upscale-delay縮容冷卻

針對不同的k8s版本，可以參考相應(yīng)k8s版本kube-controller-manager組件關(guān)于HPA的啟動參數(shù)：

3.3 邊界值計算

我們回到剛才的計算公式，第一次我們算出需要彈出的容器數(shù)目是 5，此時擴(kuò)容后整體的負(fù)載是42%，但是我們似乎忽略了一個問題：

一個全新的 Pod啟動會不會自己就占用了部分資源？

此外，8%的緩沖區(qū)是否就能夠緩解整體的負(fù)載情況？

要知道當(dāng)一次彈性擴(kuò)容完成后，下一次擴(kuò)容要最少等待3分鐘才可以繼續(xù)擴(kuò)容。為了解決這些問題，HPA引入了邊界值，目前在計算邊界條件時，會自動加入10%的緩沖，這也是為什么在剛才的例子中最終的計算結(jié)果為6的原因。

04

HPA 的API版本

目前HPA已經(jīng)支持三大版本：autoscaling/v1、autoscaling/v2beta1和autuscaling/v2beta2 三個大版本。

API的v1版本，在當(dāng)前穩(wěn)定版本（autoscaling/v1）中只支持基于 CPU 指標(biāo)的擴(kuò)縮。
API的beta版本，autoscaling/v2beta1版和autuscaling/v2beta2版引入了基于內(nèi)存和自定義指標(biāo)的擴(kuò)縮，在autoscaling/v2beta1中增加支持custom metrics，在 autoscaling/v2beta2 中增加支持 external metrics。

05

實現(xiàn)流程圖

關(guān)鍵組件介紹：

Prometheus：采集Pod的性能指標(biāo)數(shù)據(jù)。
Custom Metrics server：從Prometheus中采集性能指標(biāo)數(shù)據(jù)。它是資源指標(biāo)數(shù)據(jù)的聚合器，實現(xiàn)了自定義指標(biāo)API（Resource Metres API），通過Kubernetes的Custom Metrics server（Prometheus Adapter)層將自定義指標(biāo)HPA注冊Maste API server中，以/apis/custom.metrics.k8s.io路徑提供指標(biāo)數(shù)據(jù)。
HAI Controler：為APA控制器，通過自定義指標(biāo)API從API Server中獲取指標(biāo)數(shù)據(jù)，以決策擴(kuò)縮容操作。

06

安裝

組件包括Prometheus，Metrics server，Custom Metrics server（prometheus-adapter），如果集群已經(jīng)安裝了Prometheus，Metrics server，只需安裝Custom Metrics server即可。

6.1 安裝Custom Metrics server

測試環(huán)境當(dāng)中已經(jīng)安裝了Prometheus，Metrics server，這里只需安裝Custom Metrics server即可，下載prometheus-adapter的helm chart，使用helm一鍵部署。

編輯values.yaml添加平臺Prometheus.service地址，使用如下命令一鍵部署：

helm install  prometheus-adapter --namespace monitoring ../prometheus-adapter/ -f values.yaml

6.2 配置

我們可以將Prometheus中的任何一個指標(biāo)都用于HPA，但是前提是我們能通過查詢語句將它拿到（包括指標(biāo)名稱和其對應(yīng)的值）。

Prometheus適配器在configmap里配置了如何從prometheus獲取數(shù)據(jù)，并與k8s的資源做對應(yīng)，以及如何在api接口中展示的規(guī)則。

07

驗證

列出prometheus提供的自定義指標(biāo)，發(fā)現(xiàn)所有Prometheus里能查看的監(jiān)控指標(biāo)在這里都被獲取到了。

kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1" | jq .

獲取monitoring命名孔徑下所有Pod的FS使用率：

kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1/namespaces/monitoring/pods/*/fs_usage_bytes" | jq .

從自定義metrics API中獲取每秒請求總數(shù)。

例如Prometheus監(jiān)控的應(yīng)用，暴露了名為http_requests_total的自定義指標(biāo)。Prometheus適配器刪除_total后綴，并將度量標(biāo)記為計數(shù)器度量(counter metric)。

kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1/namespaces/default/pods/*/http_requests" | jq .

{
"kind": "MetricValueList",
"apiVersion": "custom.metrics.k8s.io/v1beta1",
"metadata": {
"selfLink": "/apis/custom.metrics.k8s.io/v1beta1/namespaces/default/pods/%2A/http_requests"
},
"items": [
{
"describedObject": {
"kind": "Pod",
"namespace": "default",
"name": "podinfo-6c994884cf-m6l6m",
"apiVersion": "/v1"
},
"metricName": "http_requests",
"timestamp": "2020-10-09T03:01:01Z",
"value": "1072m"
},
{
"describedObject": {
"kind": "Pod",
"namespace": "default",
"name": "podinfo-6c994884cf-pns2n",
"apiVersion": "/v1"
},
"metricName": "http_requests",
"timestamp": "2020-10-09T03:01:01Z",
"value": "1035m"
}
]
}

自定義API SERVER收到請求后會從Prometheus里面查詢http_requests_total的值，然后把這個值換算成一個以時間為單位的請求率。

m代表milli-units，例如1035m代表1035 milli-requests（就是大約1個請求），用十進(jìn)制表示為 1.035?？赡芏攘恐笜?biāo)API將返回沒有后綴的整數(shù)，否則返回以千分單位的數(shù)量。

這意味著我們可能會看到你的度量指標(biāo)在1和1035m（也就是在十進(jìn)制記數(shù)法中的 1 和 1.035之間波動）。

7.1 創(chuàng)建HPA

基于pod/svc/CPU/memory創(chuàng)建HPA：

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
name: podinfo-hpa-f
namespace: default
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: podinfo
minReplicas: 1
maxReplicas: 5
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 80
- type: Resource
resource:
name: memory
target:
type: AverageValue
averageValue: 200Mi
- type: Pods
pods:
metric:
name: http_requests
target:
type: AverageValue
averageValue: 50
- type: Object
object:
metric:
name: http_requests
describedObject:
apiVersion: v1
kind: service
name: podinfo
target:
type: Value
value: 50

一個HPA中可以定義多種指標(biāo)，如果定義多個指標(biāo)將針對每種類型指標(biāo)都計算Pod副本數(shù)量，取最大的進(jìn)行擴(kuò)縮容。

換句話說，系統(tǒng)會根據(jù)CPU和pod的自定義指標(biāo)計算，在每個調(diào)度周期（默認(rèn)為30s）都會計算出一個縮放的推薦值并記錄下來，在每次計算縮放值時都會查看歷史的推薦值，從最近的一段歷史推薦值中挑選最大的，任何一個達(dá)到了都進(jìn)行擴(kuò)容。

上面HPA相關(guān)配置如下：

1）scaleTargetRef：自動擴(kuò)容縮容的對象，可以是Deployment或者ReplicaSet，這里寫具體的Deployment的名稱。

2）metrics：這里是指標(biāo)的目標(biāo)值。在type中定義類型；通過target來定義指標(biāo)的閾值，系統(tǒng)將在指標(biāo)達(dá)到閾值的時候出發(fā)擴(kuò)縮容操作。

3）可以指定資源度量指標(biāo)使用絕對數(shù)值或者百分比，需要將 target 類型 AverageUtilization（百分比）替換成AverageValue（絕對數(shù)值），同時將target.averageUtilization替換成target.averageValue并設(shè)定相應(yīng)的值。百分比適用于cpu/內(nèi)存指標(biāo)。

4）metrics中的type有如下類型：

Resource：基于資源的指標(biāo)，可以是CPU或者是內(nèi)存，如果基于這個類型的指標(biāo)來做只需要部署Metric-server即可，不需要部署自定義APISERVER。
Pods：基于Pod的指標(biāo)，系統(tǒng)將對Deployment中的全部Pod副本指標(biāo)進(jìn)行平均值計算，如果是Pod則該指標(biāo)必須來源于Pod本身。
Object：基于Ingress或者其他自定義指標(biāo)，比如ServiceMonitor。它的target類型可以是Value或者AverageValue（根據(jù)Pod副本數(shù)計算平均值）。

7.2 壓測服務(wù)并驗證HPA

以每秒200個請求的速度為podinfo服務(wù)加壓，

[root@ysgz-33 home]# ./bin/hey -n 10000 –q 2 -c 100 http://10.3.37.189:9898

一段時間后發(fā)現(xiàn)podinfo服務(wù)的pod數(shù)量增加了，撤掉加壓，過一會兒pod數(shù)量發(fā)生了縮減。

可以通過kubectl describe hpa 命令查看當(dāng)前影響HPA的各種狀態(tài)條件信息。

使用 autoscaling/v2beta2 格式的 HorizontalPodAutoscale時，可以看到Kubernetes為 HPA設(shè)置的狀態(tài)條件（Status Conditions）。

這些狀態(tài)條件可以顯示當(dāng)前HPA是否能夠執(zhí)行擴(kuò)縮以及是否受到一定的限制。status.conditions字段展示了這些狀態(tài)條件：

AbleToScale表明HPA是否可以獲取和更新擴(kuò)縮信息，以及是否存在阻止擴(kuò)縮的各種回退條件。
ScalingActive表明HPA是否被啟用（即目標(biāo)的副本數(shù)量不為零）以及是否能夠完成擴(kuò)縮計算。當(dāng)這一狀態(tài)為False時，通常表明獲取度量指標(biāo)存在問題。
ScalingLimitted 表明所需擴(kuò)縮的值被HPA所定義的最大或者最小值所限制。（即已經(jīng)達(dá)到最大或者最小擴(kuò)縮值）

08

擴(kuò)展

本次測試使用的壓測工具安裝。

hey壓測工具安裝：

yum install golang -y
export GOROOT=/usr/lib/golang
export GOPATH=/home

# 生效配置：

source /etc/profile

cd /home
go get -u github.com/rakyll/hey
go install github.com/rakyll/hey
./bin/hey -n 10000 -q 10 -c 50 http://地址

使用域名時，注意添加本地域名解析：

-n 請求次數(shù)

-q 請求速度

-c 請求并發(fā)數(shù)

09

總結(jié)

9.1 在集群中做了這樣一個配置后，集群可支持一個HPA中定義多種指標(biāo)（cpu/內(nèi)存，訪問量及其他Prometheus能獲取的指標(biāo)）實現(xiàn)HPA；

9.2 如果定義了多種指標(biāo)，系統(tǒng)會根據(jù)CPU和pod的自定義指標(biāo)計算，在每個調(diào)度周期（默認(rèn)為30s）都會計算出一個縮放的推薦值并記錄下來，在每次計算縮放值時都會查看歷史的推薦值，從最近的一段歷史推薦值中挑選最大的，任何一個達(dá)到了都進(jìn)行擴(kuò)容。