GKE自动缩放不会缩小

安德烈亚斯(AndreasRolén)

我们使用GKE(Google Kubernetes Engine)在GCC(Google Cloude Composer)中为数据管道运行Airflow。

我们从6个节点开始,然后意识到成本飙升,而且我们并没有使用那么多的CPU。因此,我们认为可以降低最大值,但也可以启用自动缩放功能。

由于我们在晚上运行管道,而在白天只运行较小的工作,因此我们希望在1-3个节点之间运行自动缩放。

因此,在GKE节点池上,我们启用了自动缩放功能,但并未按照他们的建议在GCE实例组上启用。但是,我们得到以下信息:节点池无法扩展

为什么是这样?

下面是过去4天我们的CPU使用率的图表: 在此处输入图片说明

We never pass 20% usage, so why doesn't it scale down?

This morning we manually scaled it down to 3 nodes..

hexacyanide

Cloud Composer does not yet (as of 2019/08/26) support the GKE cluster autoscaler, because the cluster autoscaler makes scaling decisions based on the resource requests of Pods, as well as how many Pods are in the unschedulable state (more information here). Composer deploys a fixed number of Pods, which means the autoscaling mechanism doesn't force any scaling action unless you yourself are deploying your own workloads into the cluster.

自动缩放也很困难,因为Airflow工作人员或调度程序的实际资源使用情况取决于您上传的DAG数(在Composer中为GCS),这意味着无法准确估算您的Airflow进程将使用多少CPU /内存。 。这意味着您不知道如何确定Airflow Pod的Pod资源请求。


在没有自动缩放的情况下,动态资源分配仍然有很多选择。例如,你可以使用KubernetesPodOperator与资源请求到部署荚不同的是Kubernetes集群有自动缩放功能。另外,您可以使用GCE运算符将实例添加到群集中,然后再启动更多占用大量资源的工作负载。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

为什么我的GKE节点池不会自动缩小?

kubernetes自动缩放器不会按比例缩小节点

启用自动缩放后,GKE不会从0缩放到/从0缩放

GKE自动缩放无法缩放

GKE不是自动缩放节点

自动缩放比例组,缩小条件

如何防止Kubernetes水平自动缩放器缩小?

您能否强制 GKE 节点自动缩放以及自动缩放需要多长时间?

GKE群集自动缩放器与托管实例组中的自动缩放

水平吊舱自动缩放器在GKE上过于主动地缩放自定义指标

UILabel不会自动缩小文本以适合标签大小

Firefox中的Flex会自动缩小图像,而Chrome中不会

TableView中的标签宽度不会根据sizeToFit自动布局缩小

具有自动页边距的css div不会缩小

服务在云运行中不会自动缩放为零

从 ELB 中删除实例不会影响自动缩放组

捏缩放在移动到下一个片段页面时不会缩小

基于Kubernetes指标的Google Cloud GKE水平Pod自动缩放

Kubernetes集群自动缩放器在GKE上似乎不起作用?

GKE上的联合Kubernetes集群中的HPA +集群自动缩放器+ OPA

GKE群集自动缩放器配置文件可提供更旧的光泽

是否有基于kubernetes中请求的总Pod的GKE节点自动缩放工具?

自动调整大小=统一仅缩小文字以使其适合,而不会增加大小

OpenLayers不会缩小吗?

嵌套的flexbox不会缩小

ImageResizer自动缩小

sass --watch自动缩小?

如何自动缩小对象?

如何使用每个节点运行一个Pod并使用所有可用资源的Pod在Kubernetes(GKE)上自动缩放?