白皮书
车云灵活数采方案:释放数据价值,加速智能创新 →

在华为云 CCE 上部署 EMQX MQTT 服务器集群

EMQX Team
2022-9-9

云进入以「应用为中心」的云原生阶段,Operator 模式的出现,则为 Kubernetes 中的自动化任务创建配置与管理提供了一套行之有效的标准规范。通过将运维知识固化成高级语言 Go/Java 代码,使得运维知识可以像普通软件一样交付,并能支持高可靠、具备高级运维能力的有状态应用批量交付。

针对大规模分布式物联网 MQTT 消息服务器 EMQX 全生命期管理的自动化管理工具 EMQX Kubernetes Operator(本文中简称 EMQX Operator)应运而生。它作为 Kubernetes 上的自定义控制器运行,并与 Kubernetes API 服务器(kube-apiserver)进行通信,将高层描述转换为正常的 Kubernetes 资源,以保持所需的应用程序状态。

EMQX Operator 使 EMQX 的部署、调优和运维变成一种低成本、标准化、可重复性的能力,帮助用户高效实现集群扩容、无缝升级、故障处理和统一监控。

EMQX Operator 集群

本文章将以 EMQX 企业版为例,详细讲解如何使用 EMQX Operator 在华为云 CCE 公有云平台上创建部署 MQTT 服务集群,并实现自动化管理与监控。

云平台简介:华为云 CCE

云容器引擎(Cloud Container Engine,简称CCE)提供高度可扩展的、高性能的企业级 Kubernetes 集群,支持运行 Docker 容器。借助云容器引擎,您可以在华为云上轻松部署、管理和扩展容器化应用程序,详见:成长地图_云容器引擎 CCE_华为云

创建 CCE 集群

购买 CCE 集群

登录华为云 CCE控制台,购买“Turbo 集群”或者“CCE 集群”,EMQX Operator 要求Kubernetes 版本>=1.20.0 ,因此我们在此选择 Kubernetes 1.21,网络与其他资源信息根据自身需求来制定。

购买 CCE 集群

创建节点池(直接添加节点也可以)

创建节点池

这里添加的节点必须可以访问外网(可以通过加 NAT 网关解决)

节点安装的操作系统建议是 Ubuntu,否则有可能会缺少必要的库(socat)

节点选择 Ubuntu

细节请参考:快速创建Kubernetes集群_云容器引擎 CCE_快速入门_华为云

访问 Kubernetes 集群

点击 Cloud Shell

Cloud Shell

详情参考:通过 kubectl 连接集群_云容器引擎 CCE_用户指南_集群管理_旧版UI_访问集群_华为云

StorageClass 配置

查看当前的 StroageClass

kubectl get sc

查看当前的 StroageClass

这里我们用 csi-disk,其他 StorageClass 可参考:存储类StorageClass_云容器引擎 CCE_用户指南_新版UI_存储管理-CSI_华为云

使用 EMQX Operator 部署 EMQX 集群

部署 cert-manager

参考 cert-manager 安装文档:https://cert-manager.io/docs/installation/

部署 EMQX Operator

kubectl apply -f "https://github.com/emqx/emqx-operator/releases/download/1.2.6/emqx-operator-controller.yaml"

部署 EMQX 企业版集群

这里 service type 采用 LoadBalancer

cat << "EOF" | kubectl apply -f -
apiVersion: apps.emqx.io/v1beta3
kind: EmqxEnterprise
metadata:
  name: emqx-ee
  labels:
    "foo": "bar"
spec:
  persistent:
    storageClassName: csi-disk
    resources:
      requests:
        storage: 1Gi
    accessModes:
    - ReadWriteOnce
  emqxTemplate:
    image: emqx/emqx-ee:4.4.6
    serviceTemplate:
      metadata:
        annotations:
          kubernetes.io/elb.pass-through: "true"
          kubernetes.io/elb.class: union
          kubernetes.io/elb.autocreate:
              '{
                "type": "public",
                "name": "emqx",
                "bandwidth_name": "cce-emqx",
                "bandwidth_chargemode": "bandwidth",
                "bandwidth_size": 5,
                "bandwidth_sharetype": "PER",
                "eip_type": "5_bgp"
              }'
      spec:
        type: LoadBalancer
EOF

Load Balancer参数说明

  • bandwidth_chargemode

    带宽付费模式。 bandwidth:按带宽计费 traffic:按流量计费 默认类型:bandwidth

  • bandwidth_size

    带宽大小,默认 1Mbit/s~2000Mbit/s,请根据 Region 带宽支持范围设置。

  • bandwidth_sharetype

    带宽共享方式。 PER:独享带宽

  • eip_type

    弹性公网IP类型 5_telcom:电信 5_union:联通 5_bgp:全动态BGP 5_sbgp:静态BGP

查看集群状态

$ kubectl get pods  
NAME              READY   STATUS    RESTARTS   AGE  
emqx-ee-0   2/2     Running   0          22m  
emqx-ee-1   2/2     Running   0          22m  
emqx-ee-2   2/2     Running   0          22m  

$ kubectl exec -it emqx-ee-0 -c emqx -- emqx_ctl status  
Node 'emqx-ee@emqx-ee-0.emqx-ee-headless.default.svc.cluster.local' 4.4.7 is started  

$ kubectl exec -it emqx-ee-0 -c emqx -- emqx_ctl cluster status  
Cluster status: #{running_nodes =>
                   ['emqx-ee@emqx-ee-0.emqx-ee-headless.default.svc.cluster.local',
                    'emqx-ee@emqx-ee-1.emqx-ee-headless.default.svc.cluster.local',
                    'emqx-ee@emqx-ee-2.emqx-ee-headless.default.svc.cluster.local'],
               stopped_nodes => []}

EMQX Operator 和 EMQX 集群安装参考: https://github.com/emqx/emqx-operator/blob/main/docs/en_US/getting-started/getting-started.md

annotations 的说明参考:通过Kubectl命令行添加ELB Ingress_云容器引擎 CCE_用户指南_新版UI_网络管理_Ingress_华为云

关于 LoadBalancer 终结 TLS

由于华为 ELB 不支持 TCP 证书,所以请参考这篇文档解决 TCP 证书终结问题:https://github.com/emqx/emqx-operator/discussions/312

结语

至此,我们完成了在华为云 CCE 上部署 EMQX 集群的全部流程。EMQX Operator 可以帮助用户在 Kubernetes 环境上快速创建和管理 EMQX 集群,不仅极大简化部署和管理流程,也降低了管理和配置的专业技能要求,是用户快速体验云原生的最佳选择。

免费试用 EMQX 企业版
开始试用 →

推荐阅读

2022-11-17EMQX Team
在 Azure AKS 上部署 EMQX MQTT 服务器集群

本文章将以 EMQX 企业版为例,详细讲解如何使用 EMQX Operator 在 Azure AKS 公有云平台上创建部署 MQTT 服务集群,并实现自动化管理与监控。