New
EMQX 6.1.0 新特性:可回放的 MQTT 消息流、增强的多租户能力与更多数据集成 →

EMQX 桥接 Kafka 性能测试报告

基准报告2021-10-29

测试目的

测试 EMQX 企业版 4.3.4 单节点每秒 10 万 QoS 1、payload 1KB 的消息桥接至 Kafka 集群所需 EMQX 资源及响应时间等性能指标。

测试架构

测试环境、机器配置及测试工具

测试环境

华为云 北京四区

测试工具

XMeter 企业版 v3.0

EMQX、Kafka 集群配置、测试机配置

服务数量版本操作系统CPU内存云主机型号
EMQX1企业版v4.3.6Centos 7.832核64GC6.8xlarge2
Kafka12.3.0Centos 7.816核64GC6.4xlarge4
XMeter管理机23.0Centos 7.88核16GC6.2xlarge2
XMeter压力机10/Centos 7.88核16GC6.2xlarge2

测试场景

如测试架构图中所示,XMeter 压力机模拟 10 万 MQTT 客户端 向 EMQX 发起连接,新增连接速率为每秒 2000,客户端心跳间隔(keep alive)300秒。所有连接成功后每个客户端每秒发送一条 QoS 为 1、payload 为 1kB 的消息,所有消息通过规则引擎桥接转发至 Kafka 3 节点集群。

测试执行1个小时。

规则引擎配置如下:

  • Kafka 资源设置
  • Kafka 规则设置

    • Produce 类型:异步,ACK 策略:learder only,缓存模式:Memory
    • 使用了数据压缩 gzip
    • Kafka 主题为 12 个分区,1 个副本

测试总结

经过测试,EMQX 64C128G 配置下可以支持 10 万连接、每秒 10 万 QoS 1、payload 1kB 的消息桥接转发至Kafka,消息吞吐期间,EMQX 所在机器 CPU user 使用范围 69% ~73%,CPU idle 平均 20%。

详细测试结果

详细测试结果请填写右侧表单获取完整版 PDF 文件。

相关资源