白皮书
车联网设计与实现:搭建可靠、高效、符合行业需求的车联网平台 →

EMQX Enterprise 4.4.20 发布:提升 Kafka 和 HStreamDB 数据集成的性能

EMQX Team
2023-8-24
EMQX Enterprise 4.4.20 发布:提升 Kafka 和 HStreamDB 数据集成的性能

我们很高兴地宣布:EMQX Enterprise 4.4.20 版本现已正式发布!

本次发布我们改进了 Kafka 和 HStreamDB 数据集成的性能,为 GCP PubSub 数据集成添加了属性和排序键的支持。除此之外还修复了多项 BUG。

提升 Kafka 和 HStreamDB 数据集成的性能

EMQX 通过集成 Kafka 和 HStreamDB,可以实现物联网消息事件流的一站式采集、存储、处理和分发,这为各种实时物联网应用场景提供了强大支持。

此前版本中,EMQX 已经实现了异步、批处理机制,可满足大规模海量数据集成场景下的高性能需求。在 EMQX Enterprise 4.4.20 中,改进后的 Kafka 与 HStreamDB 驱动为 Erlang 进程通信增加了一个消息缓冲区,利用批处理机制提升内部的消息传递速度,进而提升整体的吞吐性能,以满足更极端的性能需求。

此功能默认关闭,用户可以通过 Kafka 和 HStreamDB 动作中的最大 Erlang 消息累积数最大 Erlang 消息累积间隔配置开启。

内部测试表明,启用此新特性后,不同场景下数据集成吞吐量可提升 10%-40%。该优化特性也将同步到 EMQX 企业版 5.0 后续的版本中。

GCP PubSub 集成添加属性和排序键的支持

GCP PubSub 作为一个全托管的事件流和订阅服务,广泛用于构建可靠的实时流式处理管道。EMQX 规则引擎支持将数据经过处理后发布到 GCP PubSub,实现与 GCP 服务的无缝集成。

EMQX Enterprise 4.4.20 为 GCP PubSub 动作新增了属性(Attributes)和排序键(Ordering Keys)的支持,可以为数据集成提供更丰富的上下文信息和顺序保证,实现灵活的物联网数据处理。

其他新增特性

  • 为 SQL Server 数据集成增加 auto_reconnect 选项,能够在 EMQX 与 SQL Server 之间的连接断开后自动重新建立连接,保证数据写入的连续性。

  • 为 RabbitMQ 数据集成添加了 TLS 连接支持,提高传输数据的安全性和完整性。

BUG 修复

  • 修复了无法在 Dashboard 上测试规则引擎的 mongo_date() 函数的问题。

  • 修复了热升级到 4.4.19 之后,规则引擎通过 RabbitMQ 动作发送消息失败的问题。

免费试用 EMQX 企业版
无限连接,任意集成,随处运行。
开始试用 →

推荐阅读

2022-4-15EMQX Team
一文理解 EMQX Enterprise 和 EMQX Cloud 有何区别

本文将从产品架构、功能特性、适用场景等方面对 EMQX Enterprise 和 EMQX Cloud 进行详细对比解读,以帮助读者为自身业务场景选择更加合适的物联网数据接入软件产品。