EMQX 6.1.0 新特性:可回放的 MQTT 消息流、增强的多租户能力与更多数据集成

EMQX 6.1.0 的发布,标志着基于 MQTT 的系统在历史数据处理、规模扩展及多租户架构等方面实现了里程碑式的突破。
该版本通过引入 MQTT 消息流,将持久化与可回放的消息流特性原生植入 MQTT 生态;同时,通过优化命名空间配置、强化隔离机制以及提供命名空间级别的可观测性,全面升级了多租户管理体验;此外,该版本还进一步扩展了数据集成生态,能够更从容地支撑现代时序分析与流式数据处理任务。
无论您是正在构建事件驱动的 IoT 系统、运行大规模遥测数据管道,还是管理拥有成千上万租户的平台级系统,EMQX 6.1.0 都能为 MQTT 提供所需的可回放性、可见性以及运维控制能力,助力企业级规模的稳定运行。
实现可回放的消息流
EMQX 6.1.0 引入了 MQTT 消息流,这是一种在 MQTT 原有实时发布/订阅模型之上,新增的持久化、可回放的消息流处理能力。
MQTT 消息流会在其生命周期内,自动收集所有匹配指定主题过滤器的消息,并进行持久化存储。客户端可以通过标准的 MQTT 订阅方式来消费这些流中的数据,并支持有序投递与基于时间点的历史回放,从而允许多个消费者在不同时间点、彼此独立地读取同一份数据。
MQTT 消息流使用一种特殊的 MQTT 订阅主题格式进行访问:$s/<timestamp>/<topic_filter>
主要特性:
基于时间的消息回放:
消费者可以从任意时间点开始回放历史数据,适用于数据补偿、问题排查、审计分析等场景,同时不影响实时消费者的正常运行。其中,timestamp 用于指定回放的起始时间,可以是微秒级 Unix 时间戳,也可以是
earliest或latest这两个特殊值。独立消费能力:
多个消费者可以独立地消费同一个 MQTT 消息流,每个消费者都维护自己的读取进度,互不干扰。
原生持久化设计:
只要消息匹配流的主题过滤器,就会被自动持久化,从而在客户端断连或重启后仍然可用。
原生 MQTT 使用体验:
发布端无需任何改动,消费端使用支持 QoS 机制的标准 MQTT 订阅,即可访问流数据。
按 Key 有序投递:
通过配置表达式,确保相同 Key 的消息严格按发布顺序投递,同时支持不同 Key 之间的并行处理。
最新值语义(Last-Value Semantics):
对于具有相同 key 的消息,新的消息会覆盖旧的消息,用于设备状态跟踪、数字孪生等场景。
保留策略与限制:
支持基于时间、消息数量和字节数的保留策略,并可通过分片级别的限制来控制存储上限。
典型应用场景
在工业监控系统中,发布到 sensors/+/readings 的传感器数据会被 MQTT 消息流 自动捕获。此时,实时仪表盘可以直接订阅当前数据;分析管道可以订阅 $s/earliest/sensors/+/readings 回放历史数据进行模型训练;合规系统可以从某个事故发生时间点开始回放数据进行审计。
所有这些消费者都可以并行工作,且共享同一份可靠的数据源。
了解更多关于 MQTT 消息流 的信息。
增强的命名空间功能,构建更成熟的多租户体系
作为多租户部署的核心基础,EMQX 6.1.0 进一步增强了命名空间功能,使其不仅用于简单的资源逻辑划分,还进一步实现了对配置控制、身份鉴权以及监控运维的深度覆盖。
关键增强:
集中式命名空间配置:
命名空间的解析方式(通过 Take Namespace From)、隔离选项以及授权行为,现已统一集中在 Dashboard 中进行配置,大幅简化管理复杂度。
自动主题隔离:
新增
namespace_as_mountpoint选项,可自动将客户端所属的命名空间作为主题前缀,无需修改客户端代码即可实现透明的主题隔离。命名空间级认证与鉴权:
内置认证与授权后端现已支持命名空间级别的用户与规则,确保租户只能访问和影响自身的数据。
命名空间级指标与可观测性:
EMQX 新增了消息、会话以及数据集成等维度的命名空间级指标,并通过 Prometheus 以及 JSON API 对外暴露,便于按租户进行监控和分析。
更友好的管理员视角:
全局管理员可以统一查看所有命名空间下的资源,同时在需要时仍可将操作范围限定到某一个具体命名空间。
核心价值:
- 清晰的租户边界:主题、凭证、规则和指标在命名空间之间严格区分。
- 更简单的运维体验:集中化配置与一致的行为模型降低了多租户运维复杂度。
- 更精准的可观测性:支持按租户维度进行监控、告警和使用情况分析。
典型应用场景:
一家车联网 SaaS 平台根据用户名(例如:fleetA-client1)派生命名空间。通过启用自动主题隔离和命名空间级认证,每个租户都拥有独立的主题空间、凭证和监控指标,以及命名空间级别的 ACL 访问控制。
该方案使得服务商仅需维护单一 EMQX 集群,即可高效管理所有租户。
新增与增强的数据集成
EMQX 6.1.0 在数据集成方面持续扩展,对现代时序数据库和安全流式管道提供了更完善的支持。
新增集成:
- AWS Timestream for InfluxDB:支持 EMQX 使用 InfluxDB Line Protocol 直接将 MQTT 数据写入 AWS 托管的、兼容 InfluxDB 的时序存储中,实现无需自建数据库的高性能时序数据存储与分析。
- EMQX Tables:支持将 EMQX Enterprise 中的数据写入 EMQX Cloud 中的 EMQX Tables,实现集中式的时序数据存储与查询分析。
集成增强:
- 支持 InfluxDB API v3:适用于 InfluxDB 与 AWS Timestream 连接器。
- Kafka 和 Confluent Producer 的 OAuth 认证:为基于 Kafka 的集成提供安全的、基于令牌的认证。
- 聚合模式支持 Parquet 格式:Azure Blob Storage 和 S3 Actions 现在支持写入 Parquet 文件,以实现高效的列式数据存储。
典型应用场景:
在智能电网场景中,实时遥测数据写入 AWS Timestream 用于即时分析,而聚合后的 Parquet 数据则周期性归档至 S3,用于长期存储与合规报表。
其他改进与修复
优化持久化存储:
引入持久化存储数据库组,支持多个数据库共享内存与磁盘配额,并新增相关指标与存储告警机制,从而提升大规模部署下的资源利用效率与可运维性。
集中式证书管理:
监听器现可引用多个托管证书,并可基于客户端 SNI 在 TLS 握手阶段动态选择证书,同时提供默认回退机制,简化多证书场景下的配置与运维。
稳定性与可靠性修复:
针对集群、消息队列、数据集成、网关及安全相关模块进行了大量修复,进一步提升系统整体稳定性。
统一的 Dashboard 体验:
通过样式与交互优化,统一 EMQX Dashboard 与 Cloud Console 的使用体验。
更多详细信息,请参阅 Release Notes。
开始体验 EMQX Enterprise 6.1.0
EMQX Enterprise 6.1.0 现已正式发布。无论您是致力于构建支持海量租户的 SaaS 平台,还是寻求原生可回放的 IoT 事件流处理,亦或是将 IoT 数据集成到现代分析系统中,该版本都将为您提供更坚实的技术支撑。
立即下载 EMQX Enterprise 6.1.0,探索全新功能,了解 EMQX 如何助力您打造下一代物联网和消息传递解决方案。如有任何问题或需讨论具体应用场景,请联系我们的销售团队。
