白皮书
车云灵活数采方案:释放数据价值,加速智能创新 →
MQTT | Kafka

物联网数据流从 MQTT 到 Kafka

将 MQTT 消息和物联网数据流式传输到 Kafka,无需编码和复杂设置,即可实现设备和企业应用之间双向通信和实时大规模数据处理 —— EMQX 与 Kafka,物联网基础架构的天作之合。

物联网数据流从 MQTT 到 Kafka

背景

MQTT 优势

MQTT 是物联网(IoT)事实标准的消息传递协议,以其轻量高效、低时延设计而著称。它非常适合连接数以百万计的物联网设备,满足物联网应用多样化的消息服务需求。

Kafka 局限

Apache Kafka 是一个连接企业系统的流数据平台。Kafka 并不是为物联网通信而设计,它需要稳定的网络连接、消耗更多的资源,仅支持数千个客户端和主题。同时缺乏物联网场景必需的技术特性,比如 Keepalive、保留消息和遗嘱消息等。

EMQX 方案

EMQX 是一个高度可扩展的 MQTT 消息平台。EMQX 支持通过内置的 Kafka 集成 ,将数百万物联网设备无缝连接到企业系统,助力企业从物联网数据中释放商业价值。

架构

EMQX 完整支持 MQTT 与 Kafka 双向数据流。通过 EMQX 内置的规则引擎和数据桥接,您可以轻松地过滤、提取和转换 MQTT 消息,使其无缝、灵活地摄入 Kafka,快速实现应用集成与业务创新。

架构

功能

双向数据桥接

双向数据桥接

借助内置的数据桥接和规则引擎,EMQX 可以从 Kafka 消费数据流,也可以将 MQTT 消息批量发送到 Kafka。

高性能和可靠

高性能和可靠

借助 Replay Queue 的异步和批处理机制,EMQX 每秒可向 Kafka 可以写入多达 100 万条 MQTT 消息。

弹性扩容伸缩

弹性扩容伸缩

EMQX 可自动发现 Kafka 中的分区扩展,而无需重新配置或重启,从而可随着业务增长轻松扩展容量。

可视化数据流

可视化数据流

利用内置的 Flow 设计器,提取、过滤和转换物联网数据,写入特定的 Kafka 主题,无需编写代码。

示例

使用 EMQX 的规则引擎和 Flow 设计器,只需几步设置即可过滤、提取、转换 MQTT 消息并将其导入 Kafka。

示例
可与任何 Kafka 兼容平台集成

可与任何 Kafka 兼容平台集成