物联网数据流从 MQTT 到 Kafka

将 MQTT 消息和物联网数据流式传输到 Kafka，无需编码和复杂设置，即可实现设备和企业应用之间双向通信和实时大规模数据处理 —— EMQX 与 Kafka，物联网基础架构的天作之合。

背景

MQTT 是物联网（IoT）事实标准的消息传递协议，以其轻量高效、低时延设计而著称。它非常适合连接数以百万计的物联网设备，满足物联网应用多样化的消息服务需求。

Apache Kafka 是一个连接企业系统的流数据平台。Kafka 并不是为物联网通信而设计，它需要稳定的网络连接、消耗更多的资源，仅支持数千个客户端和主题。同时缺乏物联网场景必需的技术特性，比如 Keepalive、保留消息和遗嘱消息等。

EMQX 是一个高度可扩展的 MQTT 消息平台。EMQX 支持通过内置的 Kafka 集成，将数百万物联网设备无缝连接到企业系统，助力企业从物联网数据中释放商业价值。

EMQX 完整支持 MQTT 与 Kafka 双向数据流。通过 EMQX 内置的规则引擎和数据桥接，您可以轻松地过滤、提取和转换 MQTT 消息，使其无缝、灵活地摄入 Kafka，快速实现应用集成与业务创新。

借助内置的数据桥接和规则引擎，EMQX 可以从 Kafka 消费数据流，也可以将 MQTT 消息批量发送到 Kafka。

借助 Replay Queue 的异步和批处理机制，EMQX 每秒可向 Kafka 可以写入多达 100 万条 MQTT 消息。

EMQX 可自动发现 Kafka 中的分区扩展，而无需重新配置或重启，从而可随着业务增长轻松扩展容量。

利用内置的 Flow 设计器，提取、过滤和转换物联网数据，写入特定的 Kafka 主题，无需编写代码。

使用 EMQX 的规则引擎和 Flow 设计器，只需几步设置即可过滤、提取、转换 MQTT 消息并将其导入 Kafka。