Confluent/Kafka 集成，高性能海量 IoT 数据双向移动
Kafka 是一个将消息传递、存储和数据处理结合起来，构建高度可伸缩、可靠、安全和实时的事件流平台。EMQX 内置的规则引擎和数据桥接可以将 IoT 数据和 MQTT 消息流式传输到 Kafka，实现设备与企业应用之间的双向通信和实时大规模数据处理 —— EMQX 与 Kafka 的结合，物联网基础设施的天作之合。
背景
MQTT 优势
MQTT 专为低性能、低功耗和网络连接质量不可靠的物联网设备设计，协议足够轻量灵活，能够满足设备快速解析响应以及物联网多样化服务的需求。
Kafka 局限性
Kafka 不是为边缘物联网通信而构建的，Kafka 客户端需要稳定的网络连接和更多的硬件资源，同时缺乏 IoT 场景必须的技术特性，比如 keepalive 和遗嘱消息。
MQTT + Kafka
Kafka 专注于数据的存储和读取，而 EMQX 则侧重于客户端和服务器之间的通信。EMQX 快速接收和处理来自大量物联网设备的消息，Kafka 收集并存储这些数据并将其发送给数据分析员来分析和处理。
功能
内置实现与 Confluent/Kafka 之间的数据桥接
EMQX 将与 Confluent/Kafka 的连接、Consume、Produce 通过简单配置内置实现，在可视化界面上简单配置，无需编写代码即可实现设备与企业应用之间 IoT 数据的双向移动，助您实现快速的应用集成与业务创新。
更高的性能和自动扩容能力
得益于异步和批量处理机制，EMQX 可以实现高达每秒 100 万条的 Kafka 消息写入。在 Kafka Topic 完成扩容之后，EMQX 能够自动刷新分区数实现无缝扩容，整个过程无需手工操作且不会中断您的业务，满足您随业务增长对资源大小灵活调整的需要。
与规则引擎无缝集成使用
通过 EMQX 内置规则引擎，您可以实时提取、过滤、丰富和转换 IoT 数据，再将处理之后的结果写入到特定的 Kafka Topic 中，结合 Kafka 的流式处理能力，可以快速实现应用集成与业务创新。
详细功能
- 支持将 MQTT 消息写入 Kafka Topic，反之可以将 Kafka 消息分发到多个 MQTT 客户端
- 支持 MQTT-Kafka Topic 一对一、一对多、多对多任意关系双向数据桥接（支持通配符模式）
- Kafka 不可用时提供本地缓存机制，确保高可用性和容错能力
- 支持 同步/异步 写入模式，区分数据写入实时性优先或性能优先两种策略
- 在 Dashboard 或配置文件中动态进行数据桥接配置
- 支持查看每个数据桥接的运行指标，如消息总数、成功/失败数、当前速率等
- 与规则引擎集成使用，写入到 Kafka 或发送到设备前可以进行提取、过滤、丰富和转换处理