白皮书
MQTT + 大模型:实时智能融合架构与实践 →
EMQX Kafka 集成

即时流式传输 MQTT 数据到 Kafka

体验无缝、开箱即用的集成。轻松采集来自物联网设备的数百万条 MQTT 消息,并将其直接流式传输至 Apache Kafka 进行实时分析。

物联网数据流处理的黄金搭档

MQTT 和 Kafka 是两项互补技术,共同构成现代大规模物联网数据架构的基石。以下是您需要同时使用它们的原因。

MQTT:物联网连接标准

MQTT 是一种轻量级、高效的协议,专为连接边缘侧数百万资源受限和网络不稳定的设备而设计。它在传感器和机器的数据采集方面表现卓越。

  • 海量设备接入
  • 低网络带宽占用
  • 适应不稳定网络

Kafka:数据流处理标准

Kafka 是一个分布式流处理平台,专为高吞吐、容错的数据管道而设计。它在处理大规模数据流并将其分发至后端企业系统方面表现卓越。

  • 高吞吐数据管道
  • 容错数据存储
  • 对接大数据系统

统一的 MQTT 到 Kafka 桥接架构

探索解耦、可扩展的架构,通过 EMQX 将数百万物联网设备连接到您的 Kafka 数据流。

统一的 MQTT 到 Kafka 桥接架构

为企业级物联网数据管道而生

利用丰富的功能集,专为物联网与大数据平台之间关键任务、高性能数据集成而设计。

高吞吐数据采集
每秒处理数百万条 MQTT 消息,并以低延迟将其流式传输到 Kafka,确保设备与数据湖之间不存在数据瓶颈。
数据可靠性保障
通过消息缓冲和 QoS 级别管理等功能确保零数据丢失,即使 Kafka 或网络连接暂时不可用也能正常运行。
实时数据转换
使用强大的基于 SQL 的规则引擎,在消息发布到 Kafka 主题之前对 MQTT 消息进行过滤、丰富和转换。
灵活的主题映射
轻松将 MQTT 主题映射到特定的 Kafka 主题,支持基于主题、客户端 ID 或消息负载内容的动态路由。
双向数据桥接
支持双向数据流,不仅可以将数据采集到 Kafka,还可以将命令和更新从 Kafka 流式传输回物联网设备。
运维监控
获取数据吞吐量、消息延迟和 Kafka 集成健康状态的实时指标和详细日志。

100 万+ MQTT 连接到 Kafka,赋能智能网联汽车

上汽大众选择 EMQX 构建新一代车联网平台。EMQX 在处理海量 MQTT 数据方面的高可靠性和可扩展性,加上其强大的 Kafka 数据桥接能力,支持了他们在实时诊断、OTA 升级和驾驶行为分析方面的需求。

100 万+ 并发连接

10 万+ 消息/秒

三步实现 MQTT 到 Kafka 数据流

只需几次点击,即可使用 EMQX 强大的规则引擎和流程设计器配置数据桥接,将 MQTT 消息流式传输到 Kafka。

连接设备
使用 MQTT 协议将数百万物联网设备和传感器连接到 EMQX。
处理与转换
使用规则引擎过滤和转换 MQTT 数据,使其符合 Kafka 所需格式。
流式传输到 Kafka
将处理后的数据可靠地流式传输到指定的 Kafka 主题。
Step 2 of 0

兼容任何 Kafka 兼容平台

EMQX 提供原生、开箱即用的集成,支持业界最流行的 Kafka 兼容流处理平台。

Kafka-compatible platforms including Apache Kafka, Confluent, Redpanda, Amazon MSK, Azure Event Hubs, Pulsar, AutoMQ, and IBM Event Streams

MQTT 与 Kafka 的实际应用场景

从智能网联汽车到智能工厂,了解 EMQX 与 Kafka 集成如何驱动数据密集型应用。

智能网联汽车
通过 MQTT 采集来自数百万车辆的远程信息数据,并将其流式传输到 Kafka,用于实时故障诊断、驾驶行为分析和预测性维护。
智能制造
从数千个车间传感器和 PLC 采集数据,将其流式传输到 Kafka,为 MES、SCADA 和机器学习模型提供数据支持,实现质量控制和运营智能。
车队远程信息处理
采集商用车队的高频远程信息数据,并将其流式传输到 Kafka,用于实时追踪、路线优化和运营分析。

深入了解 MQTT 与 Kafka

探索我们的技术资源,掌握 MQTT 与 Kafka 集成。

常见问题

立即构建您的物联网数据管道

与我们的专家交流,了解 EMQX 如何为您的物联网设备和 Kafka 集群之间提供可扩展、可靠、安全的数据桥接。