Webinar
让 AI Agents 协同工作：探索 A2A over MQTT 与 EMQX A2A Registry｜立即报名 →
下载试用

EMQX Kafka 集成

将 MQTT 数据流式传输到 Kafka

采集来自物联网设备的数百万条 MQTT 消息，并将其直接流式传输至 Apache Kafka 进行实时分析。

下载 EMQX 企业版查看文档

概览

MQTT 与 Kafka：物联网数据流处理的黄金搭档

MQTT 负责连接物联网设备，Kafka 负责将设备数据流转到下游系统。两者结合，共同构成大规模物联网数据架构的基石。

MQTT：物联网连接标准

MQTT 是一种轻量级、高效的协议，专为连接边缘侧数百万资源受限和网络不稳定的设备而设计。它在传感器和机器的数据采集方面表现卓越。

  • 海量设备接入
  • 低网络带宽占用
  • 适应不稳定网络

Kafka：数据流处理标准

Kafka 是一个分布式流处理平台，专为高吞吐、容错的数据管道而设计。它在处理大规模数据流并将其分发至后端企业系统方面表现卓越。

  • 高吞吐数据管道
  • 容错数据存储
  • 对接大数据系统

架构

MQTT 到 Kafka 集成架构

借助解耦的 EMQX 架构，将数百万物联网设备连接到 Kafka 数据流。

核心能力

为可靠、高吞吐的物联网数据管道而生

过滤、缓冲 MQTT 数据并路由到 Kafka，通过投递指标持续监控运行状态。

高吞吐数据采集

支持以同步或异步写入方式将 MQTT 消息流式传输到 Kafka，并可根据消息量、延迟要求和 Kafka 集群容量调优数据管道。

Kafka Sink 指南

缓冲式数据投递

Kafka 短暂中断期间，EMQX 会缓存消息。您可以根据业务负载选择缓冲模式和容量，并监控发送失败或被丢弃的消息。

缓冲设置

实时数据转换

使用强大的基于 SQL 的规则引擎，在消息发布到 Kafka 主题之前对 MQTT 消息进行过滤、丰富和转换。

规则 SQL 参考

灵活的主题映射

轻松将 MQTT 主题映射到特定的 Kafka 主题，支持基于主题、客户端 ID 或消息负载内容的动态路由。

主题映射指南

双向数据桥接

使用 Kafka Sink 将 MQTT 数据发送到 Kafka；另行配置 Kafka Source，即可消费后端事件并将其重新发布给 MQTT 设备。

Kafka Source 指南

运维监控

获取数据吞吐量、消息延迟和 Kafka 集成健康状态的实时指标和详细日志。

监控指南

客户案例

上汽大众借助 MQTT 与 Kafka 构建智能网联汽车平台

上汽大众在公开案例中报告已接入超过 10 万辆汽车。EMQX 将车辆数据桥接至 Kafka，进行异步处理。

车联网连接
100k+
数据集成
Kafka
阅读案例
上汽大众智能网联汽车

工作原理

三步实现 MQTT 到 Kafka 数据流

使用 EMQX 规则引擎和流程设计器，配置 MQTT 到 Kafka 的数据桥接。

  1. 1

    连接设备

    使用 MQTT 协议将数百万物联网设备和传感器连接到 EMQX。

  2. 2

    处理与转换

    使用规则引擎过滤和转换 MQTT 数据，使其符合 Kafka 所需格式。

  3. 3

    流式传输到 Kafka

    将处理后的数据可靠地流式传输到指定的 Kafka 主题。

生态

连接 Kafka 及其他流处理平台

连接 Kafka 兼容服务，以及提供专用 EMQX 集成的平台。

应用场景

为实时物联网应用而构建

从智能网联汽车到智能工厂，连接各类数据密集型应用。

智能网联汽车

通过 MQTT 采集来自数百万车辆的遥测数据，并将其流式传输到 Kafka，用于实时故障诊断、驾驶行为分析和预测性维护。

了解车联网方案

智能制造

从数千个车间传感器和 PLC 采集数据，将其流式传输到 Kafka，为 MES、SCADA 和机器学习模型提供数据支持，实现质量控制和运营智能。

了解智能制造方案

车队遥测

采集商用车队的高频遥测数据，流式传输到 Kafka，用于实时追踪、路线优化和运营分析。

了解车云智能数采方案

资源

探索 EMQX 与 Kafka 集成

FAQ

常见问题

构建您的 MQTT 到 Kafka 数据管道

联系我们的团队，了解如何使用 EMQX 构建可扩展、可靠、安全的 MQTT 到 Kafka 数据桥接。

联系专家下载 EMQX 企业版