灵活扩展设备连接
通过 EMQX 连接 MQTT 设备,将遥测数据路由到数据库,并根据连接数和数据量规划各环节的容量。
EMQX 时序数据库集成
使用 EMQX 采集 MQTT 遥测数据,通过 SQL 规则完成预处理,再写入数据库,用于分析和可视化。
概览
由 EMQX 负责设备连接和数据预处理,让数据库专注于存储和查询。
通过 EMQX 连接 MQTT 设备,将遥测数据路由到数据库,并根据连接数和数据量规划各环节的容量。
在存储前过滤和转换遥测数据,让数据库只处理应用真正需要的数据。
通过 EMQX 数据集成将遥测数据路由到所支持的数据库,存储层可以独立演进,不受设备连接的影响。
架构
MQTT 设备将数据发布到 EMQX,EMQX 预处理遥测数据后,写入已配置的数据库 Sink。
MQTT 设备
EMQX 企业版
MQTT Broker
Broker 监控
Prometheus目标数据库
工作原理
在 Flow 设计器中配置从 MQTT 主题到数据库写入的完整数据流。
开始之前
将传感器等设备连接到 EMQX,并将遥测数据发布到 MQTT 主题。
使用 SQL 规则过滤消息,映射时间戳、测量值和字段类型。
通过数据库 Sink 写入一条测试消息,检查时间戳、字段类型和存储值。
核心能力
连接设备、转换 MQTT 数据、监控数据库写入。
设备可通过 MQTT 5.0 或 3.1.1 接入,协议支持与所选数据库无关。
MQTT 协议指南借助缓冲和重试选项应对临时中断,并可根据业务负载设置缓冲模式、容量和请求超期时间。
缓冲队列指南在写入数据库之前,使用内置 SQL 规则过滤消息、提取测量值、转换字段值。
规则 SQL 参考在支持的场景下选择同步或异步请求,并根据吞吐量和延迟要求调整写入设置。
Sink 功能指南将预处理后的遥测数据存入数据库,使用现有工具进行查询、构建仪表盘和分析。
TimescaleDB 集成指南跟踪成功、失败和丢弃的请求以及队列深度,及时发现数据投递问题。
数据投递监控指南生态
将 MQTT 遥测数据接入您的存储平台,并使用 Prometheus 监控 EMQX。
资源
FAQ
EMQX 负责处理设备连接,并在数据存储前完成遥测数据的预处理。SQL 规则可以过滤消息、转换字段,数据库集成再将处理结果写入所支持的目标数据库。
EMQX 支持与 InfluxDB、TimescaleDB、Apache IoTDB、ClickHouse、GreptimeDB 等数据库集成。具体支持的版本和配置方式请参阅各集成指南。Prometheus 用于采集 EMQX Broker 的运行指标,对 Broker 进行监控。
发生临时中断时,所支持的数据库 Sink 可以缓存请求并重试投递。数据能保留多久,取决于连接器类型、缓冲模式与容量,以及请求超期时间(TTL)。请监控失败和丢弃的请求;缓冲并不能无限期保留数据。
可以。使用 SQL 规则,可以在写入数据库之前过滤消息、选取时间戳和测量值、转换字段值。请确保输出字段及其类型与数据库的表结构一致。
请选择与您的数据库对应的连接器,并在其集成指南中确认支持的版本、凭据和写入格式。配置好规则和数据库 Sink 后,在目标数据库中核对时间戳和测量值。