MQTT データを Kafka にストリーミング

MQTT から Kafka へのブリッジは、MQTT ブローカーからメッセージを消費し、Kafka クラスターに転送するコンポーネントです。これにより、MQTT を介して通信する IoT デバイスのデータを、高スループットデータバスとして Kafka を使用するバックエンドシステムやビッグデータプラットフォームで処理できるようになります。

EMQX は、MQTT デバイス接続、SQL によるデータ処理、Kafka 統合をまとめて提供します。Kafka へのデータ送信には Kafka Sink を、Kafka からのイベント受信には Kafka Source を設定します。バッファ設定、リトライ動作、モニタリングを活用して、ワークロードに合わせて配信を管理できます。

はい。EMQX には強力な SQL ベースのルールエンジンが含まれており、データをリアルタイムで処理できます。MQTT メッセージのペイロードとメタデータを Kafka トピックに公開する前にフィルタリング、再フォーマット、エンリッチメント、変換でき、下流のコンシューマーに適した形式でデータを提供できます。

MQTT は、リソースが限られたデバイスや不安定なネットワーク上のデバイスを含め、さまざまなデバイスを接続するための軽量なパブリッシュ/サブスクライブ型プロトコルです。Apache Kafka は、高スループットのデータストリームを処理・保存する分散イベントストリーミングプラットフォームです。EMQX が両者を橋渡しすることで、MQTT デバイスのイベントを Kafka ベースのアプリケーションで活用できます。

Kafka 統合が再接続するまでの間、EMQX は送信待ちのメッセージをバッファリングします。メッセージの保持方法はバッファモードと容量によって決まり、ディスクバッファは EMQX ノードの再起動後もメッセージを保持できますが、メモリバッファは保持できません。バッファが満杯になると古いメッセージから破棄される場合があるため、想定される停止時間に合わせてバッファサイズを設定し、配信メトリクスを監視してください。