MQTT データを ClickHouse にストリーミング

ClickHouse は分析クエリ向けの列指向 SQL データベースです。データ量が増えても、デバイスの履歴を調べたり、テレメトリーを集計したり、ダッシュボードにデータを提供したりできます。

一時的な接続障害が発生した場合、EMQX はリクエストをキューに入れて再試行できます。設定した上限に達すると、リクエストが期限切れになったり破棄されたりすることがあります。ワークロードに合わせてバッファ容量とリクエストの TTL を設定し、失敗したリクエストと破棄されたリクエストを監視してください。

はい。ClickHouse Sink がテーブルに書き込む前に、EMQX の SQL ルールでトピックやペイロードのフィールドを選択し、メッセージをフィルタリングして値を変換できます。

スループットは、メッセージサイズ、SQL ルール、バッチ設定、ネットワーク状況、ClickHouse の処理能力によって異なります。実際に近いトラフィックでパイプライン全体のベンチマークを行い、取り込み要件に合わせてバッチと並行処理を調整してください。

ClickHouse 統合に対応した EMQX 環境、接続可能な ClickHouse エンドポイント、データベース名、書き込み権限のある認証情報、対象テーブルが必要です。コネクター、ルール、INSERT テンプレートを含む Sink を設定し、テストメッセージで配信を確認してください。