MQTT データを Snowflake にストリーミング

データの鮮度は、アップロードモード、バッチ処理、ネットワーク状況、Snowflake 側の処理によって異なります。集約アップロードでは、レコード数の上限または時間間隔に達するまで待機してからアップロードします。ストリーミングでは Snowpipe Streaming API を使用します。エンドツーエンドの遅延は、実際の運用に近いメッセージで測定してください。

一時的な中断が発生した場合、EMQX はリクエストをバッファリングしてリトライできます。データを保持できる範囲は、設定したバッファモード、容量、リクエストの有効期限（TTL）、Sink の動作によって異なります。失敗・破棄されたリクエストを監視し、実際のワークロードで復旧をテストしてください。

はい。SQL ルールを使えば、Snowflake Sink がデータを受け取る前に、メッセージのフィルタリング、フィールドの選択、値の変換を行えます。出力フィールドをテーブルのカラムに合わせ、実際に近いテレメトリでテストしてください。

EMQX は MQTT メッセージに SQL ルールを適用し、その結果を Snowflake Sink 経由で転送します。バージョンと設定に応じて、Sink はステージとパイプを通じて集約ファイルをロードするか、Snowpipe Streaming を使用します。

選択したアップロードモードに対応する EMQX のバージョン、Snowflake アカウント、必要な認証情報、権限、送信先オブジェクトが必要です。ドキュメントに記載されたモードごとの前提条件に従って準備したうえで、コネクター、ルール、Sink を作成し、データが届くことを確認してください。