特定のデータ(無効なIDなど)を除外して転送することは可能です。
データを除外するには、主に以下の2つの方法があります。ご利用の転送元コネクタの仕様に合わせてどちらかの方法で設定してください。
設定方法
方法1:転送設定STEP1のクエリで絞り込む
転送元がデータベース(MySQLやPotgreSQLなど)の場合や、DWH(Google BigQueryやSNowflakeなど)の場合は、データを抽出する段階でクエリであらかじめ除外することが可能です。
またクエリ入力欄がない場合でも、コネクタによっては条件式など詳細設定より絞り込みの設定が可能となります。
クエリ例:
SELECT * FROM table_name
WHERE id NOT IN ('ID_A', 'ID_B')方法2:転送設定STEP2のフィルター設定を利用する
転送元で全データを抽出したあと、特定のデータを除外します。
設定例:
絞り込み方法の差異について
データをどこで絞り込むか(転送元か、抽出したデータか)によって、転送時間に影響を与えます。利用されるコネクタに応じて使い分けてください。
| STEP1での絞り込み | STEP2での絞り込む | |
|---|---|---|
| 処理のタイミング | データを抽出する前 | データを抽出した後 |
| メリット | 転送データ量を削減できるため、転送時間が短縮される | SQLの知識がなくても、画面上の操作だけで直感的に設定できる |
| デメリット | 転送元がSQLなどのクエリに対応している必要がある | 不要なデータも抽出するため、転送量や処理時間が増える可能性がある |
基本的には、転送効率とコストの観点から「STEP1での絞り込み」を推奨します。転送元がクエリに対応していない場合や、画面上で手軽に設定したい場合は「STEP2のフィルタ設定」をご利用ください。
コメント
0件のコメント
記事コメントは受け付けていません。