Google Cloud Storage(GCS)のデータから外部テーブルを作成して、BigQueryに参照する、という方法で転送を高速化させることが可能です。
GCS → BQ の転送で想定よりも処理時間がかかっていると感じた場合にご活用ください。
データマート定義にて、GCSのデータを外部テーブルとして参照する方法
- 転送設定ではなく、データマート定義を作成する
- クエリ実行モードは「自由記述モード」に設定する
- GCS上のファイルを外部テーブルとして参照する
注意点
ファイル内に改行コードが含まれるなどのBigQueryに取り込めない値が存在している場合は、EXTERNALテーブルを作成する前段階で転送対象のレコードの加工が必要になります。
コメント
0件のコメント
記事コメントは受け付けていません。