転送元Google BigQueryにて、ジョブを実行した際に以下のような事象が発生することがあります。
- あるカラムのデータ型が異なるというエラーが発生する
- あるカラムに想定とは異なる値が入ったことでエラーが発生する
原因
転送設定STEP1の「一時データエクスポート指定」において、「カスタムパス設定」を選択している場合、複数の転送設定で同一のカスタムパスを指定していると、一時データエクスポート用のファイルが上書きされてしまう可能性があります。
対処方法
一時データの上書きを防ぐために、転送設定ごとに異なるカスタムパスを指定してください。
例:
転送設定A
gs://trocco-tmp-export/definition_a/*転送設定B
gs://trocco-tmp-export/definition_b/*
もしくは、一時データエクスポート指定の設定を「バケットのみ指定」に変更してください。
転送ごとに、指定したバケット内にユニークなフォルダが生成され、その中に一時データがエクスポートされます。
コメント
0件のコメント
記事コメントは受け付けていません。