転送元Google BigQueryで改行やカンマが含まれているデータを転送する方法

転送元Google BigQueryでは、データの転送のために一時データファイルを作成します。
値に改行やカンマが含まれるデータを転送する場合、一時データのファイル形式にCSVを選択しますとデータのプレビュー時にエラーとなる可能性があります。これは定義されたカラムの数とレコードから検出されるカラムの数が異なるために発生します。

エラーの回避方法としては以下の方法がございます。

①一時データのファイル形式としてJSON Linesを選択する

一時データのファイル形式にJSON Linesを選択している場合は、値に改行やカンマが含まれているデータであってもエラーにはなりません。設定手順は下記のとおりです。

1. 対象の転送設定で「STEP1 転送元・転送先の設定」を開きます。
2. 一時データのファイル形式に「JSON Lines」を選択します。
3. 自動データ設定を実行して必ず変更を反映させてください。

②SQLで改行やカンマを削除する

SQLに改行やカンマを削除するクエリを記述することで、エラーを回避することができます。この場合、一時データのファイル形式にCSVを選択することが可能です。設定手順は下記のとおりです。

1. 対象の転送設定で「STEP1 転送元・転送先の設定」を開きます。

2. SQLに改行やカンマを削除するクエリを記述します。

   REGEXP_REPLACE(カラム名, r'[\n,]', '')