TROCCOの転送設定には、固定長ファイルの各カラムをバイト数指定で直接分割して読み込む専用機能はありません。ただしAdvancedプラン以上から利用できるプログラミングETLで分割することは可能です。
そのため、一度「分割しない1つの大きな文字列」としてDWH(BigQuery / Snowflake / Redshift等)に取り込み、データマート定義にて、クエリで分割処理を行う構成を推奨します。
以下の2ステップで設定を行うことで、固定長テキストをカラム分けすることが可能です。
設定方法
STEP 1:DWHへ1カラムとして転送する
1行全体が1つのカラム(例: raw_data)に格納されるように設定して転送を実行します。
STEP 2:データマート定義で文字列を分割する
データマート定義を使用し、SQLの SUBSTR 関数などを用いて、固定長の定義に基づきカラムを分割します。
SELECT
SUBSTR(raw_data, 1, 10) AS user_id,
SUBSTR(raw_data, 11, 50) AS user_name,
...
FROM raw_tableSTEP3:ワークフローを作成する
STEP1とSTEP2で作成した設定をワークフローにタスク追加して、一連のフローで実行されるように設定します。
コメント
0件のコメント
記事コメントは受け付けていません。