「転送設定」と「マネージド転送設定」では、データ型の判定ロジックが異なります 。
- 転送設定
- Embulkのプラグインが実際のデータ内容をもとにデータ型を自動判定
- マネージド転送設定
- TROCCO内であらかじめ定義している「転送元・転送先サービス間のデータ型マッピング」に基づいて判定
マネージド転送設定は複数テーブルをまとめて作成・管理できる仕様となっています。
個別の転送設定を都度調整しなくても済むように汎用性と安全性を重視したデータ型マッピングを採用しています。
そのため、マネージド転送設定では、型の不正によって値が NULL として転送される といった事象が発生する場合があります。
本FAQでは、マネージド転送設定を利用してSnowflakeへ転送した際に、YYYY-MM-DD 形式のデータが NULL として転送されてしまう事象について説明します。
原因
DATE 型のカラムに対して string 型の値が渡された場合、その値を NULL として扱う挙動が原因です。
なお、この挙動を修正し DATE 型のカラムで string 型の値を許容するようにした場合、
・データ不整合
・パースエラー
・転送失敗
などのエラー発生率が高まる可能性があります。そのため、仕様変更による対応は行っておりません。
対応方法
転送設定ごとに、以下いずれかの方法で YYYY-MM-DD 形式のデータを転送するための設定を行ってください。
① TIMESTAMP 型として転送する
- カラム定義にて、該当カラムのデータ型を
timestampに変更 - 出力オプションの設定を削除
② VARCHAR (STRING) 型として転送する
- カラム定義にて、該当カラムのデータ型を
stringに変更 - 出力オプションの設定を削除
③ DATE 型として転送する
- 出力オプションにて
value_typeをstringに設定
設定変更を効率的に行う方法
マネージド転送設定で作成された設定数が多く、UIからの修正に時間がかかる場合は、以下の利用もご検討ください。
- TROCCO API
- Terraform Provider
これらを利用することで、設定変更を効率的に行うことが可能です。
コメント
0件のコメント
記事コメントは受け付けていません。