TROCCOの転送設定を作成していると、STEP1からSTEP2へ進む際の「自動データ設定」や、STEP2にある「変更をプレビュー」など、設定の反映や更新、確認するための機能が複数あります。

「これらの機能に違いはあるの？」「どちらを実行すればいいのか迷ってしまう」「せっかく設定した内容が消えてしまった」といったお悩みを防ぐため、それぞれの役割と使い分けるコツをご紹介します。

役割の違い

• 自動データ設定：転送元のデータ構造が変わったため、TROCCO側の設定をリセットして最新の状態に反映する機能
• 変更をプレビュー：転送設定STEP2にてデータを加工・編集した際に、その結果をテスト表示して設定の不備がないか確認する機能

「自動データ設定」を使うタイミング

• 転送元のデータで、カラム（列）が増えたり減ったりしたとき
• 転送元のデータで、カラム名やデータ型が変わったとき
• 読み込むファイルの形式（CSVなど）や解凍形式を変更したとき
• データベース系コネクタやDWH系コネクタなどで、クエリを書き換えたとき

自動データ設定の注意事項

自動データ設定を実行すると、STEP2で設定していた「テンプレートETL（マスキング設定や文字列置換など）」や「カラムの追加・削除」などの設定がすべて初期化されてしまいます。

回避策

「変更をプレビュー」を使うタイミング

• カラム定義でデータ型を変更したり、不要なカラムを削除したとき
• テンプレートETL機能（マスキング、文字列置換、フィルターなど）を追加したとき

プレビューの注意事項

STEP2で設定を変更した後、「変更をプレビュー」をクリックする必要は必ずしもありません。

変更をプレビューを実行することで、プレビュー画面にて結果を確認しエラーが発生しないか確認するために利用します。
ただし、STEP1にてカラムのデータ型を設定することができないコネクタの場合は、転送元で自動判定されたデータ型を変更するために「変更をプレビュー」を実行して変更を反映する必要があります。

もっと理解したい人向け情報

裏側で動いている「Embulk」と「パーサー（Parser）」

TROCCOのデータ転送処理の裏側では、Embulkというオープンソースのデータ転送ツールが利用されています。 さらに、ファイル系のデータ（CSV、JSON、Excelなど）を読み込む際には、パーサー（Parser）と呼ばれる機能が重要な役割を果たしています。

パーサー（Parser）とは？

• 自動データ設定（embulk guess ＋embulk preview コマンドに相当）
  • データの一部を読み込み、「どんな設定（区切り文字やデータ型など）にするのが最適か」を推測（guess）して、ベースとなる設定を自動生成する
• 変更をプレビュー（embulk preview コマンドに相当）
  • 設定されたパーサーを使って実際にデータをパースし、TROCCO上での加工や変換が正しく行われるかテスト表示（preview）する

まとめ