転送元ファイル系コネクタで新規に追加されたファイルだけを転送対象にする方法

転送元S3などのファイル系コネクタで、毎日指定のフォルダにファイルが自動追加されるが、追加されたファイルのみを転送対象にして、すでに転送したファイルは転送除外できるか、という質問をもらうことがあります。

ファイル名に「ファイルが追加された日時」が含まれる場合は、実現可能です。以下のようなファイル名の場合が対象です。

• sample_20260101.csv
• 202601010000_sample.csv

実際に転送設定を作成してみましょう。

1. カスタム変数を追加する
   • 変数名：$date$
   • データ型：時刻・日時（キューイング時）
   • 値・単位：前/後：0日前
     • 実行日を基準として展開したい日付を設定
   • 日付フォーマット：%Y%m%d
     • 20260101という形式の日付を挿入する場合
   • タイムゾーン：Asia/Tokyo
2. 追加したカスタム変数を パスプレフィックス / ファイルプレフィックス / ファイル名の正規表現 に埋め込む
   （コネクタによって項目名が異なります）
   • sample_20260101.csv の形式の場合、sample_$date$.csv
   • 202601010000_sample.csv の形式の場合、^$date$\d{4}_sample\.csv$
3. スケジュールを設定して、毎日実行することで、日毎に追加された分のみ転送対象にすることが可能です。