過去分のレコードを期間で分割して取得する方法

転送元広告系コネクタ（Google Ads、Facebook Ad Insightsなど）やクラウドアプリケーションコネクタ（Shopifyなど）で、OutOfMemoryエラーや、Rate Limitエラー、タイムアウトが発生するケースがあります。

（参考）
転送元Facebook Ad Insightsで再試行回数が上限を超えたためエラーが発生する
OutOfMemoryErrorが発生する

これらの事象は、転送元の取得データ量が多いことで大量のリクエストを送信する、または、レスポンスが返ってくるまでの時間が長くなることが原因となります。

STEP1の転送元の設定で「データ取得期間」を設定できるコネクタの場合は、取得期間で絞り込むことがエラー解消方法となります。

ワークフロー機能とカスタム変数ループ実行を活用することで分割してレコードを取得することができます。

取得期間で分割する方法

転送設定とワークフロー機能を利用します。以下の例ではYahoo!検索広告を転送元にして過去2年分のレポートを1ヶ月区切りで取得する方法を解説します。

転送設定

• カスタム変数を転送元に2つ追加する
  • 取得開始日
    • 変数名：$from$
    • データ型：時刻・日付（キューイング時）
    • 値：1ヶ月前
      • 値はプレビューで使用するだけなので、適当なもので構いません。
    • 日付フォーマット：%Y%m%d
      • 期間の指定方式に合わせて設定します。Yahoo!検索広告の場合はYYYYMMDDなので%Y%m%dで設定する必要があります。
    • タイムゾーン：Asia/Tokyo

  • 取得終了日

    • 変数名：$to$
    • データ型：時刻・日付（キューイング時）
    • 値：0ヶ月前
    • 日付フォーマット：%Y%m%d
    • タイムゾーン：Asia/Tokyo

    

• データ取得期間の開始日に$from$、終了日に$to$を記載する

  

ワークフロー

• 上記で作成した転送設定をタスク追加して編集を行う

  

• 「カスタム変数でループ実行」にチェックをつけ、ループの種類を「期間(相対指定)でループ」を選択する
  • 対象カスタム変数に転送設定で追加した$from$と$to$を指定
  • 期間は 2年前 〜 1月前
  • ループ間隔は1ヶ月
  • タイムゾーンはAsia/Tokyo (+09:00)
  • カスタム変数の展開設定
    • $from$：0日前

    • $to$：1ヶ月後

      

• カスタム変数出力イメージを確認して、期間やループ間隔、展開設定などを調整してください。

以上です。
期間を細かく区切りまとめて転送することが可能になります。

今回は、ループの種類を「期間(相対指定)でループ」を選択しましたが、「DWH（Google BigQueryやSnowflake）のクエリ結果でループ」を選択し、クエリで期間を指定する方法もあります。