はじめに
TROCCOのBigQueryデータマート機能について、新機能のリリースに伴いUIが大幅に変更される予定です。
本ドキュメントでは、リリースに先立ち新UIの概要と主な変更点をご説明します。
なお、対象となるDWHはBigQueryのみです。
他のDWH(Snowflake, Databricks, Redshift, Azure Synapse Analytics)については変更はありません。追って対応されます。
変更内容
対象アカウント:全アカウント
実施日:2026年2月17日
※弊社都合により数日程度前後する場合があります
変更範囲:
BigQueryデータマート新規作成画面
BigQueryデータマート編集画面
※既存のデータマート定義を編集した場合も新UIにて編集する形となりますBigQueryデータマートジョブ結果詳細画面
主な変更・改善点
1. 書き込みモードの追加(増分更新・SCD Type2)
データマート定義作成時、クエリ実行モードで「データ転送モード」を選択した際に選択可能な「書き込みモード」が従来の2種類から4種類に拡張されます。
なお、「増分更新」および「SCD Type 2」をご利用いただけるのはEssentialプラン以上をご契約のお客様です。
モード | 説明 | 新旧 |
|---|---|---|
全件洗い替え | テーブルを削除後、新規データを挿入 | 既存 |
増分更新 | キーカラムに基づくマージ処理 | 新規 |
SCD Type 2 | 履歴保持型のマージ処理 | 新規 |
追記 | 既存テーブルに追加 | 既存 |
2. マルチステップフォームへの変更
従来の単一画面での設定から、3ステップに分割されたフォームに変更されます。
ステップ | 内容 |
|---|---|
基本設定 | データマート定義名、メモ、リソースグループ、ラベルの設定 |
DWH設定 | 接続情報、クエリ、クエリ実行モード、書き込みモード、オプションの設定 |
3. 一覧画面の絞り込み内容の拡充
新しいフィルター項目が追加されます。
書き込みモード
4. ジョブ詳細画面の情報拡充
以下の情報が新たに表示されるようになります。
書き込みモード
カスタム変数設定
各画面における具体的な差分
1. データマート定義作成・編集画面の差分
BigQueryデータマート定義の作成・編集画面が、単一画面から2ステップの画面に分かれる形に変更されます。
STEP1: 基本設定
設定項目 | 必須 | 説明 |
|---|---|---|
データマート定義名 | 必須 | 定義の名称を設定 |
メモ | 任意 | Markdown形式で記述可能 |
リソースグループ | 任意 | リソースグループの設定が可能 |
ラベル | 任意 | ラベルの設定が可能 |
STEP2: データ取得設定
主要な変更点に絞って説明します。
データ取得基本設定
設定項目 | 必須 | 説明 |
|---|---|---|
BigQuery接続情報 | 必須 | 使用する接続情報を選択 |
クエリ実行モード | 必須 | データ転送モード / 自由記述モード |
書き込みモード | 必須 | 以下の4つから選択
|
クエリ設定
設定項目 | 必須 | 説明 |
|---|---|---|
カスタム変数 | 任意 | カスタム変数を設定可能 |
出力先データセット | 必須 | 出力先データセット |
出力先テーブル | 必須 | 出力先テーブル |
クエリ | 必須 | 実行するSQLクエリ |
2: データマート定義一覧画面の変更
BigQueryデータマート定義を書き込みモードで絞り込めるようになります。
※書き込みモードによる絞り込みが有効なのはBigQueryデータマート定義のみ選択肢: 「全件洗い替え」「増分更新」「SCD Type 2(履歴保持)」「追記」
3: データマートジョブ詳細画面
データマートジョブ詳細画面に、書き込みモードなどの情報が追加表示されるようになります。
新規追加された書き込みモードの説明
「増分更新」の設定方法について
増分更新は、キーカラムに基づく既存のデータが存在した場合にはDELETEしてからINSERTを行う処理方法です。
設定項目 | 必須 | 説明 |
|---|---|---|
キーカラム | 必須 | レコードを一意に識別するためのカラム(複数指定可) |
キーが一致するレコードが存在した場合の挙動 | 必須 | キーカラムが一致するレコードが既に存在する場合の処理を選択
|
処理対象期間 | ✓必須 | 処理対象とするデータの期間を指定
相対指定の場合は、基準カラムと期間を指定 |
「SCD Type 2」の設定方法について
SCD Type 2(Slowly Changing Dimension Type 2)モードは、レコードの変化の履歴を保持しながらデータをテーブルに積み上げていく処理方法です。
SCD Type 2 モードを利用することで、利用者や契約者の「住所」や「契約プラン」といった変化する情報について「いつ」「どうであったか」を単一のテーブルに保持することができます。これにより多様な分析要件に柔軟に対応できるほか、過去時点のテーブル(スナップショット)をすべて保持する方法と比較しても、コスト面での優位性を持つテーブル構成となります。
項目名 | 必須 | 内容 |
|---|---|---|
キーカラム | 必須 | レコードを一意に識別するためのカラム(複数指定可) 指定したキーカラムが一致する既存レコードに対して、増分基準カラムの値が更新されている場合は、新しいレコードが作成される |
増分基準カラム | 必須 | データの新しさを判定できる「更新日時」や「連番」のカラムを1つ指定 このカラムに変更があった場合、既存レコードの有効終了日時を更新し、新しいレコードが作成される 数値または日付型のみ指定可能(
※ソーステーブルに存在する「更新日時」カラムを指定するケースが一般的 |
処理対象期間 | ✓必須 | 処理対象とするデータの期間を指定
相対指定の場合は、基準カラムと期間を指定 |
また、このモードで作成されたテーブルについては以下のカラムが自動で追加され、変更履歴の記録に利用されます。
カラム名 | 型 | 説明 |
|---|---|---|
| TIMESTAMP | レコードの有効開始日時 ジョブの実行時刻が入る |
| TIMESTAMP | レコードの有効終了日時(NULLは現在有効)
|
| BOOLEAN | キーカラムにおける最新のレコードを示すフラグ TRUE:有効 |
コメント
0件のコメント
記事コメントは受け付けていません。