はじめに
TROCCOのSnowflakeデータマート機能について、新機能のリリースに伴いUIが大幅に変更される予定です。
本ドキュメントでは、リリースに先立ち新UIの概要と主な変更点をご説明します。
なお、対象となるDWHはSnowflakeのみです。
他のDWH(Databricks, Redshift)については変更はありません。追って対応されます。(BigQueryは対応済みです。)
変更内容
対象アカウント:全アカウント
実施日:2026年7月15日(水)
※弊社都合により数日程度前後する場合があります
変更範囲:
- Snowflakeデータマート新規作成画面
- Snowflakeデータマート編集画面
※既存のデータマート定義を編集した場合も新UIにて編集する形となります
主な変更・改善点
1. 書き込みモードの追加(増分更新・SCD Type2)
データマート定義作成時、クエリ実行モードで「データ転送モード」を選択した際に選択可能な「書き込みモード」が拡張されます。
なお、「増分更新」および「SCD Type 2」をご利用いただけるのはEssentialプラン以上をご契約のお客様です。
| モード | 説明 | 新旧 |
|---|---|---|
| 追記 | 既存テーブルにクエリ実行結果を追記 | 既存 |
| 全件洗い替え (TRUNCATE INSERT) | 既存テーブルのレコードを全件削除(TRUNCATE)後、新規データを挿入 | 既存 |
| 全件洗い替え (REPLACE) | 既存テーブルをDROPして作り直し、新規データに置き換え | 既存 |
| 増分更新 | キーカラムに基づくマージ処理 | 新規 |
| SCD Type 2 | 履歴保持型のマージ処理 | 新規 |
2. マルチステップフォームへの変更
従来の単一画面での設定から、複数ステップに分割されたフォームに変更されます。
| ステップ | 内容 |
|---|---|
| 基本設定 | データマート定義名、メモ、リソースグループ、ラベルの設定 |
| DWH設定 | 接続情報、ウェアハウス、クエリ、クエリ実行モード、書き込みモード、出力先、オプションの設定 |
3. スキーマ追従モードの追加
「増分更新」「SCD Type 2」を利用する際に、ソース側のスキーマ変更への追従方法を選択できます。
- 検知のみ:スキーマの変更を検知しますが、自動的には追従しません
- カラム自動追加:スキーマの変更を検知し、カラムを自動的に追加します
各画面における具体的な差分
1. データマート定義作成・編集画面の差分
Snowflakeデータマート定義の作成・編集画面が、単一画面から複数ステップの画面に分かれる形に変更されます。
STEP1: 基本設定
| 設定項目 | 必須 | 説明 |
|---|---|---|
| データマート定義名 | 必須 | 定義の名称を設定 |
| メモ | 任意 | Markdown形式で記述可能 |
| リソースグループ | 任意 | リソースグループの設定が可能 |
| ラベル | 任意 | ラベルの設定が可能 |
STEP2: データ取得設定
主要な変更点に絞って説明します。
データ取得基本設定
| 設定項目 | 必須 | 説明 |
|---|---|---|
| Snowflake接続情報 | 必須 | 使用する接続情報を選択 |
| クエリ実行モード | 必須 | データ転送モード / 自由記述モード |
| 出力先テーブルの書き込み設定 | 必須 | 以下の5つから選択: 追記 / 全件洗い替え (TRUNCATE INSERT) / 全件洗い替え (REPLACE) / 増分更新 / SCD Type 2 |
クエリ設定
| 設定項目 | 必須 | 説明 |
|---|---|---|
| カスタム変数 | 任意 | カスタム変数を設定可能 |
| ウェアハウス | 必須 | 使用するウェアハウスを選択 |
| 出力先データベース | 必須 | 出力先のデータベース |
| 出力先スキーマ | 必須 | 出力先のスキーマ |
| 出力先テーブル | 必須 | 出力先のテーブル |
| ステートメントタイムアウト (秒) | 必須 | 実行中のクエリをタイムアウトする秒数 |
| クエリ | 必須 | 実行するSQLクエリ |
| スキーマ追従モード | 必須 | ・検知のみ:スキーマの変更を検知しますが、自動的には追従しません ・カラム自動追加:スキーマの変更を検知し、カラムを自動的に追加します |
新規追加された書き込みモードの説明
「増分更新」の設定方法について
増分更新は、キーカラムに基づき既存のデータが存在した場合の挙動を制御しながら、差分レコードのみを更新する処理方法です。
| 設定項目 | 必須 | 説明 |
|---|---|---|
| 結合キー | 必須 | レコードを一意に識別するためのカラム(複数指定可) |
| 取得レコードの扱い | 必須 | 結合キーが一致するレコードが既に存在する場合の処理を選択 ・上書き:既存のレコードを一旦 DELETE してから、新しいレコードを INSERT します(データの整合性を重視) ・スキップ:既存のレコードをそのまま残し、新しいレコードだけを INSERT します |
| 処理対象期間 | 必須 | 処理対象とするデータの期間を指定 ・範囲を指定する:指定したカラム(基準カラム)を基準に、任意の期間でデータを処理 ・全データを対象にする:期間で絞り込まず、すべてのデータを処理対象とする 基準カラムに指定可能なデータ型: DATE、TIMESTAMP_NTZ、TIMESTAMP_TZ、TIMESTAMP_LTZ※DATE型カラムでは「時間」単位は指定できません。 |
「SCD Type 2」の設定方法について
SCD Type 2(Slowly Changing Dimension Type 2)モードは、レコードの変化の履歴を保持しながらデータをテーブルに積み上げていく処理方法です。
SCD Type 2 モードを利用することで、利用者や契約者の「住所」や「契約プラン」といった変化する情報について「いつ」「どうであったか」を単一のテーブルに保持することができます。これにより多様な分析要件に柔軟に対応できるほか、過去時点のテーブル(スナップショット)をすべて保持する方法と比較しても、コスト面での優位性を持つテーブル構成となります。
| 項目名 | 必須 | 内容 |
|---|---|---|
| 結合キー | 必須 | ビジネスキーとなるカラムを指定します(複数指定可) 指定した結合キーが一致する既存レコードに対して、増分基準カラムの値が更新されている場合は、新しいレコードが作成される |
| 更新検知カラム | 必須 | データが更新されたかを判定できる「更新日時」や「連番」のカラムを1つ指定 このカラムに変更があった場合、既存レコードの有効終了日時を更新し、新しいレコードが作成される ※ソーステーブルに存在する「更新日時」カラムを指定するケースが一般的 |
| 処理対象期間 | 必須 | 処理対象とするデータの期間を指定 ・範囲を指定する:指定したカラム(基準カラム)を基準に、任意の期間でデータを処理 ・全データを対象にする:期間で絞り込まず、すべてのデータを処理対象とする 基準カラムに指定可能なデータ型: DATE、TIMESTAMP_NTZ、TIMESTAMP_TZ、TIMESTAMP_LTZ※DATE型カラムでは「時間」単位は指定できません。 |
また、SCD Type 2(履歴保持)モードを使用すると、以下のカラムが出力先テーブルに自動的に追加・管理されます。
(出力先テーブルに同名カラムがある場合は意図しない値で上書きされる可能性があるためご注意ください)
| カラム名 | データ型 | 内容 |
|---|---|---|
trocco_valid_from |
TIMESTAMP_LTZ |
レコードの有効開始時刻。ジョブの実行時刻が入ります。 |
trocco_valid_to |
TIMESTAMP_LTZ |
レコードの有効終了時刻(NULLは現在有効であることを示します)。NULLでない場合は trocco_is_current が無効にされた時刻が入ります。 |
trocco_is_current |
BOOLEAN |
現行フラグ(TRUE は現在有効なレコードであることを示します) |
ご不明点がございましたら、担当カスタマーサクセスへご連絡、またはリクエストを送信してお問い合わせください。
コメント
0件のコメント
記事コメントは受け付けていません。