本文へスキップ
hdknr blog

Amazon Redshift

AWS の DWH。Aurora zero-ETL 連携で取り込みを自作せずに済む一方、列単位で PII を落とせない点と、Serverless が CDC でアイドルにならない点に注意が要る

概要

Amazon Redshift は、ストレージ・テーブル管理・計算を 1 製品に持つ AWS の DWH。ノードを常時起動するプロビジョンドと、使った RPU(Redshift Processing Unit)時間だけ課金する Serverless の 2 形態がある。Aurora からの zero-ETL 連携で取り込みを自作せずに済むため、AWS だけで AI ネイティブなデータ分析基盤を作るときの DWH の第一候補になる。

詳細

Aurora zero-ETL 連携

Aurora の変更を Redshift に自動で複製し続ける機能で、GCP の Datastream にいちばん近い。連携そのものに追加料金はないが、Redshift の計算・ストレージ、初回取り込み、Aurora 側の I/O、AZ 間転送は課金される。

データフィルタはデータベース単位・テーブル単位で、列・行単位には対応しない。PII 列もそのまま raw 層まで届くので、次のどちらかで対処する。

Serverless の費用は「止まらない計算」に注意

Serverless はクエリがない間は計算課金が止まるのが利点だが、CDC で変更が絶えず流れ込むとアイドルにならないおそれがある。

DB 側の防御線

BigQuery の Policy Tags と違い、Redshift では RLS・動的データマスキング・列単位の権限を SQL で宣言できる。BI 層(Lightdash)の権限制御を主にし、<table>_pii などの重要テーブルだけに RLS やマスキングを重ねると、BI の設定ミスを DB 側で止められる。

監査用の SYS_QUERY_HISTORY は、スーパーユーザー以外には自分のクエリしか見えない。全員分を追うには監査ロールに sys:monitor を付ける(または SYSLOG ACCESS UNRESTRICTED)。

周辺との組み合わせ

関連ページ

ソース記事