シラバス詳細 — Professional Data Engineer
公式試験ガイド（2024年改訂版）の全範囲を日本語化し、各項目に**「何が問われるか」「キーサービス」**を補足したものです。
学習前にここで地図を頭に入れ、各論は 02_学習資料/ で深掘りしてください。
凡例：🔑 = 頻出キーサービス／⚠️ = ひっかけ・判断ポイント
📐 セクション1：データ処理システムの設計（~22%）
データ基盤を「設計」する観点。セキュリティ・信頼性・移行を含む上流工程。
1.1 セキュリティとコンプライアンスを考慮した設計
- IAM（Cloud IAM、組織ポリシー）
- データセキュリティ（暗号化と鍵管理）
- プライバシー（PII＝個人を特定できる情報の取り扱い戦略）
- リージョン考慮（データ主権：データのアクセス・保存場所）
- 法令・規制コンプライアンス
- プロジェクト/データセット/テーブルのアーキテクチャ設計（適切なデータガバナンス）
- マルチ環境のユースケース（開発 vs 本番）
🔑 Cloud IAM / 組織ポリシー / CMEK・CSEK / Cloud KMS / Cloud DLP / VPC Service Controls ⚠️ 「最小権限」「サービス境界での情報漏洩防止 (VPC SC)」「PIIはDLPでマスキング/トークン化」が定番解答
1.2 信頼性と忠実性を考慮した設計
- データの準備とクレンジング（Dataform、Dataflow、Cloud Data Fusion、LLMによるクエリ生成）
- データパイプラインの監視とオーケストレーション
- 災害復旧（DR）と耐障害性
- ACID（原子性・一貫性・独立性・永続性）準拠と可用性のトレードオフ判断
- データ検証
🔑 Dataform / Dataflow / Cloud Data Fusion / Cloud Composer ⚠️ ACIDが必要 → Spanner/Cloud SQL/AlloyDB、結果整合性で良い → Bigtable/Firestore
1.3 柔軟性とポータビリティを考慮した設計
- 現在・将来のビジネス要件をアーキテクチャへマッピング
- データ/アプリのポータビリティ設計（マルチクラウド、データ所在地要件）
- データのステージング・カタログ化・プロファイリング・ディスカバリ（データガバナンス）
🔑 BigLake / BigQuery Omni（マルチクラウド）/ Dataplex / Dataplex Catalog ⚠️ マルチクラウドのデータをBigQueryから直接分析 → BigQuery Omni / BigLake
1.4 データ移行の設計
- 現状のステークホルダー・ユーザー・プロセス・技術を分析し移行計画を作成
- Google Cloud への移行と検証の計画
🔑 BigQuery Data Transfer Service / Database Migration Service (DMS) / Transfer Appliance / Datastream / Storage Transfer Service ⚠️ 大容量オフライン転送 → Transfer Appliance、継続的CDC → Datastream、DB移行 → DMS
🔄 セクション2：データの取り込みと処理（~25%）★最重要
パイプラインの計画・構築・運用。出題比重が最も高いため最優先で学習。
2.1 データパイプラインの計画
- データのソースとシンクの定義
- データ変換とオーケストレーションロジックの定義
- ネットワーキングの基礎
- データ暗号化
🔑 Pub/Sub / Dataflow / Cloud Storage / BigQuery
2.2 パイプラインの構築
- データクレンジング
- サービスの見極め：Dataflow、Apache Beam、Dataproc、Cloud Data Fusion、BigQuery、Pub/Sub、Apache Spark、Hadoopエコシステム、Apache Kafka
- 変換（Transformations）
- バッチ
- ストリーミング（ウィンドウ処理、遅延到着データ）
- 処理ロジック
- AIによるデータエンリッチメント
- データの取得とインポート
- 新規データソースとの統合
🔑 Dataflow (Apache Beam) / Dataproc (Spark/Hadoop) / Cloud Data Fusion / Pub/Sub / BigQuery ⚠️ ストリーミング＋サーバーレス → Dataflow、既存Spark/Hadoop資産の移行 → Dataproc、GUIでETL → Data Fusion ⚠️ ストリーミングのウィンドウ（固定/スライディング/セッション）とウォーターマーク・遅延データ処理は頻出
2.3 パイプラインのデプロイと運用化
- ジョブの自動化とオーケストレーション（Cloud Composer、Workflows）
- CI/CD（継続的インテグレーション・デプロイ）
🔑 Cloud Composer (Airflow) / Workflows / Cloud Build ⚠️ 複雑な依存関係のあるDAG → Composer、軽量なAPIオーケストレーション → Workflows
💾 セクション3：データの保存（~20%）
ストレージ選定とDWH/データレイク/データプラットフォーム設計。
3.1 ストレージシステムの選択
- データのアクセスパターンの分析
- マネージドサービスの選定：BigQuery、BigLake、AlloyDB、Bigtable、Spanner、Cloud SQL、Cloud Storage、Firestore、Memorystore
- ストレージのコストとパフォーマンスの計画
- データのライフサイクル管理
🔑 上記全サービス（選定の使い分けが核心） ⚠️ 意思決定ツリーは丸暗記必須（後述）
3.2 データウェアハウスの利用計画
- データモデルの設計
- データの正規化の度合いの決定
- ビジネス要件のマッピング
- アクセスパターンを支えるアーキテクチャ定義
🔑 BigQuery（パーティション・クラスタリング・非正規化・ネスト/繰り返しフィールド） ⚠️ BigQueryは非正規化＋ネスト構造が基本（JOINよりSTRUCT/ARRAY）
3.3 データレイクの利用
- レイクの管理（データディスカバリ・アクセス・コスト制御）
- データの処理
- データレイクの監視
🔑 Cloud Storage / Dataplex / BigLake
3.4 データプラットフォームの設計
- 要件に基づくデータプラットフォーム構築（Dataplex、Dataplex Catalog、BigQuery、Cloud Storage）
- 分散データシステムのフェデレーテッドガバナンスモデルの構築
🔑 Dataplex / Dataplex Catalog（データメッシュ的な統合ガバナンス）
📊 セクション4：分析のためのデータ準備と使用（~15%）
BI可視化・AI/ML向け前処理・データ共有。
4.1 可視化のためのデータ準備
- ツールへの接続
- フィールドの事前計算
- BigQueryのBI機能（BI Engine、マテリアライズドビュー）
- 低速クエリのトラブルシューティング
- セキュリティ・データマスキング・IAM・Cloud DLP
🔑 Looker / Looker Studio / BI Engine / マテリアライズドビュー / 承認済みビュー (Authorized Views) ⚠️ 行/列レベルのアクセス制御、列マスキング（ポリシータグ）
4.2 AI・ML のためのデータ準備
- 特徴量エンジニアリング・学習・サービングのためのデータ準備（BigQuery ML）
- 非構造化データの埋め込み（embeddings）と RAG（検索拡張生成）向け準備
🔑 BigQuery ML / Vertex AI / Feature Store / Vector Search（埋め込み・RAG） ⚠️ SQLだけでML → BigQuery ML、本格MLOps → Vertex AI
4.3 データの共有
- 共有ルールの定義
- データセットの公開
- レポート・可視化の公開
- BigQuery共有（Analytics Hub）
🔑 Analytics Hub / 承認済みビュー / IAM ⚠️ 組織間でのデータ共有 → Analytics Hub（データのコピー不要）
⚙️ セクション5：データワークロードの保守と自動化（~18%）
運用フェーズ。コスト最適化・自動化・監視・耐障害性。
5.1 リソースの最適化
- ビジネス要件に応じたコスト最小化
- ビジネスクリティカルな処理への十分なリソース確保
- 永続クラスタ vs ジョブ単位クラスタの判断（Dataproc）
🔑 Dataproc（ephemeral クラスタ）/ プリエンプティブル VM / BigQuery スロット ⚠️ コスト最適化 → Dataprocはジョブ完了後に破棄するephemeralクラスタ＋Cloud Storage
5.2 自動化と再現性の設計
- Cloud Composer用の DAG（有向非巡回グラフ） の作成
- 反復可能なジョブのスケジューリングとオーケストレーション
🔑 Cloud Composer (Airflow) / Workflows / Cloud Scheduler
5.3 ビジネス要件に基づくワークロードの編成
- キャパシティ管理（BigQuery Editions、予約 / reservations）
- インタラクティブ vs バッチクエリジョブ
🔑 BigQuery Editions (Standard/Enterprise/Enterprise Plus) / スロット予約 ⚠️ 予測可能な大量クエリ → 定額（Editions/予約）、散発的 → オンデマンド
5.4 プロセスの監視とトラブルシューティング
- データプロセスの可観測性（Cloud Monitoring、Cloud Logging、BigQuery管理パネル）
- 計画使用量の監視
- エラーメッセージ・課金問題・クォータのトラブルシューティング
- ワークロード（ジョブ・クエリ・コンピューティング容量）の管理
🔑 Cloud Monitoring / Cloud Logging / BigQuery INFORMATION_SCHEMA / 管理リソースチャート
5.5 障害の認識と影響の軽減
- 耐障害性とリスタート管理の設計
- 複数リージョン/ゾーンでのジョブ実行
- データ破損・欠損への備え
- データレプリケーションとフェイルオーバー（Cloud SQL、Redisクラスタ）
🔑 マルチリージョン / Cloud SQL HA・リードレプリカ / Memorystore (Redis) クラスタ ⚠️ Dataflowのスナップショット、Pub/Subのシーク、BigQueryのタイムトラベル（7日間）
🎯 学習優先度マトリクス
| セクション | 比重 | 難易度 | 学習優先度 |
|---|---|---|---|
| 2. 取り込みと処理 | 25% | 高 | ⭐⭐⭐⭐⭐ |
| 1. システム設計 | 22% | 中 | ⭐⭐⭐⭐ |
| 3. データの保存 | 20% | 中 | ⭐⭐⭐⭐ |
| 5. 保守と自動化 | 18% | 中 | ⭐⭐⭐ |
| 4. 分析準備 | 15% | 低〜中 | ⭐⭐⭐ |
戦略：比重の高いセクション2・3（ストレージ選定＋パイプライン）で確実に得点する。これだけで約45%を占める。次に設計（1）。4・5は範囲が広いが深さは浅めなので、サービスの役割を押さえて取りこぼさない。