システム設計/インフラ — GCP プロモーション管理システム 3設計課題

概要

問題

ECサイトのプロモーション管理システムをGCP上で運用しています。現在の構成:

現在の課題

制約

• GCPのみ使用（他クラウドは不可）
• IaC は Terraform 1.8+ を使用
• Cloud Run v2（第2世代）を前提
• Workload Identity Federation を使用してサービスアカウントキーを廃止すること

ヒント（段階的開示）

Cloud Run → Cloud SQL Auth Proxy (Cloud Run sidecar) → Cloud SQL
                ↓
          min-instances=N で接続を維持
          SQLAlchemy: pool_size=5, max_overflow=0

# 接続数計算:
# max_instances=50 × pool_size=5 = 最大250接続
# （500接続上限の50%で余裕あり）

# environments/prod/main.tf
module "cloud_run" {
  source     = "../../modules/cloud-run"
  project_id = var.project_id
  region     = var.region
}

# Workload Identity Federation（GitHub Actions 用）
resource "google_iam_workload_identity_pool" "github" {
  workload_identity_pool_id = "github-actions-pool"
  project                   = var.project_id
}

改善後アーキテクチャ全体図

解答① 接続数問題: Cloud Run + Cloud SQL Auth Proxy（サイドカー）

Cloud Run v2 では マルチコンテナ（サイドカー） が利用可能。Cloud SQL Auth Proxy をサイドカーとして動かす。

📋 コピー# modules/cloud-run/main.tf

resource "google_cloud_run_v2_service" "app" {
  name     = "${var.service_name}-${var.env}"
  location = var.region
  project  = var.project_id

  template {
    scaling {
      min_instance_count = 2   # 最小2インスタンスで接続維持
      max_instance_count = 50
    }

    service_account = google_service_account.app.email

    containers {
      name  = "app"
      image = var.app_image

      env {
        name  = "DB_HOST"
        value = "127.0.0.1"  # Cloud SQL Auth Proxy 経由
      }
      env {
        name  = "DB_POOL_SIZE"
        value = "5"           # インスタンスあたりの接続数を制限
      }
    }

    # Cloud SQL Auth Proxy をサイドカーとして追加
    containers {
      name  = "cloud-sql-proxy"
      image = "gcr.io/cloud-sql-connectors/cloud-sql-proxy:2"

      args = [
        "--structured-logs",
        "--port=5432",
        var.cloud_sql_connection_name,
      ]

      resources {
        limits = {
          cpu    = "0.5"
          memory = "256Mi"
        }
      }
    }
  }
}

# アプリのサービスアカウント（Cloud SQL Client ロールのみ）
resource "google_service_account" "app" {
  account_id   = "${var.service_name}-sa-${var.env}"
  display_name = "${var.service_name} Service Account (${var.env})"
  project      = var.project_id
}

resource "google_project_iam_member" "cloudsql_client" {
  project = var.project_id
  role    = "roles/cloudsql.client"
  member  = "serviceAccount:${google_service_account.app.email}"
}

📋 コピー# アプリ側の接続プール設定 (SQLAlchemy)
from sqlalchemy import create_engine

engine = create_engine(
    f"postgresql+psycopg2://user:password@127.0.0.1:5432/db",
    pool_size=5,         # Cloud Run 1インスタンスあたり5接続
    max_overflow=0,      # 上限を厳格に守る
    pool_timeout=30,
    pool_pre_ping=True,  # 接続の死活チェック
)

# 接続数計算:
# max_instances=50 × pool_size=5 = 最大250接続（500接続上限の50%で余裕あり）

解答② リアルタイムパイプライン: Datastream → BigQuery

📋 コピー# modules/datastream/main.tf

resource "google_datastream_connection_profile" "source" {
  display_name          = "cloudsql-postgres-${var.env}"
  location              = var.region
  connection_profile_id = "cloudsql-postgres-${var.env}"
  project               = var.project_id

  postgresql_profile {
    hostname = var.cloud_sql_private_ip
    port     = 5432
    username = var.db_replication_user
    password = var.db_replication_password  # Secret Manager から注入
    database = var.db_name
  }
}

resource "google_datastream_stream" "main" {
  display_name  = "cloudsql-to-bigquery-${var.env}"
  stream_id     = "cloudsql-to-bigquery-${var.env}"
  location      = var.region
  project       = var.project_id
  desired_state = "RUNNING"

  source_config {
    source_connection_profile = google_datastream_connection_profile.source.id

    postgresql_source_config {
      publication      = "datastream_publication"
      replication_slot = "datastream_slot"

      include_objects {
        postgresql_schemas {
          schema = "public"
          postgresql_tables { table = "orders" }
          postgresql_tables { table = "campaigns" }
        }
      }
    }
  }

  destination_config {
    destination_connection_profile = google_datastream_connection_profile.destination.id

    bigquery_destination_config {
      data_freshness = "900s"  # 最大遅延15分

      single_target_dataset {
        dataset_id = "${var.project_id}:${var.bq_dataset_id}"
      }
    }
  }

  backfill_all {}
}

解答③ プロジェクト分離とコスト管理

📋 コピー# プロジェクト構成
# gcp-org/
# ├── shared/          # VPC, Cloud DNS, Artifact Registry
# ├── dev/             # 開発環境
# ├── staging/         # ステージング環境
# └── prod/            # 本番環境

# environments/prod/terraform.tfvars
project_id  = "myapp-prod-123456"
env         = "prod"
region      = "asia-northeast1"
app_image   = "asia-northeast1-docker.pkg.dev/myapp-shared/images/app:v1.2.3"

# environments/dev/terraform.tfvars
project_id  = "myapp-dev-654321"
env         = "dev"
region      = "asia-northeast1"
app_image   = "asia-northeast1-docker.pkg.dev/myapp-shared/images/app:latest"

# ラベルでコスト管理（全リソースに付与）
locals {
  common_labels = {
    env     = var.env
    team    = "mops"
    managed = "terraform"
    project = "promotion-system"
  }
}

📋 コピー# Workload Identity Federation（GitHub Actions 用）
resource "google_iam_workload_identity_pool" "github" {
  workload_identity_pool_id = "github-actions-pool"
  project                   = var.project_id
}

resource "google_iam_workload_identity_pool_provider" "github" {
  workload_identity_pool_id          = google_iam_workload_identity_pool.github.workload_identity_pool_id
  workload_identity_pool_provider_id = "github-provider"
  project                            = var.project_id

  attribute_mapping = {
    "google.subject"       = "assertion.sub"
    "attribute.actor"      = "assertion.actor"
    "attribute.repository" = "assertion.repository"
  }

  oidc {
    issuer_uri = "https://token.actions.githubusercontent.com"
  }
}

# terraform.tf
terraform {
  required_version = ">= 1.8"

  backend "gcs" {
    bucket = "myapp-tfstate-prod"
    prefix = "terraform/state"
  }

  required_providers {
    google = {
      source  = "hashicorp/google"
      version = "~> 6.0"
    }
  }
}

ポイント解説

実務への応用

• タイムセール開始時: min-instances=2 に設定することで、オートスケール前の初回リクエストでも 接続プールが温まっており、Cloud SQLタイムアウトが発生しない。
• Datastreamでキャンペーンデータをリアルタイム集計: BigQueryに流したデータをLooker StudioやDataDogで可視化し、 「キャンペーン開始後のCV数・GMVをリアルタイム監視」できるようになる。
• Terraformでコスト管理: labels = {env = "prod", team = "mops"} を全リソースに付与 → GCPの請求エクスポートをBigQueryに送り、ラベルでチーム別コストを集計できる。

次のステップ

• 参考: google_cloud_run_v2_service Terraform公式ドキュメント
• 参考: Datastream Terraform provider
• 参考: Cloud SQL Auth Proxy v2 マルチコンテナガイド

今日のまとめ

自己評価

自分の回答

気づき・メモ