システム設計/インフラ — Cloud Run マイクロサービス + Circuit Breaker 設計

問題

ECサイトの販促イベント時に急増するトラフィックを処理するため、以下の既存構成をリアーキテクチャする。

現状構成

問題状況

• セール開始時（午前10:00）に毎回コールドスタートによるタイムアウトエラー（P99レイテンシ 8秒超）
• 販促APIがモノリス化：クーポン配信・在庫確認・ポイント計算が1サービスに混在
• DataDog APMで、在庫確認APIが全体レイテンシの70%を占めることが判明
• GKE Autopilot への移行を経営から検討するよう指示

要件

ヒント（段階的開示）

📋 コピー[クライアント]
    ↓
[Cloud Load Balancing]
    ↓
[API Gateway / Cloud Endpoints]
    ├─ /coupons    → [Cloud Run: coupon-service]    (min=1)
    ├─ /inventory  → [Cloud Run: inventory-service] (min=2)
    │               ↑ キャッシュ
    │           [Memorystore Redis TTL=30s]
    └─ /points     → [Cloud Run: point-service]     (min=1)

Circuit Breaker: coupon-service → inventory-service
  在庫確認失敗時はフォールバック（在庫不明=楽観的に発行継続）

段階的移行（Strangler Fig）:
  Phase 1: inventory-service 切り出し（リスク最小）
  Phase 2: point-service 切り出し
  Phase 3: coupon-service 確立・モノリス廃止

アーキテクチャ図

2. コールドスタート対策

📋 コピー# cloud-run-coupon-service.tf (Terraform)
resource "google_cloud_run_v2_service" "coupon_service" {
  name     = "coupon-service"
  location = "us-central1"

  template {
    scaling {
      min_instance_count = 1   # コールドスタート防止
      max_instance_count = 20  # セール時スパイク対応
    }
    containers {
      image = "gcr.io/${var.project_id}/coupon-service:latest"
      resources {
        limits = {
          cpu    = "1"
          memory = "512Mi"
        }
        cpu_idle = false  # CPU常時割当（min-instances=1と組み合わせ）
      }
    }
    max_instance_request_concurrency = 80
  }
}

# ウォームアップスケジューラ（セール10分前: 09:50）
resource "google_cloud_scheduler_job" "warmup_job" {
  name      = "sale-warmup"
  schedule  = "50 9 * * *"
  time_zone = "Asia/Tokyo"

  http_target {
    uri         = "https://coupon-service-xxx.run.app/health"
    http_method = "GET"
  }
}

3. 在庫確認ボトルネックの解消策

📋 コピー# inventory_service/cache.py
import asyncio
from dataclasses import dataclass

import redis.asyncio as aioredis

INVENTORY_CACHE_TTL_SECONDS = 30
CACHE_KEY_PREFIX = "inventory:item:"


@dataclass(frozen=True, slots=True)
class InventoryStatus:
    item_id: str
    available_count: int
    is_available: bool

    @classmethod
    def from_count(cls, item_id: str, count: int) -> "InventoryStatus":
        return cls(item_id=item_id, available_count=count, is_available=count > 0)


class InventoryCache:
    """Redisを使った在庫キャッシュ（Read-Through パターン）。"""

    def __init__(self, redis_client: aioredis.Redis, db_fetcher) -> None:
        self._redis = redis_client
        self._db_fetcher = db_fetcher

    async def get(self, item_id: str) -> InventoryStatus:
        cache_key = f"{CACHE_KEY_PREFIX}{item_id}"
        cached = await self._redis.get(cache_key)
        if cached is not None:
            return InventoryStatus.from_count(item_id, int(cached))

        # キャッシュミス → DB取得 → キャッシュ書き込み
        count = await self._db_fetcher(item_id)
        await self._redis.setex(cache_key, INVENTORY_CACHE_TTL_SECONDS, count)
        return InventoryStatus.from_count(item_id, count)

4. SLO 99.9% を担保する Circuit Breaker

📋 コピー# coupon_service/inventory_client.py
from enum import StrEnum
import httpx
from opentelemetry import trace

INVENTORY_TIMEOUT_SECONDS = 1.0
CIRCUIT_OPEN_THRESHOLD = 5
CIRCUIT_RESET_SECONDS = 30


class CircuitState(StrEnum):
    CLOSED = "closed"
    OPEN = "open"
    HALF_OPEN = "half_open"


class InventoryCircuitBreaker:
    """在庫サービス呼び出しの Circuit Breaker。

    在庫確認が連続失敗した場合、クーポン発行自体はフォールバックで継続。
    （在庫不明=在庫ありとして扱い、最終確定時に厳密チェック）
    """

    def __init__(self) -> None:
        self._state = CircuitState.CLOSED
        self._failure_count = 0
        self._last_failure_time = None
        self._tracer = trace.get_tracer(__name__)

    async def call(self, item_id: str):
        with self._tracer.start_as_current_span("inventory.check") as span:
            span.set_attribute("item_id", item_id)
            span.set_attribute("circuit_state", self._state)

            if self._state == CircuitState.OPEN:
                if self._should_attempt_reset():
                    self._state = CircuitState.HALF_OPEN
                else:
                    span.set_attribute("fallback", True)
                    return None  # フォールバック: クーポン発行は継続

            try:
                async with httpx.AsyncClient(timeout=INVENTORY_TIMEOUT_SECONDS) as c:
                    response = await c.get(
                        f"http://inventory-service/api/v1/inventory/{item_id}"
                    )
                    response.raise_for_status()
                    self._on_success()
                    return response.json()["is_available"]
            except (httpx.TimeoutException, httpx.HTTPStatusError):
                self._on_failure()
                return None  # フォールバック

5. 段階的移行計画（Strangler Fig）

6. コスト試算

ポイント解説

今日のまとめ

自己評価

自分の回答

気づき・メモ