会計/ファイナンス・コスト効率 — DataDog 可観測性コスト 44%削減設計

概要

問題

ECサイトMOpsチームのDataDog月次コスト（$6,200）を $3,500 以下に削減せよ。

現状の DataDog 利用構成

課題情報

• APM: ヘルスチェック（/health）や静的ファイルリクエストが全スパンの 60% を占める
• Custom Metrics: host/region/pod_name などの高カーディナリティタグで爆発中
• ログ: 全ログを INFO レベルから取り込み。実調査では WARNING 以上のみを使用
• Synthetic: 変更頻度の低いエンドポイント150個が高頻度テスト対象になっている

ヒント（段階的開示）

【APM削減試算】
ヘルスチェック除外後: 50億 × (1-0.60) = 20億スパン
サンプリング20%: 4億スパン
エラー1%（100%保持）: 0.2億スパン
合計: 4.2億 × $1.70/100万 = $714（削減率92%）

【ログ削減試算】
WARNING以上は全体の10%想定: 50GB/月
取り込み: 50GB × $0.10 = $5
保存7日: 50GB × $0.24/GB × (7/30) ≈ $28
合計: ≈ $33（削減率98%）

【Synthetic削減試算】
変更後: (50×12 + 150×1) × 720 = 540,000回/月
元: 200×12×720 = 1,728,000回/月
削減率: 69% → コスト $600 × 31% ≈ $208

模範解答: APM フィルタ設定（Bad → Good）

# otel-collector-config.yaml
# ❌ フィルタなし: ヘルスチェックも全収集
service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]  # ← フィルタ処理なし
      exporters: [datadog]

# ❌ サンプリング率: 100%（デフォルト）
# 50億スパン/月 → $8,500/月

# ❌ Python FastAPI: 全エンドポイント計装
@app.get("/health")
async def health():
    # このスパンも DataDog に送信される
    return {"status": "ok"}

# otel-collector-config.yaml
processors:
  # ✅ 低価値スパンを上流で除外
  filter/drop_health:
    traces:
      span:
        - 'attributes["http.target"] == "/health"'
        - 'attributes["http.target"] == "/metrics"'
        - 'IsMatch(attributes["http.target"], "/static/.*")'

  # ✅ 正常トランザクションは20%サンプリング
  probabilistic_sampler:
    hash_seed: 22
    sampling_percentage: 20

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [filter/drop_health, probabilistic_sampler, batch]
      exporters: [datadog]

# ✅ エラーは100%保持（DataDog側でエラートレース優先）
# DD_APM_IGNORE_RESOURCES="/health,/metrics,/static/*"

模範解答: ログ最適化（Bad → Good）

# ❌ DataDog Agent: INFOログも全収集
logs_config:
  container_collect_all: true
  # ← ログレベルフィルタなし

# ❌ Terraform: 除外フィルタなし
resource "datadog_logs_index" "main" {
  name = "main"
  # exclusion_filter なし → 全ログ保存
  retention_days = 30  # 全ログ30日保存
}

# 結果: 500GB/月 × 30日保存 = $1,800/月

# ✅ OTel Collector: WARNING未満をDROP
processors:
  filter/log_level:
    logs:
      log_record:
        - 'severity_number < SEVERITY_NUMBER_WARN'

service:
  pipelines:
    logs:
      receivers: [otlp]
      processors: [filter/log_level, batch]
      exporters: [datadog]

# ✅ Terraform: Exclusion Filter + 保存期間短縮
resource "datadog_logs_index" "main" {
  name = "main"

  exclusion_filter {
    name       = "drop_info_debug"
    is_enabled = true
    filter {
      query       = "status:(info OR debug)"
      sample_rate = 1.0  # 100%除外
    }
  }

  retention_days = 7  # 30日→7日
}

# ✅ GCS: WARNINGログを別途アーカイブ
# （障害調査用に90日保存 @ $0.004/GB）

フェーズ別コスト推移

各要素の削減施策詳細

A. APM インデックス削減（$3,300 → $275 ※割引後換算）

📋 コピー# otel-collector-config.yaml（関連部分）
processors:
  filter/drop_health:
    traces:
      span:
        - 'attributes["http.target"] == "/health"'
        - 'attributes["http.target"] == "/metrics"'
        - 'IsMatch(attributes["http.target"], "/static/.*")'
        - 'IsMatch(attributes["http.target"], "/favicon.*")'

  probabilistic_sampler:
    hash_seed: 22
    sampling_percentage: 20  # ← 正常フロー20%サンプリング（エラーは自動的に100%保持）

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [filter/drop_health, probabilistic_sampler, batch]
      exporters: [datadog]

📋 コピー【試算】
ヘルスチェック除外後: 50億 × 40% = 20億スパン
サンプリング20%: 4億スパン
エラー(1%)は100%保持: 0.2億スパン
合計: 4.2億スパン × $1.70/100万 = $714（割引前）
割引後(45%): ≈ $392
削減額: 約$2,908/月（削減率88%）

B. Custom Metrics 削減（$155 → $46 ※割引後換算）

📋 コピー# Python FastAPI + OTel: タグの絞り込み
from opentelemetry import metrics

meter = metrics.get_meter(__name__)
request_counter = meter.create_counter(
    "http.requests.total",
    description="Total HTTP requests by service and status",
)

async def track_request(method: str, status_code: int) -> None:
    # ❌ NG: カーディナリティ爆発（host × region × pod × path で数万組み合わせ）
    # request_counter.add(1, {"method": method, "host": socket.gethostname(),
    #                         "region": "asia-northeast1", "pod": os.environ["POD_NAME"],
    #                         "path": path})

    # ✅ OK: ビジネス分析に必要な最小タグのみ
    request_counter.add(1, {
        "method": method,                       # GET / POST
        "status_code": str(status_code),        # 200 / 4xx / 5xx
        "service": "mops-api",                  # サービス識別
    })

C. ログ管理削減（$697 → $13 ※割引後換算）

📋 コピー# Terraform: DataDog Logs Index with Exclusion Filter
resource "datadog_logs_index" "main" {
  name = "main"

  exclusion_filter {
    name       = "drop_info_debug"
    is_enabled = true
    filter {
      query       = "status:(info OR debug)"
      sample_rate = 1.0  # 100%除外（ゼロ保存）
    }
  }

  retention_days = 7  # 30日 → 7日（WARNINGのみ）
}

# GCS: 長期アーカイブ（障害調査用）
resource "google_storage_bucket" "dd_log_archive" {
  name     = "mops-dd-log-archive"
  location = "asia-northeast1"

  lifecycle_rule {
    condition { age = 90 }
    action { type = "Delete" }
  }
}

D. Synthetic Tests 削減（$232 → $81 ※割引後換算）

📋 コピー# Terraform: Synthetic Tests 頻度最適化
variable "critical_endpoints" {
  description = "決済・在庫・注文など障害影響が大きい50エンドポイント"
  type        = set(string)
}

variable "low_freq_endpoints" {
  description = "商品一覧・静的ページなど変更頻度の低い150エンドポイント"
  type        = set(string)
}

# 重要API: 5分(300秒)間隔 = 12回/時間を維持
resource "datadog_synthetics_test" "critical_api" {
  for_each = var.critical_endpoints
  type     = "api"
  subtype  = "http"
  options_list {
    tick_every = 300  # ← 5分
  }
}

# 低頻度API: 60分(3600秒)間隔 = 1回/時間に削減
resource "datadog_synthetics_test" "low_freq_api" {
  for_each = var.low_freq_endpoints
  type     = "api"
  subtype  = "http"
  options_list {
    tick_every = 3600  # ← 60分（元の12分の1）
  }
}

ROI・ペイバック計算

コストサマリー

ROI計算

📋 コピー【移行コスト】
8人日 × 8時間 × 6,000円 = 384,000円（≈ $2,560）

【月間削減額】
目標: $6,200 - $3,500 = $2,700/月
日本円: $2,700 × 150円 = 405,000円/月

【ペイバック期間】
384,000円 ÷ 405,000円 ≈ 0.95ヶ月 ≈ 約1ヶ月

【初年度ROI】
年間削減額: 405,000円 × 12 = 4,860,000円
ROI = (4,860,000 − 384,000) ÷ 384,000 × 100 ≈ 1,165%

実装フェーズ計画

Phase 1（Week 1-2）: APM フィルタ + サンプリング

• OTel Collector configmap に filter/drop_health と probabilistic_sampler 追加
• DD_APM_IGNORE_RESOURCES を Kubernetes Secret/ConfigMap 経由で設定
• 変更後24〜48時間: DataDog Usage ダッシュボードでスパン数の推移を確認

Phase 2（Week 3）: ログ最適化

• GCS バケット + DataDog Log Archive の Terraform 設定
• OTel Collector に filter/log_level を追加（WARNING未満DROP）
• DataDog Exclusion Filter を Terraform 管理化
• 保存期間: 30日 → 7日

Phase 3（Week 4）: Custom Metrics + Synthetic 最適化

• datadog-ci metrics --all で高カーディナリティメトリクスを洗い出し
• Python OTel 計装からビジネス不要タグを削除（コードレビュー必須）
• Terraform で Synthetic tick_every を150テスト分変更（PRレビュー推奨）

ポイント解説

今日のまとめ

自己評価

自分の回答

気づき・メモ