セクション4 要点と暗記：分析のためのデータ準備と使用 🎯
試験直前の総ざらい用。暗記すべき表と一問一答でセクション4を固めます。
🔑 暗記必須テーブル
Looker vs Looker Studio
| 観点 | Looker | Looker Studio |
|---|---|---|
| 位置づけ | エンタープライズBI | 軽量レポート/ダッシュボード |
| 料金 | 有償 | 基本無料 |
| モデル | LookML（全社共通の指標） | レポート単位 |
| キーワード | ガバナンス・一貫した指標・組込み分析 | 手軽・無料・アドホック |
BI高速化の打ち手
| 打ち手 | 役割 | 効くケース |
|---|---|---|
| BI Engine | インメモリ高速化 | BIダッシュボードの反復クエリ |
| マテリアライズドビュー | 集計の事前計算・増分自動更新 | 重い集計の繰り返し |
| パーティション | スキャン量（コスト）削減 | 日付等で絞れる |
| クラスタリング | フィルタ/集計の高速化 | 特定列で頻繁にフィルタ |
可視化/共有のセキュリティ
| 課題 | 解決策 |
|---|---|
| 見える行を制御 | 行レベルセキュリティ |
| 機密列を非表示（アクセス不可） | 列レベルセキュリティ（ポリシータグ） |
| 列は見せ値だけ隠す/集計可 | 動的データマスキング |
| PIIの検出・分類 | Cloud DLP |
| 元テーブル非公開で結果共有 | 承認済みビュー |
| 組織間でコピーせず共有 | Analytics Hub |
BigQuery ML モデル選択
| タスク | モデル |
|---|---|
| 数値予測（回帰） | 線形回帰 |
| 分類（Yes/No・カテゴリ） | ロジスティック回帰 |
| 表形式で高精度 | Boosted tree / Random forest |
| 非線形で複雑 | DNN |
| ラベルなしのグループ化 | k-means |
| 時系列の将来予測 | ARIMA_PLUS |
| レコメンド | 行列分解（Matrix factorization） |
| モデル選定を自動化 | AutoML Tables |
BQML vs Vertex AI
| 観点 | BigQuery ML | Vertex AI |
|---|---|---|
| 操作 | SQL | Python/SDK・パイプライン |
| データ移動 | 不要（BQ内完結） | 必要に応じて |
| 強み | 素早いモデル化 | 本格MLOps・カスタム・サービング |
| 特徴量管理 | TRANSFORM句 | Feature Store |
RAG関連のSQL関数（BigQuery）
| 関数 | 役割 |
|---|---|
ML.GENERATE_EMBEDDING |
テキスト/画像を埋め込みベクトル化 |
CREATE VECTOR INDEX |
ベクトル検索を高速化する索引 |
VECTOR_SEARCH |
近傍（意味的に類似）検索 |
ML.GENERATE_TEXT |
LLMで生成（文脈を渡して回答） |
✅ 一問一答（確認テスト）
Q1. 全社で指標定義を統一し、ガバナンスを効かせたBIを構築したい。LookerとLooker Studioのどちら？
A. Looker（LookMLでセマンティックレイヤーを一元定義。Looker Studioはレポート単位で指標がばらつきやすい）
Q2. BigQueryのダッシュボードのレイテンシをサブ秒に下げたい。反復的なクエリが多い。使う機能は？
A. BI Engine（インメモリで反復クエリを高速化。透過的に効く）
Q3. 重い集計（GROUP BY）を何度も実行しており、毎回の再計算を避けたい。使う機能は？
A. マテリアライズドビュー（結果を事前計算・保存し、差分を自動更新）
Q4. クエリが遅くスキャンバイト数が膨大。日付で絞れるテーブル。まず何をする？
A. パーティショニング（日付列）＋パーティション列でのフィルタ。あわせて SELECT * をやめ列を絞る。頻繁にフィルタする列はクラスタリング。
Q5. 列は見せて集計はさせたいが、生のメールアドレスの値だけは隠したい。使うのは？
A. 動的データマスキング（列レベルセキュリティだと列ごとアクセス不可になり集計もできない。値だけ隠すならマスキング）
Q6. アナリストに集計結果だけ見せ、PIIを含む元テーブルには直接アクセスさせたくない。使うのは？
A. 承認済みビュー（Authorized View）。列はポリシータグ、行は行レベルセキュリティで併用。
Q7. 顧客を購買傾向でグループ分けしたい（正解ラベルなし）。BQMLのモデルは？
A. k-means（教師なしクラスタリング。ロジスティック回帰は教師ありの分類なので不適）
Q8. 季節性のある日次売上の将来3か月を予測したい。BQMLのモデルは？
A. ARIMA_PLUS（時系列予測。季節性・休日効果も自動考慮。線形回帰と迷わせるひっかけ）
Q9. データはBigQueryにあり、SQLだけで素早く解約予測モデルを作りたい。何を使う？
A. BigQuery ML（CREATE MODEL でロジスティック回帰。高精度ならBoosted tree。データ移動不要）
Q10. 学習時の前処理と予測時の前処理がずれてしまう（training-serving skew）。BQMLでの対策は？
A. TRANSFORM 句に前処理を記述。学習時の変換がモデルに保存され、ML.PREDICT 時に自動適用される。
Q11. LLMが社内固有の最新情報を知らず、誤った回答をする。再学習せずに精度を上げたい。手法は？
A. RAG（検索拡張生成）。関連文書を検索してLLMに文脈として渡す。BQなら ML.GENERATE_EMBEDDING → VECTOR_SEARCH → ML.GENERATE_TEXT。
Q12. キーワード一致ではなく「意味が似た」商品/文書を検索したい。何を使う？
A. 埋め込み（Embeddings）＋ベクトル検索（Vector Search）。意味の近さをベクトルの近さで測る。
Q13. 別組織（子会社）とBigQueryのデータを、コピーせず・同期ズレなしで共有したい。使うのは？
A. Analytics Hub（リスティングを公開 → 利用者はリンクされたデータセットで参照。クエリ課金は利用者側）
Q14. Cloud DLP の主な役割は？ アクセス制御も担う？
A. PIIの検出・分類・マスキング/トークン化が主役。アクセス制御そのものはIAM/ポリシータグ/行レベルセキュリティが担う（混同に注意）。
Q15. 低レイテンシで大量のベクトル検索をオンライン提供したい。BQのVECTOR_SEARCHかVertex AIか？
A. Vertex AI Vector Search（オンライン・大規模・低レイテンシに強い）。BQ内で分析的に行うなら BigQuery の VECTOR_SEARCH。
🎯 ひっかけ注意ポイント
- Looker ⇔ Looker Studio：ガバナンス・全社指標なら Looker、手軽・無料なら Looker Studio
- BI Engine ⇔ マテリアライズドビュー：前者は「アクセス高速化」、後者は「計算の事前削減」。併用可
- 列レベルセキュリティ ⇔ 動的マスキング：前者は列ごとアクセス不可、後者は値だけ隠す（集計可）
- 時系列予測は ARIMA_PLUS（線形回帰と迷わせる）。ラベルなしグループ化は k-means（分類のロジスティック回帰ではない）
- Cloud DLP は検出・分類が主でアクセス制御ではない
- 共有はコピーしない：社内委譲＝承認済みビュー、組織間＝Analytics Hub。「エクスポートして配る」はアンチパターン
- パーティション＝コスト（スキャン）削減、クラスタリング＝速度。パーティション列を関数で加工するとプルーニングが効かない
- BQML ⇔ Vertex AI：SQLで完結・データ移動回避＝BQML、MLOps/カスタム/オンライン推論＝Vertex AI
📝 セルフチェック
- 暗記テーブル（Looker比較・BI高速化・セキュリティ・BQMLモデル・RAG関数）を白紙から再現できる
- 一問一答を全問即答できる
- BQMLのモデル選択の決定木を描ける
- 問題集セクション4 で80%以上取れた