チートシート：ビッグデータ
ビッグデータの4V（または5V）
- Volume = データ量（テラ〜エクサバイト）
- Velocity = 生成・処理速度（ストリーミング）
- Variety = 多様な形式（構造化・非構造化）
- Veracity = 信頼性・精度
- Value = ビジネス価値の創出（5V目）
処理方式
| 方式 | 技術 |
|---|---|
| バッチ | Hadoop MapReduce, Spark |
| ストリーム | Kafka, Flink, Spark Streaming |
CRISP-DM（データサイエンスプロセス）
Business Understanding → Data Understanding → Data Preparation → Modeling → Evaluation → Deployment