Databricks
一言まとめ
Apache Spark を作った人たちの会社と、その SaaS。データ基盤と機械学習を「レイクハウス」として 1 画面で扱う。メダリオンアーキテクチャの提唱元。
一言で
データレイクの安さとデータウェアハウスの使いやすさを両取りする「レイクハウス」を売り物にしたクラウドサービス。AWS / Azure / GCP の上で動く。
構成要素
| 要素 | 役割 |
|---|---|
| Apache Spark | 分散処理エンジン。Python から触る口が PySpark |
| Delta Lake | レイク上のファイルに「表」の性質(トランザクション、履歴)を足す形式 |
| ノートブック | Jupyter と同じ思想の実行環境 |
| MLflow | 実験管理とモデルレジストリ。Databricks 製の OSS |
| Unity Catalog | 権限管理とデータカタログ(ガバナンス) |
| Model Serving | 学習済みモデルを API として公開する機能 |
例えで言うと
- AWS: EMR + Glue + SageMaker + Redshift を 1 つに束ねて使いやすくした製品。実際 AWS 上にも載る。
- Python: pandas で書いていた処理を、そのまま PySpark で分散させられる場所。
つながり
| 向き | 語 |
|---|---|
| 上位 | レイクハウス |
| 隣 | MLflow、Unity Catalog、dbt |
| 対義(競合) | Snowflake(データウェアハウス寄り)、BigQuery、Microsoft Fabric |
関連
更新履歴
- 2026-10-08: 初版(気になるワード整理から)