iyuichiの私的開発ログ

渋谷で働くWebエンジニアのログ. Java, Android, iOS, Docker, GCP, AWS, ゲーム開発

【メモ】BigQueryが高速な理由

非常に高速に安定したBigQueryを支える技術要素をDremelの論文から見てみる。
キーとなるのは以下の2つ。

  • カラム構造データストア
    1. トラフィックの最小化
    2. 高い圧縮率
  • ツリーアーキテクチャ
    1. To parallelize query scheduling and aggregation
    2. To provide fault tolerance and deal with stragglers

Google BigQuery

Google BigQuery

Google BigQueryではじめる自前ビッグデータ処理入門

Google BigQueryではじめる自前ビッグデータ処理入門