iyuichiの私的開発ログ

渋谷で働くWebエンジニアのログ. Java, Android, iOS, Docker, GCP, AWS, ゲーム開発

BigQueryでクソクエリを検知する

Analyzing Audit Logs Using BigQuery - BigQuery — Google Cloud Platform

この辺のページを参考にしました。

BigQueryは普通に使っている分には非常に料金安くて早くて良いものなのでどんどん利用したいところです。
しかしながら、クエリの書き方によっては思わぬ高額になることもあるらしいってことで、
やたら多くのデータ量を扱っているクソクエリが現れたら検知したい!

そこで使えそうなのがAudit Logs。
Audit LogsをBigQueryにエクスポートできるので、そのログを使ってクエリが検索したデータ量を集計することができます。
グーグルのサンプルはドルに換算していましたがクソクエリを探してチューニングするためにはデータ量で充分なので以下のようなクエリを書いてみました。


過去7日間で最も費用がかかったクエリを抽出する

データ量が多い順に10件取得しています。

定期的に確認することで想定以上の出費にならないように気をつけましょう。