2021.8.20
BigQuery-SQL超入門(前編)~データベースの説明とBigQueryの使い方~
BigQueryで分析を行う時に必須となるSQLによるデータ加工の超入門です!はじめてBigQueryに接続し、データ抽出からレポート作成までを対象としています。
前編はデータベースの説明とBigQueryの使い方、後編はSQL構文を紹介します。
1. SQLとデータベース
SQL(Structured Query Language)とは、データベースとやり取りする言葉です。詳しくはデータベースに命令する言語をSQL、データベースに対する命令をクエリといいます。
2. 知っておきたい用語
データベースを扱う上でこれだけは知っておいた方が良い用語を紹介します。
- テーブル名
- レコード
- フィールド(カラム)
- データ型と値の例
数値型:整数、小数点
文字型:name など文字列
日付型:2021-08-01 01:00:00 など
BigQueryとは
Googleが提供するクラウド型データウェアハウスで、Google Cloud Platform(GCP)プロダクトの1つです。BigQueryを使うことのメリットは以下のようなものがあります。
- サーバーレスなデータウェアハウス
- 大規模なデータセットを高速に分析できる
- 標準SQLが利用できる(既存コードの再利用が可能)
- 従量課金制データストレージ(月10GBまでストレージ無料枠)
- データポータルなど各種BIツールとの連携
BigQueryの使い方
GCPに登録してデータを抽出し、結果をデータポータルにエクスポートするまでの流れです。
- Google Cloud Platformに登録する
- Google Cloudプロジェクトを作成する
- データセットを作成する
- テーブルを作成する
- クエリを実行する
- データポータルにエクスポートする
4-1. Google Cloud Platformに登録する
- GCP(https://cloud.google.com/bigquery)にアクセスする。
- 「BigQuery無料トライアル」からGoogleアカウントを登録する。
- 必要な情報を入力する。
クレジットカードの登録が必要ですが、10GB/月のストレージまでは料金が発生しません。ログイン後の設定画面で料金アラート設定も可能です。
4-2. Google Cloudプロジェクトを作成する
- 「My Project」をクリック。
- 「新しいプロジェクト」を選択する。
- 「プロジェクト名」を入力する。
- 「プロジェクトID」を入力する。
- 「作成」をクリック。
4-3. データセットを作成する
- BigQueryを開く(GCPの検索窓に「BigQuery」と打つと表示される)。
- プロジェクトを選択する。
- 「データセットを作成」をクリック。
- 「データセットID」を入力する。
- データのロケーションは「東京」を選択する。
- 「データセットを作成」をクリック。
4-4. テーブルを作成する
- 作成したデータセットを選択する。
- 「テーブルを作成」をクリック。
- 「テーブルの作成元」を選択する(CSVファイルをアップロードする)。
- 「プロジェクト名」と「データセット名」を選択する。
- 「テーブル名」を入力する。
- 「スキーマと入力パラメーター」にチェックを入れる。
- 「テーブルを作成」をクリック。
※ アップロードを繰り返してテーブルを作成する。
4-5. クエリを実行する
- 「クエリを新規作成」をクリック。
- クエリエディタが開くので、SQL文を入力する。
- クエリ実行によるデータ消費量が表示されるので確認する。
- 「実行」をクリック。
- クエリ結果が表示される。
4-6. データポータルにエクスポートする
- クエリ結果を表示した状態で「データを探索」をクリック。
- 「データポータルで調べる」を選択する。
- 結果テーブルがGoogle Data Portalでレポートとして表示される。
ここまでSQLとデータベースの説明から、BigQueryの使い方を簡単に紹介しました。
後編では、カフェの売上データをBigQueryで分析するSQL文を解説します!
この記事を書いた人
池田 志穂
メンバーズデータアドベンチャーのデータアナリスト。大手企業のWebデザイナー/コーダー/Webディレクターを経て、システム会社にてコンサル業務とPMに従事し、2019年メンバーズ再入社(リメンバーズ)。