カテゴリー: データエンジニアの道具箱

Index##概要##環境＆手順 テストデータ 性能確認手順##検証 検証1：Bigqueryは項目の保有する最大値、最小値を把握しているのか？ 検証内容 検証結果 考察 検 […]

Index##概要##環境＆手順 テストデータ 性能確認手順##Bigqueryの性能検証 Bacic目的検証結果 考察##Bigqueryの性能検証 Advanced目的検証結果 1.パーティションキー&クラスターキーを指定した場合のスキャン開始位置 考察 […]

Index##機能概要##最終アウトプットのサンプルイメージ##システム構成##前提 基本技術の説明について WEBからのデータ抽出について##処理プロセス 処理コード全体（bashのスクリプト) 環境変数の設定 事前のワークファイルの削除 Pythonでスクレイピン […]

Index##機能概要##以降で説明するコードの全体像##データ生成手順 テーブル作成 データ生成##データ生成結果##おまけ テーブル作成 データ生成##データ生成結果 ※ 下記のgithubでも同様の内容を公開しています。gitの方が見易い方は下記を参照してください。 ##機能概要 Bigqueryは大量デ […]