ブログ – データ基盤技術コンサルティング | データ連携基盤 & データ分析基盤

Tech blog, データエンジニアの道具箱

Bigqueryの統計情報のクエリプランへの影響の ...

※下記のGithubでも公開しています。gitの方が見易い人はこちらを参照してください。 https://github.com/data2coordi/pu ...

公開日 : 2023年12月19日

データエンジニアの道具箱

Bigquery 性能検証

※下記のGithubでも公開しています。gitの方が見易い人はこちらを参照してください。 https://github.com/data2coordi/pu ...

公開日 : 2023年12月19日

Tech blog, データエンジニアの道具箱

掲示板WEBサイトの投稿分析機能 ...

※下記のGithubでも公開しています。gitの方が見易い人はこちらを参照してください。 https://github.com/data2coordi/pu ...

公開日 : 2023年12月19日

Tech blog, データエンジニアの道具箱

Bigqueryテストデータ生成 – ...

※ 下記のgithubでも同様の内容を公開しています。gitの方が見易い方は下記を参照してください。 https://github.com/data2coo ...

公開日 : 2023年12月19日

Tech blog, パフォーマンス

データアクセスパスのパターン化 ...

デザインパターンというものがある。classをデザインするときのパターンを汎化してまとめたものである。多くのデザインがこのパターンのどれかに近いもので実現で ...

公開日 : 2023年8月23日

Tech blog

※作成中※ ETLの並列処理（概要） ...

ETLは並列化することで高速化できる。しかし、並列化には多くのパターンがあり適切に選択しなれば効果が得られない。並列化のパターンとそのメリット、デメリットを ...

公開日 : 2023年8月16日

Tech blog, データ連携基盤

ETLのウィークポイント（システム移行） ...

ETLはソフトウェアのバージョンアップ、ハードウェアのリソース不足、老朽化等でシステム移行が必要となる。ETLは非常に多くのシステムと接続するためこのシステ ...

公開日 : 2023年8月6日

Tech blog, データ連携基盤

ETLのウィークポイント（修正とテスト） ...

ETLは生産性が高いと言われるが必ずしもそうではない。スクラッチ開発よりも弱い部分がある。率直に言うと、ETLは新規のアプリ作成は生産性が高い。一方、以下の ...

公開日 : 2023年8月2日

Tech blog, サイジング

ETLのサイジング：ストレージ ...

ETLサーバーの内部ストレージは以下のような用途で使われる。ソート、ランク処理等での一時領域マスターデータをDBから複製してトランザクションデータとJO ...

公開日 : 2023年8月2日

Tech blog, サイジング

ETLのサイジング：メモリ ...

ETLのメモリはDBのように、アクセス頻度の高いデータをメモリに載せてディスクアクセスの頻度を削減するような使い方はしない。ソート、ソートJOIN、Gro ...

公開日 : 2023年8月2日

Tech blog, サイジング

ETLのサイジング：CPU ...

ETLのCPUをサイジングするときの基本的な考え方を記載する。いろいろなサイジング方法があるが私が使っているものである。常に実測してみて見積るのでは作業コス ...

公開日 : 2023年8月1日

Tech blog, サイジング

サイジング：HDD vs SSD ...

最近はほとんどのケースでSSDでストレージを構成する。HDDとSSDではシーケンシャルIOの特性に違いがあり、SSDをHDDの場合と同じように考えてサイジン ...

公開日 : 2023年7月30日

Tech blog, サイジング

サイジング：ストレージ ...

クラウドでサーバーのディスクストレージを選択する時、どのように選択するべきか基準がわからない人が多いのではないだろうか。データ基盤のボトルネックの多くはスト ...

公開日 : 2023年7月28日

Tech blog, データ分析基盤

データストア（データベース）の選び方 ...

時代の流れとともにニーズが変化しデータソースの機能も進化してきた。しかし、いろいろなタイプのデータベースが存在するのはなぜだろうか。理由はデータの整合性、同 ...

公開日 : 2023年7月26日

Tech blog, 概要

Tech Blogのコンセプト ...

Tech Blogでは中級者以上の技術者向けにデータエンジニアの領域についての情報を提供する。25年以上、SIerの技術者として現場で手を動かしてきた（Ab ...

公開日 : 2023年7月26日

Tech blog, サイジング

データ連携基盤のサイジングの考え方 ...

データ連携基盤をサイジングするときのポイントをまとめる。超概要 1.目標設定最も重たいかつ重要な処理について目標の処理時間を設定する。 2.ボトルネックの ...

公開日 : 2023年7月26日

Tech blog, データ連携基盤

データ連携基盤の基本アーキテクチャー（クラスタ構成 ...

可用性と性能を考慮したデータ連携基盤のアーキテクチャを記載する。要件が単純な場合は、”ソースシステム→ETL→ターゲット”がそれぞれ単体で存在するようなシ ...

公開日 : 2023年7月23日

Tech blog, パフォーマンス

DB実行計画の”コスト”の考え方を理解する ...

データベースの実行計画のマニュアルや解説で下記の図のようなコストという概念が出て来る。私はデータベースの実行計画を勉強し始めたころ、このコストの概念が理解で ...

公開日 : 2023年7月23日

Tech blog, パフォーマンス

CPU、ストレージ、NWの処理時間を”体系的”に理 ...

システムの処理時間はCPU、ストレージ、ネットワークの処理時間の合計である。それぞれの処理時間の規模感が理解できるとパフォーマンスチューニングでどこがボトル ...

公開日 : 2023年7月22日

Tech blog, データ基盤

データ基盤の構成要素 ...

データ基盤を構成する要素を記載する。他のサイトにも存在する情報ではあるがデータ仮想化も含めたフルセットがシンプルに整理されたものが見つからなかったので簡単に ...

公開日 : 2023年7月22日

Tech blog, パフォーマンス

DBの実行計画とは

データベースの実行計画がどのようなもので、どのように利用されるか記載する。本質の理解を目的としているため特定のシンプルな構成を例に説明する。実行計画の目的 ...

公開日 : 2023年7月21日

Tech blog, サイジング

システム設計で待ち行列理論を活用する ...

待ち行列という理論があり、IPAの情報処理試験にも登場する。実務での活用が難しい理論だと思う。本質を理解して活用できるように体系化する。概要システムでの ...

公開日 : 2023年7月20日

Tech blog, データ基盤

データ基盤（連携基盤＋分析基盤）の進化 ...

データ基盤にはいろいろな種類がある。その結果、データ基盤のイメージは人によって様々である。時代の流れとともにデータ量が増え、ニーズも変わりデータ基盤の構成も ...

公開日 : 2023年7月19日