ETLのサイジング：ストレージ
ETLサーバーの内部ストレージは以下のような用途で使われる。 ソート、ランク処理等での一時領域 マスターデータをDBから複製してトランザクションデータとJOI…
サイジング
ETLのサイジング：メモリ
ETLのメモリはDBのように、アクセス頻度の高いデータをメモリに載せてディスクアクセスの頻度を削減するような使い方はしない。 ソート、ソートJOIN、Grou…
ETLのサイジング：CPU
ETLのCPUをサイジングするときの基本的な考え方を記載する。いろいろなサイジング方法があるが私が使っているものである。常に実測してみて見積るのでは作業コスト…
サイジング：HDD vs SSD
最近はほとんどのケースでSSDでストレージを構成する。HDDとSSDではシーケンシャルIOの特性に違いがあり、SSDをHDDの場合と同じように考えてサイジング…
サイジング：ストレージ
クラウドでサーバーのディスクストレージを選択する時、どのように選択するべきか基準がわからない人が多いのではないだろうか。データ基盤のボトルネックの多くはストレ…
データ連携基盤のサイジングの考え方
データ連携基盤をサイジングするときのポイントをまとめる。 超概要 1.目標設定最も重たいかつ重要な処理について目標の処理時間を設定する。 2.ボトルネックの特…
システム設計で待ち行列理論を活用する
待ち行列という理論があり、IPAの情報処理試験にも登場する。実務での活用が難しい理論だと思う。本質を理解して活用できるように体系化する。 概要 システムでの待…