サイジング – データ基盤技術コンサルティング | データ連携基盤 & データ分析基盤

2023年8月2日

ETLサーバーの内部ストレージは以下のような用途で使われる。多くの場合はシーケンシャルIOであるが、上記2はランダムIOである。下記にシーケンシャルIO、ランダムIO、それぞれのサイジングの考え方を記載しているので参照 […]

2023年8月2日

ETLのメモリはDBのように、アクセス頻度の高いデータをメモリに載せてディスクアクセスの頻度を削減するような使い方はしない。ソート、ソートJOIN、Group by、ランキング処理等のレコード間の関連を見なければならな […]

2023年8月1日

ETLのCPUをサイジングするときの基本的な考え方を記載する。いろいろなサイジング方法があるが私が使っているものである。常に実測してみて見積るのでは作業コストが膨らんでしまう。また、実測はテストデータの特性やキャッシュの […]

2023年7月30日

IndexHDDSSDシーケンシャルIOがランダムIOと比較して高速となる原理最近はほとんどのケースでSSDでストレージを構成する。HDDとSSDではシーケンシャルIOの特性に違いがあり、SSDをHDDの場合と同じように […]

2023年7月28日

IndexランダムIO シーケンシャルIOIO回数と処理時間クラウドでサーバーのディスクストレージを選択する時、どのように選択するべきか基準がわからない人が多いのではないだろうか。データ基盤のボトルネックの多くはストレー […]

2023年7月26日

Index超概要概要詳細データ連携基盤をサイジングするときのポイントをまとめる。超概要 1.目標設定最も重たいかつ重要な処理について目標の処理時間を設定する。 2.ボトルネックの特定重要な処理がIOボトルネックかCP […]

2023年7月20日

Index概要待ち行列理論の活用方法参考）待ち行列理論システム設計での待ち行列の本質待ち行列という理論があり、IPAの情報処理試験にも登場する。実務での活用が難しい理論だと思う。本質を理解して活用できるように体系化する。 […]