About

2023年7月20日

合同会社オーロラ・ラボ のCTO(森 広志)について

オーロラ・ラボのメインサイトはこちら

Policy

  • 技術難易度の高いチャレンジングなニーズに対応する。
  • ロジカルシンキングを用いた分かり易い説明。
  • プロジェクトメンバーのスキル向上を重視する。

Work Experience

ミッションクリティカルな大規模システム開発を多数経験。

開発メンバー500人規模のプロジェクトでのDBAチームリーダー、開発メンバー100人規模のプロジェクトでのデータ連携基盤リードアーキテクトを担当。

経験年数は約25年以上。

データ基盤 構築プロジェクト

  • データ連携基盤構築
  • データウェアハウス構築
  • 基幹系システムのアプリケーションDBA
  • データ仮想化基盤構築

技術コンサルティング

  • データ連携基盤導入
  • データウェアハウス導入

Areas of Expertise

大量データを扱い複雑で難易度の高い技術領域を専門分野とする。パフォーマンスチューニングや複雑な技術課題の解決を得意とする。
例えば以下のような経験がある。

  • 200トランザクション/秒を扱うデータベースの統計情報の設計や実行計画の最適化
  • ETLのクラスタ化とマルチスレッド化
  • 数百億件を扱うデータウェアハウスのアーキテクチャ設計
  • 高可用性が求められるデータ連携基盤のアーキテクチャ設計

下記のとおりデータ基盤の重要技術であるDB、ETLについて高い知見を持つ組織で原理から学んだ。

  • 前職の日本IBMでは、RDBについてスキルを習得。※RDBは1970年代にIBMによって作られた。
  • 前々職の三菱電機インフォメーションネットワークでは、ETL(Informatica)についてスキルを習得。※Informaticaは2000年頃に三菱電機インフォメーションネットワークによって日本語版製品化が行われ日本での販売が開始された。

Skills

パフォーマンスチューニング


データ連携基盤

  • アーキテクチャデザイン
  • 設計/構築

データベース

  • アーキテクチャデザイン
  • 設計/構築

WordPress

  • 基盤導入
  • サイト制作

Certifications

Portfolio

1. 掲示板系WEBサイトの分類機能

掲示板系WEBサイトの投稿をVertex AIで分析してスパム投稿を識別する。また、テーマに無関係な投稿を判別できるように要約する。
使用技術:Python、GCPのBigquery、Vertex AI

2. 色彩理論に基づいたメイクを学べるアプリ

デザイナーの妻がパーソナルカラー診断を得意としている。 妻が企画、デザイン、イラストを担当し、私がプログラム作成を担当して、本アプリを作成した。 下記のとおり、ゲーム感覚のイメージではあるが、妻が美大で学んだ色彩理論に基づいている。
使用技術:Javascript

GitHub - data2coordi/pub_makeup: 色彩理論に基づいたメイクを学べるアプリ

色彩理論に基づいたメイクを学べるアプリ. Contribute to data2…
github.com

3. Bigqueryの大量データ生成スクリプト

Bigqueryは大量データを処理するが性能検証用にテストデータを作成するのは大変である。 そこで、Bigqueryで大量データを生成するSQLを作成した。 SQL一発で作成するので非常に高速。またシンプルなので柔軟にカスタマイズ可能。
使用技術:Bigquery

GitHub - data2coordi/pub_bigquery_generate_data: Bigqueryテストデータ生成 - 1億件を10秒で! -

Bigqueryテストデータ生成 - 1億件を10秒で! -. Contribu…
github.com

4. Bigqueryの性能検証

Bigqueryの性能を検証しました。 基本的内容に加えて公開されていないようなAdvancedな部分にも踏み込んでいます。 検証環境や検証用のSQLも下記で説明しているのでご活用ください。
使用技術:Bigquery

5. AI活用によるパーソナルカラー診断の自動化(プロトタイプ)

デザイナーの妻がパーソナルカラー診断を得意としている。 パーソナルカラーに関するWEBサイトを運用していて、自動でパーソナルカラー診断が できるアプリを作成することとなった。 精度が十分でなくプロトタイプの状態でペンディング中だがポートフォリオ目的に公開することにした。
使用技術:Javascript、機械学習モデル

GitHub - data2coordi/pub_faceJudge: AIを活用した自動パーソナルカラー診断アプリ(プロトタイプ)

AIを活用した自動パーソナルカラー診断アプリ(プロトタイプ). Contribu…
github.com

6. Bigqueryの統計情報のクエリプランへの影響の検証

DWH系のDBはマシンパワーに依存する。クエリプランはパーティションやクラスタキーに よってのみ決まる製品もある。 一方、多くのRDBはオプティマイザが統計情報からデータ傾向を把握し、緻密なクエリプラン を作成する。 Bigqueryはどの程度、統計情報を考慮してクエリプランを決めているのか検証する。
使用記述:Bigquery、クエリプラン、統計情報

GitHub - data2coordi/pub_bigquery_query_plan_ev: Bigqueryの統計情報のクエリプランへの影響の検証

Bigqueryの統計情報のクエリプランへの影響の検証. Contribute …
github.com

Career History

2023 – :オーロラ・ラボ(CTO&Data Engineer)

妻(CEO)と共に合同会社オーロラ・ラボを設立。

2022 – 2023:日本IBM(Data Engineer)

データ仮想化基盤構築プロジェクトでDeveloperチームのリーダーを担当

  • 特徴:グローバルプロジェクト
  • 成果:海外と日本でグローバルにデータを連携するシステムを構築

2017-2022:日本IBM(Database Engineer)

大規模基幹システム刷新プロジェクトでDBAチームリーダーを担当

  • 特徴:超大規模プロジェクト。PJメンバーは500人規模
  • 成果:統計情報の設計/生成、実行計画最適化、パフォーマンスチューニング、DB論理モデリング、DB物理モデリング

2014-2017:三菱電機インフォメーションネットワーク(Data Engineer)

新規基幹システム構築プロジェクトでデータ連携基盤リードアーキテクトを担当

  • 特徴:大規模プロジェクト。PJメンバーは50人〜100人規模
  • 成果:データ連携基盤の標準化、クラスタ化。マルチスレッド化による処理時間の改善。

〜2014:三菱電機インフォメーションネットワーク(DWH Engineer)

データ基盤アーキテクトとして、データ基盤の導入支援、データ基盤の構築、パフォーマンスチューニング等を担当

作者

森広志

データエンジニア

ビックデータを専門とする。専門性の高い情報をアップしていく。

最近はまっているのはカレーに何のトッピングをするか。

PAGE TOP