chira as データマネジメント専門家 (@chira) header
chira as データマネジメント専門家 (@chira) profile picture

トムホ・スパイディ、最高! データマネジメントとデータガバナンスのコンサルタント。イタリア好き。歴史好き。ギャバン、「新九郎、奔る!」推し。

Tokyo
Joined November 2008
日本にデータマネジメントの考え方を広めた貢献者と言ったら、1975年第1回VLDB(大規模データベース)国際会議でピーター・チェンがERモデルの基礎となる概念を発表した同じ場で実装独立の概念データモデルを用いて開発したプラント会社のエンジニアリングDB事例を発表した椿正明先生、ISO11179でメタデータレジストリ標準の規定に貢献された堀内一先生、T字型ER記法を開発してデータ中心のシステム開発を提唱した佐藤正美先生、ザックマンのEnterprise Architectureの考えを基にデータ中心のEAを発案しただけでなく、さらにデータマネジメントが海外で提唱され始めた初期に国内大手企業で実際に取り組み、日本での普及を見越してDMBOK初版を翻訳し、DAMA日本支部設立に尽力された黒澤基博先生、ERWINユーザ会を通じて海外のデータモデリングノウハウを積極的に日本に紹介したDAMA日本支部初代会長松本聡先生、またデータマネジメントの元になりつつより厳密な情報資源管理の普及と実践に取り組まれた諸先輩方、DOA(データ中心アプローチ)開発で国内大手企業の基幹システムの初期の開発に取り組まれたエンジニアの方々、その方法論を現代で実践的に昇華させようと尽力されているDOBAグループの方たちを挙げないわけにはいきません。 日本の初期の基幹システム構築は、少ないメモリとコンピューティングリソースを最大限に活かすために、データだけで無くハードとソフトの専門的な知識も必要とされていました。そのため多くの日本初のデータ管理手法が生まれました。今のデータマネジメントの手法よりもより厳密で精緻なものが求められた時代であり、データマネジメントの多くの方法論はこうした諸先輩たちのノウハウに由来しています。
3
1
69
65,513
もともとデータは、コンピューターの前からあったとも言えるので、他のコンピューターサイエンスとは考え方が違うのは自然かも。殷の甲骨文字、インカのキープ(結縄)、新宿駅改札前黒板の「XYZ」。
ソフトウェアサイエンスを使ってソフトウェアは作られますが、データサイエンスを使ってデータは作られないのも、他のコンピューター系のサイエンスと対象の関係と違うのですよね。データサイエンスはすでにあるデータから洞察を得る。
1
3
401
ソフトウェアサイエンスを使ってソフトウェアは作られますが、データサイエンスを使ってデータは作られないのも、他のコンピューター系のサイエンスと対象の関係と違うのですよね。データサイエンスはすでにあるデータから洞察を得る。
Replying to @chira
コンピューターサイエンスを使ってコンピューターを作るのがコンピューターエンジニア。 ソフトウェアサイエンスを使ってソフトウェアを作るのがソフトウェアエンジニア。 どうも、データエンジニアは同じ図式にならんようです。
1
1
586
chira as データマネジメント専門家 retweeted
Replying to @chira
コンピューターサイエンスを使ってコンピューターを作るのがコンピューターエンジニア。 ソフトウェアサイエンスを使ってソフトウェアを作るのがソフトウェアエンジニア。 どうも、データエンジニアは同じ図式にならんようです。
1
1
1
419
「データガバナンス」ということばに方言があると言いますか、その議論がされている組織やテーマによって異なるんですよね。組織やテーマが横断しているときは、「データセキュリティガバナンス」、「信頼性のある自由なデータ流通ガバナンス」と呼んだ方が良いと思って、私はこまめに使い分けてます。
「データガバナンス」 文脈で違うなぁと感じていたところ。 仕事で必要があって少し調べたら、少なくとも3系統ありそう。 ①プライバシーガバナンスからの系譜 ②データ管理からの系譜 ③越境含むデータ政策からの系譜 法律コンプラ系だと①だけど、DMBOK界隈では②、DFFT系は③ぽい #方言注意
1
7
576
chira as データマネジメント専門家 retweeted
「データガバナンス」 文脈で違うなぁと感じていたところ。 仕事で必要があって少し調べたら、少なくとも3系統ありそう。 ①プライバシーガバナンスからの系譜 ②データ管理からの系譜 ③越境含むデータ政策からの系譜 法律コンプラ系だと①だけど、DMBOK界隈では②、DFFT系は③ぽい #方言注意
1
8
2
21
2,222
データエンジニアとビジネスデータスチュワードの境界があいまいになっていきそうですね。それと今後の世の中はビジネス側のメンバがAI含めITリテラシーを求められることが想像できます。なので、データエンジニアはひとつの独立したキャリアではなく、ビジネス部門のメンバに求められるスキルになっていくこともあるのでは。極端な組織では。
Data Intelligence Engineerという新しい役割についてのポスト。 ・データチームの仕事は、ビジネスが良い意思決定をできるようにすること ・これまでは問いが答えになるまで、マーケ担当→アナリスト→データエンジニアとチケットのリレーが続き、届く頃には聞いた理由を忘れていた ・2025年12月より前は、LLMはSQLが下手で、データ分析はAIの影響を受けにくかった ・しかしモデルのSQLが良くなり、業務ロジックは文脈があれば推測でき、エージェントがマルチターンになって試行錯誤できるようになった ・SQLを書く、ダッシュボードを作る、dbtパイプラインを組むといった作業は、専門知識がなくてもできるようになっていく ・社内のデータエンジニアは、Airflowのバージョン移行を最小限で週末に終えた。以前なら1週間かかったはず ・それでも、正しいとサインオフする責任は人間に残る ・データエンジニアリングは説明責任の機能 ・モデルはSQLは知っていても、会社が売上をどう数えるか、似たテーブルのどれが本物かは知らない ・コンテキストはエージェント向けのマニュアルで、まず綺麗なデータモデルを作るほうが良い ・Data Intelligence Engineerは、エージェントを作って取り込みや変換を自動化し、組織の知識を共有コンテキストに書き込む ・evalsで、答えの分かっている質問に正しく答えるかを確かめ、壊れたことにも気づけるようにする ・ゴールはセルフサービス ・誰でもエージェントでビジネスの問いに正しく答えられるようにすること motherduck.com/blog/the-data…
2
5
1
86
3,901
chira as データマネジメント専門家 retweeted
Replying to @chira
基本的には関係モデルでデータをモデリングしておき、グラフが効くユースケースはグラフにマッピングする。その時のグラフの型をオントロジで定義すると、決定論的に間違いを指摘できると言う構成がわりと一般的だと思うので、まずは関係モデルだと思います。
1
4
406
ER図と呼ばれるデータモデル図では、データ間の関係線(リレーションシップ)の意味を記載する、という記法があります。これを動詞句と言います。データ設計時にデータモデル図上にこの動詞句を記載しておけば、オントロジーやナレッジグラフを実データから解析して類推し、確認するという作業の多くが省略できます。残念なことに、設計時にデータモデル図を描く組織は少なく、描いている組織でも動詞句は省略されがちなのですが。動詞句については、株式会社システムインテグレータさんのサイトがわかりやすいですね。 products.sint.co.jp/blog/cre…
1
2
40
2,387
ファイル形式の非構造化データの活用が注目されていますが、経験した範囲では、非構造化データと呼ばれているファイルの多くは、データベースでテーブル管理できるのにしていないだけ。ファイルのまま取り込むのではなく、きちんと登録画面作ってシステム化すれば、業務プロセスの標準化もできるし、ファイル容量よりも軽く保存できるし、わざわざAIて検索してコンピュートリソース使わなくてよかったりする。
4
31
1,491
chira as データマネジメント専門家 retweeted
新たなPOA? AI時代のプロセス中心アプローチ(POA)再来か 全社的なデータ構造と意味を定義せず、局所的な知識の追加でAIの推論ミスを修正対処 これはAI版のモグラ叩きであり過去の部分最適の失敗を繰り返すことになる AI時代における全社的な知識の構造基盤を確立することこそ先に始めよう DOAに還ろう
1
5
486
chira as データマネジメント専門家 retweeted
データモデリングを疎かにしたまま、オントロジーやナレッジグラフを個別に構築しても、知識の断片化と整合性の欠如を招くだけだ オントロジーやナレッジグラフの前に、まずデータモデリングをしっかりやれ
“Do not try to do everything. Do one thing well.” — Steve Jobs
4
54
2,608
Oracleさんの新機能では、Agentsなどの管理機能も気になる。DBMS製品群がRules, Skills, Agentsの管理機能を持つということは、データマネジメントの対象にRules, Skills, Agentsの管理が入りつつあるということ。データマネジメント専門家も、それなりのAI知識が求められる時代になりつつある。個人的にはアプリケーション領域(AA)の管理対象じゃないかと思うのですが、そうも言ってられなくなりそう。
OracleさんがAI管理機能を拡充させていますね。オントロジーの作成支援機能が追加されたようです。データマネジメント視点だと、作ったあとにそれが正しいか人間が判断し、維持し、新しいデータに守らせるガバナンスが重要ですが、それはどこまで助けるのかが気になります。 Oracle AI Data Platform、AIの支援によるビジネス・コンテキストをエンタープライズAIに提供 oracle.com/jp/news/announcem…
1
7
728
OracleさんがAI管理機能を拡充させていますね。オントロジーの作成支援機能が追加されたようです。データマネジメント視点だと、作ったあとにそれが正しいか人間が判断し、維持し、新しいデータに守らせるガバナンスが重要ですが、それはどこまで助けるのかが気になります。 Oracle AI Data Platform、AIの支援によるビジネス・コンテキストをエンタープライズAIに提供 oracle.com/jp/news/announcem…
1
13
1,249
メタデータ基盤アーキテクチャは、単一のツールで中央集権的に管理する考えが日本では主流でしたが、引用元のように、複数のツールから収集可視化するのが、継続したメタデータ管理には良いと思います。ちなみにDMBOKのメタデータ章にも、こうしたメタデータ基盤アーキテクチャ論が載ってます。(まわりでこのアーキをテーマに議論してくれる人がいないのが寂しい。)
外部プラットフォームにあるセマンティクスをGCPのknowledge catalogに同期させて、エージェントが使えるようにする。1箇所に重役するのではなく、何がどこにあって、どういう意味かのメタデータを分散管理する感じだな。
1
4
49
2,073
chira as データマネジメント専門家 retweeted
外部プラットフォームにあるセマンティクスをGCPのknowledge catalogに同期させて、エージェントが使えるようにする。1箇所に重役するのではなく、何がどこにあって、どういう意味かのメタデータを分散管理する感じだな。
Your agents can now answer with the business definitions your analysts already trust, no metrics to rebuild. Now GA in Knowledge Catalog: semantic model ingestion from Looker, BigQuery, dbt, Snowflake, Databricks, and SAP, all in one governed context graph: goo.gle/4e3nGzt
1
3
1
28
4,765
イタリアのペルージャは、実はチョコレートの街。生活に根付いたチョコレート屋さんが、メインストリートだけでなく路地裏にもひっそり佇んでいます。街歩きに疲れた時に、ふらっと立ち寄ってひとつまみ。リフレッシュしてから、語学を学びにきつい坂を登り下りしてました!
『イタリア好き』最新号、vol.67 ペルージャのチョコレート物語を発送しました~!イタリア中部、ウンブリア州の古都ペルージャの甘い物語を訪ねてみました。お楽しみに! italiazuki.com/currentissue/
257
chira as データマネジメント専門家 retweeted
『イタリア好き』最新号、vol.67 ペルージャのチョコレート物語を発送しました~!イタリア中部、ウンブリア州の古都ペルージャの甘い物語を訪ねてみました。お楽しみに! italiazuki.com/currentissue/
3
2
30
2,353
chira as データマネジメント専門家 retweeted
ナレッジグラフはデータモデル前提 先にEDMでビジネスデータの構造と意味を定義し、それを基盤としてナレッジグラフを構築するアプローチが有力 ナレッジグラフはデータモデルの代替ではなく、データモデルで定義されたビジネスの意味を、関係と知識のネットワークとして展開する仕組みと考えられる
6
41
2,307