akira @ DataMarket 💹 (@sista05) header
akira @ DataMarket 💹 (@sista05) profile picture

株式会社DataMarket所属。データ基盤の設計・構築・技術顧問(dbt / Dagster / BigQuery / Snowflake)。直近は数千万ユーザ規模のCDP構築をTech Leadとして主導。著書『データエンジニアの教科書』(C&R研究所) https://nitter.cf/t.co/vse6mA80Fe

みなとみらい
Joined February 2011
Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)Photo by akira @ DataMarket 💹 (@sista05)
akira @ DataMarket 💹 retweeted
データ基盤はSnowflakeやDatabricksに乗せろ。 10年間続いたこの前提が、いま静かに崩れかけています。 Snowflakeから移行して1年半のDuckLake本番運用で、インフラコスト70%削減、クエリ速度5-10倍を実証した、Definite社CEOの記事です。 データ基盤といえばSnowflakeやDatabricksである。という前提が崩れている理由は大きく3つあります。 1. 2020-2022年契約の更新タイミングで、Snowflakeの料金高騰が中堅企業に顕在化していること 2. ほとんどの企業の分析データは100GB未満で、ペタバイト前提の巨大DWHとそもそもサイズが合っていないこと 3. AIエージェント時代に入り、クエリ毎課金モデルの経済学が破綻しつつあること データウェアハウス市場は、いま補正期に入っています。
2
4
5
96
17,416
Manychat(企業やインフルエンサー向けのマーケティング自動化サービスを売る会社)内における、 データエンジニアリングとAIエージェントの実務事例を紹介します。 現在のデータエンジニアリングとAIの融合の標準的な現在地としてよくまとまっています。 medium.com/manychat-engineer… 著者はAIの実行環境を3つのHarnessに分類しており、個人だけがAIを使いこなしていてもその人の生産性が上がるだけで、組織全体の生産性にはつながらないため、これをナレッジとして展開することが重要だと指摘しています。 個人:CLAUDE.md、個人用Skills、メモリ チーム:テーブルのメタデータ、Semantic Layer、データ品質テスト 全社:共通Skills、アクセス制御、NotionやSlackとの連携 Data Platformチームでは、テーブルのマテリアライズ、ソーステーブルへのカラム追加、パイプラインの起動・停止、データの強制取り込み Snowflakeユーザーの作成、モデルのメタデータ生成といった作業をSkillsに置き換えています。 そして、Analyticsチームでは業務指標を定義した専用リポジトリを作っています。 自然言語で質問すると、エージェントが必要な業務定義を読み込み、信頼できるテーブルを選んでSQLを実行し、 回答には参照元、SQL、確信度、問い合わせるべき担当アナリストまで付けるように動きます。 著者は、AIによるデータエンジニアリングには通常のソフトウェア開発とは違う4つの問題があると整理しています。 State:ジョブが成功しても、データが間違っている場合がある Environment:本番に近いデータ量・分布を再現した検証環境が必要 Metadata:SQLが正しくても、指標やテーブルの意味を間違える Quality:テストが通っても、業務上の正しさは保証できない これは、AIにコードを書かせるだけではデータ基盤の開発を自動化できないという話です。 ManychatはAnalytics AI Agentの回答精度に満足していると説明しているが、業務定義やデータの鮮度を維持することが最も難しいと認めています。 実際、信頼しているTableauダッシュボードを毎週人間が確認する作業も残っています。 エージェントを作るところまではできても、エージェントが参照する知識を継続的に正しく保つ仕組みはまだ完成していないといったところでしょう。
2
4
651
akira @ DataMarket 💹 retweeted
まぁ運用保守やってない人が作ったシステムって総じてクソになるからねぇ
システム構築の実務経験が重視される昨今で、保守運用の経験まで見てもらえるのは確かに採用枠が一時的に広がってる感ある
2
15
5
117
16,386
akira @ DataMarket 💹 retweeted
立川で審査員するよ!
【TOPROCK DESK 1vs1 ルール】 予選:オーディション形式(1人1ムーブ45秒) 本戦:シード5名+予選通過3名のTOP8トーナメント TOP8〜4:各2ムーブ(1ムーブ45秒) 決勝:BO3(最大3試合) 優勝賞金:30,000円 JUDGE:ERi/LIL OSSA/GRiiMSEN 12/6(日)ムラサキパーク立川立飛 #FOUNDNATION
1
5
29
992
600ページ超のオライリー本 『データ指向アプリケーションデザイン』 の要点を監訳者がスライドにまとめてくれている。 30分でわかるデータ指向アプリケーションデザイン speakerdeck.com/xerial/30fen…
32
2
352
21,004
akira @ DataMarket 💹 retweeted
データエンジニアリング専門のニュースレターData Engineering CentralのPodCastからです。 購読者数万人規模で、データエンジニアの間では定番の情報源の一つです。 ゲストのChris Gambillはデータ領域26年のベテラン。 AT&Tで14年間データ基盤を構築し、ディレクターとしてCOO直轄でデータ戦略を見ていた人です。 現在は独立してコンサルタントをしています。 このポッドキャストで一貫して語られていたのは ツールは26年で激変したが、現場の問題は何一つ変わっていないということ。 汚いデータ。品質管理に金を出さない経営層。データの所有者が決まっていない組織。 Salesforceの自由入力欄にコピペで想定外の文字が混入してモデルが壊れる。 これが2000年も2026年も同じだということを語っています。
1
3
67
5,386
akira @ DataMarket 💹 retweeted
データエンジニアのこうした問題は大変ですよね。 私もこうした経験から、近日発売予定の「データエンジニアの教科書」では、データガバナンスの重要性について説いています。
失敗談。 データ組織の "便利屋化" が進み、事業側とデータ組織と開発組織の役割分担が不明瞭のまま色んなことに着手し続けると責任と成果が非対称的になり、こういう感じになったことがあります。 データが遅い → データ組織の責任 数字が違う → データ組織の責任 AIが間違える → データ組織の責任 アプリイベントの仕込み → データ組織の責任 KPI/NSM設計 → データ組織の責任 施策が失敗する → データ組織の責任 施策が成功する → 事業部の成果 これを阻止するのがデータ組織の管理職のお仕事。阻止しないとメンバーが死ぬほど疲弊します。最初は全くこんなことになるとは思っておらず、困っている組織や事業を助けたい一心で風呂敷を広げまくっていましたが、気がついたら文句は言われるけど感謝されない組織になっていました。めっちゃつらかったけど自業自得、メンバーには本当に申し訳ないことをしました。 この失敗に気付いてからは、必ずRASICやIPO図で責務範囲や業務フローを合意するようにしました。
15
1
156
14,122
こんなこと言ったら怒られるかもしれないけど、ある程度普通に仕事してたら、リーダーって任させるもんだと思うんだよな。だってリーダーって足りてないんだもん。
181
11月2日の記事で、プロダクト分析サービスを提供する会社PostHogが、自社のDWHをClickHouseからDuckDBに移行しましたがわずか5か月で撤退を決めたという内容です。 posthog.com/blog/moving-off-… DuckDBの性能が悪かったという単純な話ではなく、単一マシンで高性能なDuckDBをマルチテナントのクラウドDWHとして提供しようとしたところ、アーキテクチャ上の問題が次々に発生したとのことです。 もともとはClickHouseを使っていましたが、共有クラスターでは数時間かかるような複雑なデータ加工処理に対応しにくく、顧客ごとに独立したDuckDBを用意し、データの保存にはS3、テーブルの管理にはDuckLakeを使う構成に変更し、顧客ごとに計算リソースを分離し必要に応じて増減できるようにしました。 当初の技術選定には合理性があったと考えていましたが、 - DuckDBは単一ノードなので、巨大なクエリへの対応が難しく - DuckLakeのメタデータ管理が限界に達し - PostgreSQL互換の接続が予想以上に面倒だった とのことです。 結局、PostHogはDuckDBとDuckLakeをやめ、Trinoをベースにしたクエリエンジンと、独自のオープンテーブル形式HogLakeを開発したそうです。 DuckDBは、まだまだ大規模で複雑なワークロードへの対応には課題がありそうですね。
1
1
6
1,258
ちなみに、このPostHogのホームページのCookieバナーに カズレーザーが出ててびっくりしました。
239
11月3日にSnowflakeのオントロジー技術Business Ontologyが出たのは業界では話題になりましたが、その技術的な背景を詳しく紹介した記事も同日に出ていました。 snowflake.com/en/blog/engine… 先に発表されていたDatabricksのGenie Ontologyと比較すると違いがなかなか面白いです。 Snowflakeは人間が承認した業務定義を管理すること、Databricksは既存のデータや利用履歴から業務知識を自動的に学習することに重点を置いています。 Snowflakeの場合は、営業部門の売上と経理部門の売上を別々の概念として定義し、それぞれに所有者と承認履歴を持たせ、どちらがどの業務で使われるかを管理します。AIはその承認済みの情報を参照します。 一方で、Databricksの場合、Metric Viewsなどで定義された公式の売上指標に加えて、既存のSQL、ダッシュボード、ノートブックなどから売上に関する知識を収集します。さらに、情報源の作成者、利用頻度、鮮度、認証済みデータとの関係などを考慮して、どの情報を優先すべきか判断します。PageRankに似た考え方を採用しています。 つまり、Databricksは人間がすべての業務知識を明示的に定義しなくても、AIが既存の業務活動から補完する設計になっています。 AIエージェントが企業全体の情報を利用するという将来像ではDatabricksの方向性が興味深いと考えます。企業内の業務知識を全部人間が定義して管理し続けるのは現実的に難しい。SQLやダッシュボード、文書などから知識を自動的に取り込めるなら、Ontology構築の負担を大きく減らせる可能性があります。 一方で、規制対応や会計処理のように定義の正しさと承認責任が重要な領域ならSnowflakeの明示的なガバナンスは合理的です。 ただしDatabricksも公式定義の管理や権限制御を備えているため、信頼性を軽視しているわけではないです。例によって、企業の性格によって採用が変わってくるでしょう。
3
26
171
7,674
akira @ DataMarket 💹 retweeted
12/28(月)発売予定の新刊『生成AIのためのデータ基盤設計 ―AIエージェントとRAGを支えるデータ準備、品質管理、ガバナンス』の情報をAmazonおよび楽天ブックスで公開開始しました! 従来の「分析に使えるデータ」と「生成AIに使えるデータ」には隔たりがあります… amazon.co.jp/dp/4814401906
5
110
23
769
53,799
AIはまだまだ下がるっぽいな。俺はもうAIは持ってないけど、コロナの時も直前で全部退避させてたからな。 今回はちょっとダメージ入った。
193
akira @ DataMarket 💹 retweeted
「データエンジニアリングの基礎」(O'Reilly『Fundamentals of Data Engineering』) のJoe Reisが2026年2月、自身が主催するPractical Data Communityを通じて データ実務者・リーダー1,101人を対象とした大規模サーベイを実施しました。 調査範囲は以下です: - AIツールの導入度合いと使い方の成熟度 - データモデリングの実態と意味論レイヤーの採用率 - オーケストレーションツールの分布 - ストレージアーキテクチャ(Warehouse / Lakehouse / Hybrid)の現状 - チームが抱える組織課題(リーダーシップ、要件定義、技術負債) - チーム規模の見通し(拡大・維持・縮小) 役職別(データエンジニア、リーダー等)・企業規模別(小規模・大企業)・地域別にスライスされていて 地域別ではラテンアメリカが特徴的な数字を出しています。 サーベイの生データは公開済み、インタラクティブな分析ツールも提供されています。 年初の記事ですが、実測値ベースの2026年診断として希少な資料です。 以下、結果を順に紹介していきます。
1
3
41
3,942
半導体株怖スンギ
287
AI時代でSIの価値が見直されつつありますね。いろいろ最先端の技術をポストしていますが、そもそもシステムを回せるということが一番重要なことなのは当たり前ですから。
163
私はもうコンサルレベルで要求を要件に落とし込んでますよ。顧客のやりたいことを文書にする仕事。
395