TiDBやPostgreSQLのdumpツールを参考にしてApache BeamでDBから並列データ取得する記事を書きました。
engineering.mercari.com/blog…
2020年にOSSとして公開した mercari/DataflowTemplate を大幅に機能強化して mercari/pipeline としてv1beta版をリリースしたので紹介記事を書いてみました。
engineering.mercari.com/blog…
オルフェオン retweeted
社内で「Mercari Dataflow Template 便利だけどあまり使ってる人見ないよね」という話をしていたので勧めていく
zenn.dev/tellernovel_inc/art…
Cloud RunにさくっとSolrサーバを立てて、BQ等から取り込んだデータを検索する記事の続編を書きました。
複数コア対応・Embedding化支援・分散検索について紹介しています。
engineering.mercari.com/blog…
BigQueryからNeo4jにグラフデータを取り込んでCloud Runにデプロイしたり、Cloud Dataflowで作ったグラフデータにローカルでバッチ検索する記事を書きました。
engineering.mercari.com/blog…
キャンペーンのインセンティブ付与をCloud Dataflowを使ってニアリアルタイムに実行する話を書きました。
付与ロジックはBeam SQLで定義して動かしています。
同じSQLでもバッチ実行と比べてトリガーの概念が出てくるのが面白い(つらい)ところ。
engineering.mercari.com/blog…
オルフェオン retweeted
予定しているトピックはSpanner Release Historyの振り返り。google-cloud-goの思い出、Query Performance、Lockです！ docs.google.com/presentation… #MerpayTechFest
オルフェオン retweeted
2022年9月10日(土) から25日(日) の16日間、オンラインとオフラインで技術書典13を開催決定🎉オフラインは9月11日(日) 池袋サンシャインシティ 展示ホールDにて開催！出展申込や参加方法などの詳細は後日発表📚✨技術に出会えるイベントにみんなで参加しよう🐑 #技術書典
techbookfest.org/
Cloud RunにさくっとSolrサーバを立てて、BQから取り込んだデータを検索する記事を書きました。
個人開発や社内サービスなどでちょっとした検索機能を使いたい時の参考になれば。
engineering.mercari.com/blog…
コンピュータアーキテクチャの第6版、GoogleのTPUとかウェアハウススケールコンピュータの話も載ってるぽい。MicrosoftのCatapultの話とかも載ってて面白そう。
amazon.co.jp/dp/4434264001
![コンピュータアーキテクチャ[第6版]定量的アプローチ](https://pbs.twimg.com/card_img/2117819045487779841/7FVMQoEl?format=jpg&name=800x419)
Cloud Data Fusion．定形的な処理はだいたいプログラミングレスにできそう。対応ストレージや加工処理も豊富。実行はSpark，MapReduceを選べたので多分Dataprocで動いてそう？Dataflowにも対応予定らしい。
#GoogleNext19
