技術書典21参加します!
LZ4フォーマットに準拠しつつ圧縮サイズを最小にする線形時間アルゴリズムLZ4optを提案して公式実装との比較を行ったりしてます。
LZ4のフォーマットやアルゴリズムについても説明しているので気になった方はぜひ!
甲乙丙技術部 Vol. 1 #技術書典 techbookfest.org/product/paq…
kgoto retweeted
#技術書典 21 で SAT ソルバーの解説書を出します!
SAT ソルバー「Glucose」のソースコードを細部まで読みながら、SAT ソルバーのアルゴリズムを詳しく解説する本になっています。
スライディングウィンドウ上のsuffix treeをオンライン構築するRustライブラリsnakreeを公開しました。
Leonard+ 2026 "Sliding Suffix Trees Revisited" を元にした実装です。
ストリームで効率よく文字列処理したい方はどうぞ。
github.com/kg86/snakree
今年の検索アドベントカレンダー作りました!
ライトなネタも大歓迎なので参加登録お願いします!
情報検索・検索技術 Advent Calendar 2026 qiita.com/advent-calendar/20… #Qiitaアドカレ #Qiita
圧縮率って compressed size / uncompressed sizeだとずっと思ってたけど、一般的には逆だった?
okumuralab.org/~okumura/cs/c…
他にも(uncompressed size - compressed size) / uncompressed sizeもあったり、定義は全部で3パターンぐらいあるらしい。むずかしい。
4
293
kgoto retweeted
巨大なLLM事前学習データを爆速で検索出来る「SoftMatcha 2」の開発に参加させてもらいました。デモ、論文、ソースコード等をこの度公開しましたので是非お試し下さい!
softmatcha.github.io/v2/
意味的類似性に基づいた置換や挿入削除に対応しながら1兆トークン規模のデータを0.1秒代で検索すると いうなかなか狂った性能になってます。EMNLP'25 Best Paperのinfini-gram-miniを含む既存のツール全てを大きく凌駕する性能だと思います。用途に特化したデータレイアウトを持つdisk-aware suffix arrayを使いながら、本来指数的になる置換・挿入・削除の候補を実データに基づきうまく枝刈りすることで高速な検索を達成してます。
この規模の事前学習データを検索出来ることの利点の事例として、論文ではベンチマークの汚染の検証をやってみてます。infini-gram-miniのような厳密な検索のみでは発見出来ないような汚染の事例なども有りそうでした。
現在デモでは数百Bトークン規模のデータからの検索を試せるようになってます。コードも公開してますのでご自身でホストしてもらうとより大規模なケースもお試し頂けます。
🌐 Demo: softmatcha-2.s3-website-ap-n…
📄 Paper: arxiv.org/abs/2602.10908
💻 Code: github.com/softmatcha/softma…
若き才能 @e869120 を始めとするSoftMatchaチームの方々との協働はとても刺激的で多くの学びがありました。楽しかった〜!ありがとうございました! @shiatsumat @go2oo2 @ksuenaga @MasWag @sho_yokoi
pythonのバイトコード取得する方法見つけて、思いつきでバイトコードのインタプリタ作ってる。楽しい。
docs.python.org/ja/3/library…
338
kgoto retweeted
出口さんを中心とした超強力な研究チームのコラボレーションによって、かなり面白いものができてしまいました。動くデモもあります softmatcha.github.io/
#YANS2024 にて、柔らかいパターンマッチ(softgrep)のデモ発表をします。[S2-P02]
単語埋め込みによってパターンマッチを連続化した新しい検索法です。
類義語や表記揺れにも対処でき、柔らかくも厳密にマッチした事例を列挙できます。
コーパスから用例をパターン検索したい方などにおすすめです。
【Dataflow 実践開発セットアップ】に関する記事を、LegalOn Technologies Engineering Blogで公開!
PythonとDataflowを活用してデータを処理する上で、テストを整備しDockerを活用したセットアップについて紹介しています。
#エンジニアブログ #Dataflow
tech.legalforce.co.jp/entry/…
kgoto retweeted
良い本に仕上がりました🙌🏻
みんな見て見て!!!
はてなブログに投稿しました
大規模データセットのためのアルゴリズムとデータ構造 - カメヲラボ ozy4dm.hateblo.jp/entry/2024…
#はてなブログ






















