kgoto (@kgoto) profile picture

自然言語とか文字列とかRustやってます。

神奈川
Joined March 2008
Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)Photo by kgoto (@kgoto)
LZ4optは実用的ではありませんが最適値との差(あとどれだけ改善余地が残されているのか)を厳密に計算できることに大きな意味があります。
1
46
#技術書典 21 で SAT ソルバーの解説書を出します! SAT ソルバー「Glucose」のソースコードを細部まで読みながら、SAT ソルバーのアルゴリズムを詳しく解説する本になっています。
1
59
393
17,545
スライディングウィンドウ上のsuffix treeをオンライン構築するRustライブラリsnakreeを公開しました。 Leonard+ 2026 "Sliding Suffix Trees Revisited" を元にした実装です。 ストリームで効率よく文字列処理したい方はどうぞ。 github.com/kg86/snakree
1
8
228
kgoto retweeted
今年の検索アドベントカレンダー作りました! ライトなネタも大歓迎なので参加登録お願いします! 情報検索・検索技術 Advent Calendar 2026 qiita.com/advent-calendar/20… #Qiitaアドカレ #Qiita
25
3
64
4,795
圧縮率って compressed size / uncompressed sizeだとずっと思ってたけど、一般的には逆だった? okumuralab.org/~okumura/cs/c… 他にも(uncompressed size - compressed size) / uncompressed sizeもあったり、定義は全部で3パターンぐらいあるらしい。むずかしい。
4
293
後で読んでみよう。
1
149
kgoto retweeted
巨大なLLM事前学習データを爆速で検索出来る「SoftMatcha 2」の開発に参加させてもらいました。デモ、論文、ソースコード等をこの度公開しましたので是非お試し下さい! softmatcha.github.io/v2/ 意味的類似性に基づいた置換や挿入削除に対応しながら1兆トークン規模のデータを0.1秒代で検索すると いうなかなか狂った性能になってます。EMNLP'25 Best Paperのinfini-gram-miniを含む既存のツール全てを大きく凌駕する性能だと思います。用途に特化したデータレイアウトを持つdisk-aware suffix arrayを使いながら、本来指数的になる置換・挿入・削除の候補を実データに基づきうまく枝刈りすることで高速な検索を達成してます。 この規模の事前学習データを検索出来ることの利点の事例として、論文ではベンチマークの汚染の検証をやってみてます。infini-gram-miniのような厳密な検索のみでは発見出来ないような汚染の事例なども有りそうでした。 現在デモでは数百Bトークン規模のデータからの検索を試せるようになってます。コードも公開してますのでご自身でホストしてもらうとより大規模なケースもお試し頂けます。 🌐 Demo: softmatcha-2.s3-website-ap-n… 📄 Paper: arxiv.org/abs/2602.10908 💻 Code: github.com/softmatcha/softma… 若き才能 @e869120 を始めとするSoftMatchaチームの方々との協働はとても刺激的で多くの学びがありました。楽しかった〜!ありがとうございました! @shiatsumat @go2oo2 @ksuenaga @MasWag @sho_yokoi
1兆語規模のコーパスから0.1秒単位で用例検索できるツールができてしまいました。意味的な置換・挿入・削除にも対応。 世界の Takuya Akiba と ICPC 史上初世界2位に輝いた E869120 のガチプロ2名にジョインいただき、動くわけがないと思っていたサイズでなぜか動いてます。遊んでみてください。
4
255
16
1,139
251,484
数年ぶりにatcoder復帰! 水色は当然として青色まで頑張る。
4
271
出口さんを中心とした超強力な研究チームのコラボレーションによって、かなり面白いものができてしまいました。動くデモもあります softmatcha.github.io/
#YANS2024 にて、柔らかいパターンマッチ(softgrep)のデモ発表をします。[S2-P02] 単語埋め込みによってパターンマッチを連続化した新しい検索法です。 類義語や表記揺れにも対処でき、柔らかくも厳密にマッチした事例を列挙できます。 コーパスから用例をパターン検索したい方などにおすすめです。
1
53
8
232
89,516
書籍のコードを自分で写経したら動かなくて、chatgpt君に写経させたら動いたので、chatgpt君僕よりもずっと優秀。
5
244
ルックバック最高だった。
4
294
slackのメンション欄、個人とグループで分けてくれ。頼む
1
270