しんしん

现在都在推崇用本地 Markdown 文件夹给 AI 当知识库，但有个哥们实测完发现，这做法比用数据库多烧了 40 倍的 token。 这个哥们叫 Richard，他们团队就两个人（其中一个还是兼职），带着几千个 Agent 干了两个月。 结果两个月下来，光是项目记录、沟通和文档，就攒出了 11,000 多个 Markdown 文件，足足 120MB。 以前人类自己记笔记，在 Obsidian 里攒一万个文件得花好几年。 现在 Agent 产出的上下文实在太猛，两个月就干到了这个量级。 他把这 1.1 万个文件拉出来跑了 120 次真实工作问答测试，对比 Agent 直接翻 Markdown 文件夹和查 SQLite 数据库的差距。 拿到同样正确的答案，用 SQLite 消耗的 token 只有 Markdown 的 1/40，算下来账单便宜了 20 倍，速度还快了 6 倍。 看里面的调用日志，有几个细节我真没想到： 第一，纯文本检索在需要全局统计的问题面前直接崩溃。 比如问一句“哪个项目下面活跃的任务最多”。 用 SQLite 的 Agent 写了条查询语句，花 43 秒、13.8 万 token 就答对了。 而读纯 Markdown 的 Agent，在目录里疯狂跑了四五十次 grep 和 find，单次任务直接干掉 1500 万 token，跑了十多分钟，最后还是回答失败。 第二，Agent 甚至被逼得自己手写数据库。 测试里有一组带了严格类型头部的 Markdown 文件。 Agent 试了几下发现用命令行硬搜太蠢，居然自己当场写了个 Python 脚本，把一万多个文件读进内存，自己在内存里搞山寨 SQL 查询。 这玩意太逗了，你不给它数据库，它为了活命自己现场造一个。 第三，很多人觉得现在有上下文缓存（Cached tokens），长会话很便宜。 这哥们算完总账发现，长会话里超过 2/3 的钱，全都烧在了缓存输入上。 因为 Agent 在文件夹里迷路时，每多调一次命令行工具，前面攒下的几十万甚至上百万 token 就要重新刷一遍计费。 单次看着打折，架不住它原地打转调四五十次工具。 我觉得这事把一个被忽略的边界挑明了： 平时几百个文件以内，直接拿 Markdown 喂给 AI 确实最爽，零配置，随便改。 但只要文件量上万，或者你真的靠 Agent 高频干活，纯文本文件夹就是个吞金兽。 这哥们最后搞的架构其实挺通透：底层用事件日志和 SQLite 给 AI 提供查询接口，同时在本地同步投影成 Markdown 文件夹。 人看人的纯文本，AI 查 AI 的数据库。 看完我默默打开自己那个塞满 .md 的工作目录看了一眼。 难怪最近跑任务老觉得 token 掉得跟流水一样，我还以为它在做什么高深的逻辑推理，合着它每天都在我的文件夹里盲人摸象，每摸一下还要收我一次过路费。 看来周末得写个脚本把这堆文件全塞进 SQLite 里，省下来的钱拿去吃顿好的算了。 news.ycombinator.com/item?id…