Gold 渐成

SanDisk CTO Alper Ilkbahar 在 Investor Day 放出了一個我認為比「HBF 有多快」更值得看的數字： 4 張 HBF GPU，可以做到 8 張 HBM GPU 的 token output。 表面上看，很容易把它理解成「HBF 讓 GPU 性能提升 2 倍」。 但我覺得這樣理解反而低估了這個 demo。 因為 HBF 真正解掉的東西，不是算力，而是現在 AI inference 裡一個越來越昂貴的問題： 很多時候，我們買更多 GPU，不是因為缺 FLOPS，而是因為模型塞不進去。 SanDisk 的模擬很直接。 他們先拿一顆類似目前市場主流高階 GPU 的架構，每張 GPU 配 192GB HBM。然後做第二個版本，把 HBM 全部換成 HBF，讓單張 GPU 的 near-compute memory 從 192GB 拉到大約 4TB。 這個 4TB 其實也和現在公開的 HBF 架構方向對得上。SanDisk 與 SK hynix 最新公布的第一版開放 HBF 規格，單個 HBF stack 最高 512GB；如果一顆 accelerator 配八組，就是大約 4TB。HBF 的目標 bandwidth 則分成約 0.4TB/s 到 3TB/s 三個等級。 接著他們跑一個模擬的 agentic coding workload：AI agent 不斷寫 code、產生新任務、讀取上下文，再繼續工作，底層是一個接近 490B 級別的 Qwen3 模型。 這類 workload 很有意思，因為它不是一次問答就結束。 Agent 活得越久，context 越長，KV cache 越大，同時還要把巨大的 model weights 放在離 GPU 足夠近的位置。Qwen 官方公開的 Qwen3-Coder-480B 本身就是 480B total parameters、35B active parameters，而且原生 context 已經做到 256K。 所以當 SanDisk 把它丟進只有 192GB HBM 的 GPU 時，第一個問題根本還不是 GPU 算得快不快。 第一個問題是：放不下。 按照他們的模擬，HBM 系統至少需要 8 張 GPU 才能開始跑這個 workload。 注意這裡的「8」。 這八張 GPU 並不是因為模型需要八張 GPU 的 compute 才算得動，而是 memory capacity 逼你先買八張 GPU。 你本來可能只需要其中一部分算力，但為了取得綁在 GPU 上面的 HBM capacity，只能把 GPU 一起買回家。 這就是我會稱它為 GPU memory tax 的地方。 GPU 現在其實同時賣給你兩樣東西：compute 和 memory capacity。但 AI inference 對這兩樣東西的需求成長速度並不一定一致。 你可能缺 1TB memory，卻沒有缺對應那麼多 FP8 FLOPS。 可是 HBM 又焊在 accelerator package 上。 於是缺 memory 的解法變成：買更多 GPU。 這才是 SanDisk 這個 demo 真正想拆掉的東西。 把同樣架構換成大約 4TB HBF 之後，一張 GPU 就已經可以把整個 workload 裝進去。 一張 HBF GPU 當然沒有八張 HBM GPU 快，SanDisk 自己也沒有假裝它會比較快。 但事情到這裡已經完全變了。 因為以前你的「minimum viable system」是八張 GPU；現在 minimum viable system 變成了一張。 然後 SanDisk 再把 HBF GPU 加到四張。 結果： 4 HBF GPU ≈ 8 HBM GPU 的 token output。 這裡才出現所謂的「2× performance per GPU」。 但我要特別強調： 這不是 HBF 的 NAND cell 比 HBM DRAM 快兩倍。 也不是同一顆 GPU 換上 HBF 之後 matrix multiplication 突然快兩倍。 真正發生的是，memory capacity 改變了 workload 怎麼被切割。 原本八張 HBM GPU 必須共同承擔一個巨大的 memory footprint，模型被迫跨 GPU 分散，GPU 之間還需要搬資料、同步、做 tensor/model parallel。 HBF 把單 GPU memory pool 拉到 TB 級之後，很多原本為了「塞下模型」而存在的 GPU partitioning 可以被拿掉。 GPU 終於比較像是在買 compute，而不是買昂貴的 HBM 擴充卡。 所以我反而會把 SanDisk 的數字寫成： HBF 沒有讓一張 GPU 算得快兩倍；它讓同樣的 inference throughput，只需要一半的 GPU。 這兩句話看起來很像，經濟意義卻完全不同。 前者是一個 memory benchmark。 後者是在談 AI Factory 的資本效率。 如果四張 accelerator 可以完成過去八張 accelerator 的工作，那被影響的就不只是 memory BOM。 GPU 數量、server 數量、NVLink / scale-up fabric、NIC、switch、power delivery、液冷、機櫃空間，甚至整個 data center 的 MW / token 都可能一起往下走。 這也是為什麼 SanDisk 現在一直講 token economics，而不只是 NAND ASP。官方在最新 HBF 規格公告裡，也把目標直接寫成改善 inference 的 power、performance 與 total cost of ownership。 而對我來說，這才是 HBF 對 SNDK 最大的想像空間。 以前 NAND 在 AI infrastructure 裡的位置很清楚： GPU → HBM → DRAM → SSD → storage。 離 compute 越遠，價值密度越低。 SanDisk 現在想做的，其實是在這個 hierarchy 裡硬插一層： GPU → HBM / HBF → DRAM / SSD。 SK hynix 自己也直接把 HBF 定義成位於 HBM 與 SSD 之間的新 memory layer，而 SanDisk 的 OCP 規格更明確談到 HBF 與 HBM 可以 coexist。 這點很重要。 我不認為最合理的 bull case 是： HBF 把 HBM 幹掉。 HBM 的 latency、write characteristics，以及真正需要極低延遲反覆讀寫的 hot data，依然有很強的物理優勢。 更合理的架構反而可能是： 最熱的 activation、KV cache 留在 HBM； 大量 model weights、較冷的 KV、agent state，以及那些「需要非常大容量、但不需要每一個 byte 都享受 HBM latency」的東西，逐漸搬到 HBF。 這樣反而更麻煩。 因為如果 HBF 真的成立，SanDisk 搶的並不只是 SSD 裡面多幾顆 NAND。 它是在嘗試讓 NAND 向 compute 靠近一層。 從 storage media，變成 accelerator architecture 裡的一部分。 這會直接改變 NAND 的價值量。 不過現在也不能把這張 simulation graph 當成產品已經完成。 目前我們看到的是 simulation + technical specification + ecosystem building，不是 NVIDIA/AMD production GPU 上的大規模實機 benchmark。 2026 年 8 月公開的第一版 HBF standard 已經定義了 xPU-HBF interface、electrical、packaging、reliability 與 software I/O，而且 Google、Tenstorrent 已經參與標準制定；這代表它已經從 SanDisk 自己的 PowerPoint 往 ecosystem standard 前進了一步，但距離 hyperscaler 大規模 deployment 還有一段 execution 要證明。 所以我現在看 HBF，最重要的 observation 不是： 「哇，NAND 比 HBM 快了。」 而是： AI inference 開始出現 memory capacity 和 compute capacity 的錯配。 過去解決這個錯配的方法，是繼續塞更多昂貴的 HBM，或者乾脆再買更多 GPU。 SanDisk 現在提出第三條路： 不要為了 memory 去買 compute。 如果這條路最後真的走通，那「4 張 HBF GPU = 8 張 HBM GPU」就不只是一張漂亮的 Investor Day benchmark。 它代表的可能是一件更大的事： AI Factory 下一輪優化，不一定是讓 GPU 更快，而是讓每一顆已經買下來的 GPU，不再因為記憶體不夠而被浪費。 而如果 NAND 可以做到這件事，那市場最後要重新估的，就不只是 HBF 能賣多少。 而是： NAND 到底還是不是 storage。