
Path tracing at 60 fps. A research project from @MeshyAI.
Joined November 2026
- Tweets45
- Following12
- Followers1.2K
- Likes73
Pinned Tweet
What if three.js could render beyond the limits of the browser?
Meet ThreeRT: a native JS runtime and hardware-accelerated real-time path tracer, bringing lifelike lighting to Three.js scenes on macOS, Windows, iOS, Android, and Steam Deck.
Fully open source 🧵
ThreeRT has one hard requirement: a GPU with ray tracing hardware.
That's a trade-off we chose on purpose. Here's what it buys, what it costs, and what happens on devices without it 👇
TLDR: real-time path tracing needs RT hardware. In return we get one lighting model, and nothing to bake or tune twice.
Try it on:
- Mac: M3 or later
- iPhone 15 Pro or later
- DX12 RT GPUs (RTX2070 or later)
- Steam Deck
- Snapdragon 8 Gen 2 class
threert.dev/download/
3
185
ThreeRT retweeted
このThreeRTを最初に紹介した際に勘違いがあったので改めて。
ThreeRTはThree.jsのプラグインや拡張ではありません。独立した、Rust製のネイティブなレンダリングエンジンです。ただしThree.jsのAPIと互換があり、Three.jsを使ったWeb用のシーンをそのまま移植できることが目指されています。
つまりWeb向けに作ったThree.js製のゲームを、デスクトップやスマホ向けではレイトレ活用のより高度な体験としてグレードアップする、といった組み立てを可能にします。
ThreeRTは名前の通りレイトレーシングレンダリングを提供します。それはソフトウェアによる研究レベルではなく、ハードウェアを使った実用的なものです。しかもゲームエンジンなどで現在主流の、ラスタライズと一部要素のレイトレを使うハイブリッド方式ではなく、フルピクセルの一次レイから使うレイトレです。
ただしそんな数のレイがまともに扱えるわけがないため、様々な工夫が行われています。
たとえば解像度。レイトレの対象となる「フルピクセル」は最終的なレンダリング解像度ではなく、あくまで内部解像度です。その結果が実解像度へアップスケーリングされます。
あるいはデノイザ。拡散と鏡面の反射を分けて扱い、過去フレーム情報も積極的に使って合成とアップスケーリングを行っています。
いわゆる”パストレーシング”も行えますが、ラディアンスキャッシュを積極的に使っています。つまりキャッシュヒットしなければ負荷は増大します。
こうした工夫で、プライマリのレイは内部解像度上本当にフルピクセルで飛ばしつつ、そのボリュームは抑え、一次レイ以降のデノイズやキャッシュで賢くアップスケーリングする、というレンダリングエンジンです。
まだ実際にネイティブで動作させるところまでは検証していませんが、公開された範囲ではこうした特徴がわかります。
Three.js製のゲームやツールはAIの登場以降膨大に増えています。一方でその商業化にはブラウザという環境の持つ制約が伴います。なんらかの方法でネイティブ化する際に、ThreeRTのようにネイティブならではの付加価値をより積極的に与えるアプローチは今後増えていくと考えています。
少なくともネイティブで遊べるリアルタイムレイトレレンダリングエンジンとしても中々面白そうなので、何かデモを作ってみたい。
ThreeRT retweeted
Tree.jsでのレイトレを実現するThreeRT、方式はUE5などと同様だろうなと思ってたら、フルピクセルのレイトレースらしい。とても面白そうなのでビデオとコードじっくり見て、威力確かめらそうなデモ作ってみよう。
We've been getting lots of curiosity (and good guesses!) about how ThreeRT works 🫶
So we made a video: from the hello-world triangle to path tracing, why engines like UE5 go hybrid, and how ThreeRT traces every pixel in real time 👇
Three.jsにレイトレ追加してくれるそうな。“real light”と言っても当然ゲームエンジン同様間引きレイトレなんだろうけど、デノイザとかどうしてるんだろう? なんかデモ作ってみよう。
そして面白いことにこれは3D生成の @MeshyAI との共同研究らしい。確かに映えるWebレンダラは3D生成で活きるな。
An underwater world built with ThreeRT! Looking forward to seeing it grow even more vibrant 🫶
Isn't this cute?? Based on github repo ( in comments) by noniv and @ThreeRT3D. An exoplanet scenery with raytracing. You can run it in your phone or pc, demo link in comments too
ThreeRT retweeted
Hydrogen Medium + @ThreeRT3D, ~20m
ThreeRT is open source under MIT license.
The indoor scene with dynamic lighting can be directly opened from Safari, jumping in the ThreeRT client and load just-in-time.
Supports iPhone 15 Pro and later, TestFlight available now 👇
Try ThreeRT iOS client on TestFlight:
testflight.apple.com/join/tx…
1
596
Visit GitHub to see our development progress:
github.com/meshy-dev/ThreeRT
4
181
ThreeRT retweeted
Coding agents have empowered everyone to create interactive content, and the web will be one of the best places to share it. Let’s push the limits of real-time graphics in the browser! 🚀
ThreeRT retweeted
This would revolutionize the whole code-to-visual industry!
ThreeRT supports rendering 10M triangles and 1M lights in realtime dynamically, which costs 60GB RAM on M3 Max. Browser sandbox prevents aggressive RAM usage but we can make full use of it.
Advanced features like LOD steaming is on the way, please stay tuned!
ThreeRT retweeted
これはすごい!ソフトウエアの新しい選択肢になりそう!
ThreeRT retweeted
ThreeRT is: pretty cool:
ThreeRT retweeted
实际上,ThreeRT 最早就是设计用来改善 coding agent 在云端沙盒环境中游戏创作效果的 infra。
现在很多创作者做出的游戏极其惊艳,但它们基本都强依赖安装了 claude code、Blender、UE 等软件且带有强 GPU 的本地环境,硬件价格和环境配给复杂度都不菲。如果直接挪到 CF worker 级别的 serverless 环境中,效果会差很多。
这里最大问题有两个。首先,如果沙盒里没有 GPU,那么 agent 创作中的抓帧会回退到软渲染,给 shader 随便加点料就容易卡死,更不要说有些 agent 还喜欢批量抓帧了。我觉得这或许是 agent 写不好 WebGPU 的根源,因为传统的 RL 沙盒环境可能无法提供足够好的 framebuffer readback 反馈,改 shader 哪里写错一点直接黑屏就没意思了对吧。而 three.js 至少为简单场景封装调优过,更开箱即用友好一些不容易炸。
其次,如果直接暴力上 GPU 机器,那么为每位用户提供独占云端实例的成本会极高,且其中 UE 不仅体积庞大冷启动极慢,稳定性也相当差,同样是卡死大户,且还有潜在许可证问题。这些都让我认为基于传统图形引擎,无法实现 3D 内容创作的民主化。
所以,ThreeRT 最初是针对这些痛点设计的一个适合提供 serverless GPU 渲染服务的渲染器。我希望 3D 内容创作的 agent loop 跑在 CF worker 上,抓帧时直接 RPC 请求部署到类似 Modal 上的 ThreeRT 渲染服务即可。只不过在将优化这种架构的性能的过程中,我发现 Opus 已经超出预期地做到了实时全路径追踪(UE 的 Lumen 还是混合了光栅化和光追的架构,非常庞大而复杂),于是我们决定将这部分先抽离出来开源。
在 ThreeRT 架构路线中,业务逻辑几乎完全不需要考虑 WebGPU 的管线配置,只需要定义好场景,光照直接被渲染器解决,把这个事情交给我们在主干持续维护调优即可。
在这种技术路线设计下,相比现在 UE 编辑器 100GB 的体量,ThreeRT 的 macOS 客户端只有 30MB。当然了你也可以说人家一整个引擎和大编辑器来对比渲染器不公平是吧?我只想说蓝图都已经被 UE 官方淘汰了,我们以后真的还需要传统编辑器吗?适应 Fable 级生产力的新的编辑器形态应该是怎样的?一切才刚刚开始而已,也欢迎在 GitHub 上关注我们的进展!
github.com/meshy-dev/ThreeRT
ThreeRT grew from @pocket_js Pocket3D: static three.js compilation for console rasterizers.
With @MeshyAI's team, we bet on ray tracing + a React Native-like JS runtime. It paid off.
Thanks @YuanmingH for the room to explore, more soon! Feedback:
github.com/meshy-dev/ThreeRT
And now ThreeRT apps live here: play them, play together online, publish your own, and claim your own name dot threert dot app.
Welcome to build with us!
threert.app
1
18
3,169



















