画像生成に興味がある九大D3 / バイオ&医療AIにも興味あり/ 視覚若手の会LENS (@lens_kousiki) PhD student of Kyushu University / Medical imaging, Generative Model
Joined April 2021
- Tweets3.5K
- Following2.1K
- Followers1.1K
- Likes23.5K
Understanding the Limits of Latent World Models
TL;DR: High task performance does not guarantee accurate world models. The paper introduces Latent Rollout Consistency (LRC) and shows how missing velocity information and nonlinear observations impair dynamics prediction.
arxiv.org/abs/2610.37588
Scaling Transformer Energy-based Models For High Quality Image Synthesis
TL;DR: Introduces Transformer Energy-Based Models (TEM) with multi-layer energy extraction and positive representation alignment. Achieves 3.82 FID on ImageNet 256×256, enabling high-quality image synthesis and flexible compositional generation.
arxiv.org/abs/2610.31889
Shumpei Takezaki retweeted
本日、CBI学会のフォーカスドセッションで発表した「幾何学的深層学習入門」のスライドを公開しました。特に理解のしづらい回転同変ネットワークについて、自分なりの理解でかみ砕いて説明するように工夫してみました（p22～24）。
speakerdeck.com/taniai/kikag…
Shumpei Takezaki retweeted
Diffusion models create novel images, but they can also memorize samples from the training set. How do they blend stored features to synthesize novel patterns? Our work in @NatureComms shows that diffusion models behave like Dense Associative Memory. Specifically, we identified three computational phases: memorization, generalization, and spurious pattern generation. The third computational phase, spurious patterns, is the hallmark of associative memory that appears alongside memorized and generalized samples. We characterized all three states using basins of attraction and curvature measurements, extending our analysis to Stable Diffusion.
The work is done in collaboration with @gaboraya, @Matteo, @mj_zaki, @LucaAmb, @DimaKrotov.
Here is the link to the paper: nature.com/articles/s41467-0…
Ty to @IBM and @rpi for the funding.
SpeeDiff: Scalable Pixel-Anchored End-to-End Latent Diffusion Model
TL;DR: Jointly trains a VAE and diffusion model from scratch. A pixel reconstruction loss on denoised latents prevents latent collapse, achieving FID 1.50 on ImageNet 256×256 without guidance.
arxiv.org/abs/2610.36419
Visual Autoregressive Generation with Next Token Imagination
TL;DR: NTI trains visual AR models on plausible alternatives to ground-truth tokens using context-aware soft targets. ImageNet FID improves from 3.02 to 1.67 with ~10% training overhead and unchanged inference.
arxiv.org/abs/2610.36793
Shumpei Takezaki retweeted
🤖 𝐒𝐒𝐈𝐎: 𝐒𝐞𝐥𝐟-𝐒𝐮𝐩𝐞𝐫𝐯𝐢𝐬𝐞𝐝 𝐈𝐧𝐞𝐫𝐭𝐢𝐚𝐥 𝐎𝐝𝐨𝐦𝐞𝐭𝐫𝐲
Since the first learned inertial odometry 10 years ago, every method has needed ground-truth labels.
It doesn't have to: SSIO learns from raw IMU, fully self-supervised 🧵👇
ssio-imu.github.io
Representing the Unseen: Rethinking Visual Imagination for Spatial Reasoning
TL;DR: Accurate imagined RGB does not guarantee better spatial reasoning. Depth, panoramas, and top-down maps offer complementary cues. GEARS improves reasoning by adaptively selecting evidence.
arxiv.org/abs/2610.37437
Learning and Reasoning with Geometry: How Generation Helps Spatial Understanding
TL;DR: GeoUG learns spatial understanding through geometric generation, then selectively generates depth to verify draft answers, cutting generation calls by 28–50% with near-always-generate accuracy.
arxiv.org/abs/2610.36022
Shumpei Takezaki retweeted
Can we predict memorization, generalization, and sample quality in diffusion models by measuring how much their generated samples depend on the training dataset?
In our new paper, we introduce an information-theoretic perspective and uncover a predictive scaling law. 🧵
Shumpei Takezaki retweeted
Tired of waiting for your diffusion models?
🚢 We just shipped a major FastGen update:
- new models: H3, LTX-2.5, LingBot-World, Cosmos 3, FLUX.2
- new methods: PDD, AYF, AnyFlow, Causal Forcing
- new features: multimodal distillation, image editing, camera conditioning, KV cache management, ComfyUI
🔗 Try it out here: github.com/NVlabs/fastgen
Shumpei Takezaki retweeted
LSTMやGRUのようなゲート機構を持った連想記憶ニューラルネットワーク(甘利ホップフィールド模型)を、統計物理の手法(動的平均場理論)で解析しました。
pnas.org/doi/10.1073/pnas.26…
Shumpei Takezaki retweeted
昨日LENSさんで、Kaggle初心者・これから始めたい方向けに「AIエージェント時代、Kaggleにどう取り組むか」というテーマでお話しさせていただきました。
私自身はAgentでコンペに出られていないので、ねぼすけAIさん・kinosukeさんの実践例を多く紹介させていただいています🙇
巻末にも参考記事・スライドをたくさん載せています。
平日夜にも関わらず、30人ほど集まっていて、素敵なコミュニティだなと思いました！！
せっかくなので資料公開しておきます！
speakerdeck.com/takanao/ai-e…
#LENS #Elith
本日午後7時からです〜！
Kaggleは三つくらいコンペに出て一回も勝てなかったので、勝ち方を教えてもらいたい笑
10/27(火) 19:00〜 📖 「AIエージェント時代、Kaggleにどう取り組むか」 🎤 高島直也(株式会社Elith CTO)
@2001_naoya_AI
Shumpei Takezaki retweeted
🚨 Excited to share our new paper “Representing the Unseen: Rethinking Visual Imagination for Spatial Reasoning”!
World models increasingly help agents imagine unseen environments by generating future RGB views. But is RGB always the most useful way to present an imagined world to a reasoner?
Not always. Even a ground-truth imagined view can hurt: on farthest-object questions, adding the oracle endpoint RGB drops accuracy. Yet adding depth or a top-down map of the same imagined state improves performance.
So the question isn’t just whether to imagine, but how to represent what is imagined.
We introduce：
🔹 IMAGIREP: A controlled benchmark that fixes the imagined state and question while varying the representation (RGB, depth, normals, panorama, top-down, text, video). Different questions benefit from different representations, and the benefit persists even when the state is estimated by a world model.
🔹 GEARS: A lightweight test-time strategy that selects when to trust imagined evidence and which representation to use.
➡️ Spatial imagination is more than generating views. World models should produce representations reasoners can actually use.
🧵👇
Shumpei Takezaki retweeted
Representing the Unseen
Rethinking Visual Imagination for Spatial Reasoning
paper: huggingface.co/papers/2610.3…
Shumpei Takezaki retweeted
MITの研究者らが、AI同士が言葉を使わず頭の中の状態を直接渡して通信する仕組みを作り「テレパシー」と名付けました。
文章でやり取りするより平均40%正確で4倍速かったといいます。
また「画像を見られるAI」が写真の内容を「テキストしか読めないAI」にテレパシーできるそうです。
写真の内容をテレパシーを受信した「テキストしか読めないAI」は、テキストで説明を渡されるよりも写真についての質問に正しく答えられたとのこと。
なお、別の会社のAI同士でもテレパシーできるようにしたのが今回の研究の一番の新規性のようです。
例：
Meta（Llama 3）→ Alibaba（Qwen 3）
Alibaba（Qwen 3）→ Google（Gemma 2）
Google（Gemma 3）→ IBM（Granite 3）
Google（Gemma 3）→ Meta（Llama 3）
Mistral AI（Ministral 3）→ Meta（Llama 3.2）
Google（Gemma 2）→ Mistral AI（Ministral 3）
IBM（Granite 3）→ Hugging Face（SmolLM3）
Shumpei Takezaki retweeted
arxivのこれと関係してそう。
Statistical Inference via Generative Models: Flow Matching and Causal Inference
arxiv.org/abs/2603.09009
ついに江口先生による初の邦書が！
生成AIの学習を高次元分布の学習と捉えて、因果推論とか密度比推定とかと接続してるんじゃないかな。めちゃくちゃ楽しみ。
kyoritsu-pub.co.jp/book/b102…
Shumpei Takezaki retweeted
新しい論文を出しました．
"Atom as an Agent: Emergent Order by Collective Predictive Coding"
arxiv.org/abs/2610.36673
言語創発のモデル（CPC：集合的予測符号化）を物理の秩序創発に応用した論文です．
原子を互いにコミュニケーションし推論するエージェントとみなし，原子同士の会話から創発する言語が秩序変数となると予想．
古典イジング系やスピングラスで実際に秩序が創発することを見ました．
京大情報学の谷口忠大さん@tanichu との共同研究です．#生成科学
Shumpei Takezaki retweeted
プレス出ました！日独研究を企業とも中心になってやっていきます！AI4Science周りでもこれから研究成果出せればと思います！
【リリース】
ZOZO NEXTとドイツ人工知能研究センター（DFKI）、AIで研究開発の各工程を自動化する共同研究を開始
〜 AIで研究をより広く・深く・速く。「ファッションの数値化」の加速を目指す 〜
zozonext.com/news/20261028_z…
