Daiki Shiono (@onely7_deep) header
Daiki Shiono (@onely7_deep) profile picture

D3 @tohoku_nlp | Visiting Research Student @cambridgenlp | Interests: V&L/NLP On the job market 💼 (共著) 📘マルチモーダルモデル入門 https://nitter.cf/t.co/3sJgTniF2s

Cambridge, England
Joined October 2018
Photo by Daiki Shiono (@onely7_deep)Photo by Daiki Shiono (@onely7_deep)Photo by Daiki Shiono (@onely7_deep)Photo by Daiki Shiono (@onely7_deep)Photo by Daiki Shiono (@onely7_deep)Photo by Daiki Shiono (@onely7_deep)Photo by Daiki Shiono (@onely7_deep)Photo by Daiki Shiono (@onely7_deep)
ありがたいことに、錚々たる著者陣の中に、若輩ながら加えていただきました。 大規模視覚言語モデル (LVLM) の章を担当しています。 LVLM が画像をどのように扱い、どのように学習・評価されるのか、その全体像をつかんでいただける内容になっているかと思います。ぜひご一読ください!🙏
【新刊】2026年9月28日発売『マルチモーダルモデル入門』本体3,600円+税,栗田修平,品川政太朗,柳凜太郎,塩野大輝,高道慎之介,仁泉大輔,中村友彦,八木拓真,篠原崇之 著,コンピュータが世界を理解するしくみgihyo.jp/book/2026/978-4-297…
1
29
90
8,639
Daiki Shiono retweeted
弊社Kotoba Technologiesが音声AI最大手のElevenLabsに買収されることになりました! 自分自身は引き続き音声AIの研究開発&エンジニアリングをやっていくことになりそうです とっても楽しみ!!!!!!!!
Today, I’m incredibly excited to announce that Kotoba (@kotoba_tech) is joining ElevenLabs (@ElevenLabs) to push the boundaries of voice AI in Japan and East Asia. From day one, Kotoba’s mission has been to build world-class AI models and products from Japan that make a meaningful difference in people’s lives. I’m incredibly proud of what we’ve built over the past three and a half years—from our work on Agentforce and voice AI models powering products at major global companies to our collaboration with YOASOBI and the popular Kotoba translation app. In that time, we grew from two people to a team of 15 and raised more than $23 million, all while staying lean and focused on bringing our research into people’s hands. As proud as I am of what we’ve achieved, I’m even more excited about what we can accomplish with ElevenLabs. With Kotoba’s research talent and deep understanding of the region alongside ElevenLabs’ global leadership in voice AI, we’re building a true dream team! Voice AI is opening up new ways for people to interact with AI and connect across languages. People and businesses in Japan and East Asia deserve the very best of it—and we’re committed to delivering it. Together, we’re taking a major step toward building a frontier AI lab in Tokyo: developing world-class voice AI models for a global audience and accelerating localization to bring the best voice AI products to Japan and East Asia. A huge thank you to Mati (@mati) and Piotr(@dabkowski_piotr) for envisioning this partnership with us. And to the Kotoba team, our investors, partners, friends, and families—thank you for believing in us and supporting us over the past three and a half years. Chapter 2 starts now! Nori
17
27
335
12,702
皆が気になっていたであろう問いを、Meta, NYUが200超のモデルで検証してくれました。 これだけの条件を揃えた大規模比較はコスト的にもなかなか難しいので、大変貴重で価値のある知見だと思います。素晴らしい... LVLM においては、独立したエンコーダに拘らなくても良さそう、と考えを改めました!
how should multimodal models encode visual input? → pretrained encoder? → encoder-free? → before the LLM? published models bundle these choices together. we trained 200+ models from scratch to see which of these choices matters only one of them does 🧵 [1/n]
6
48
3,910
Daiki Shiono retweeted
how should multimodal models encode visual input? → pretrained encoder? → encoder-free? → before the LLM? published models bundle these choices together. we trained 200+ models from scratch to see which of these choices matters only one of them does 🧵 [1/n]
23
138
27
858
127,773
Daiki Shiono retweeted
4B Full-duplex baseモデルをapache 2.0で公開しました! 日英を中心に9か国語で話すことができます。 キャラクターやオペレーターなど、是非チューニングして遊んでいただければと思います!! blog: higurashi.ai/ja/haru4b/ Tech blog: blog.higurashi.ai/melte/haru… huggingface: huggingface.co/higurashi-ai/…
【人間のように、自然に笑い、相槌を打つ「人間らしいAI」】 4BのFull-duplex音声対話モデルを4,000万時間の日本語、英語を含む多言語データで事前学習し、オープンウェイトで公開しました! 弊社のオープンモデルを用いて、開発者の方々と一緒に未来を切り開ければと思います
55
2
294
12,970
Daiki Shiono retweeted
#NeurIPS2026 What does projector training actually do in multimodal LLMs and can we skip it while retaining most downstream performance? We investigate its role and find that it mainly provides coarse alignment. This insight led us to PORTAL 🌀: a training-free projector initialization requiring no paired captions and no gradient updates. Skip projector training stage entirely, then proceed with multimodal instruction tuning. Across 16 benchmarks, PORTAL 🌀: • Beats the standard 558k-pair pipeline in 3 of 7 model configurations. • Reaches an average 98% of its score in the other four. • With a little projector training, matches the baseline with 135x fewer alignment FLOPs. Proud of my students @FabianGroger, Naël Ouerghemi and @ShuoWen18 for this work! Paper: arxiv.org/abs/2610.18598 Webpage: brbiclab.epfl.ch/projects/po… Code: github.com/mlbio-epfl/PORTAL
2
17
2
71
6,257
Daiki Shiono retweeted
書きました 『AI が何でも教えてくれる時代に、教科書を書いてしまった 』 ryokan0123.github.io/ja/blog…
1
32
4
141
12,469
マルチモーダルモデル入門、発売されました!マルチモーダル基盤モデルに関わる全人類におすすめしますので、週末の読書にぜひお買い求めください🙏
4
24
1,224
今、QueeenBでかなり力を入れているのが、研究者の実験手技をロボットに学習させるところです。 人の動きを見て、双腕ロボットが実験操作を学ぶ。 将来的には、実験が変わるたびに全部プログラミングし直すのではなく、データからどんどん動作を学べるようにしたいと思っています。 このあたりを一緒に作るAI・機械学習エンジニアを募集中です! ロボット × 実験自動化、面白そうと思った方ぜひ! queeen-b.com/careers/ai-ml-e…
6
18
2,228
Daiki Shiono retweeted
Acompany、東北大学言語AI研究センターと共同研究を開始しました。 東北大学の鈴木潤先生を始めとする皆様が持つ言語AIの知見をお借りして、AIエージェントの振る舞いの安全性・信頼性について技術を深めてまいります。 本共同研究を通して、「秘密を守れるAI」の実現を加速してまいります。
6
18
1,543
最近 @Masakichi333210 が取り組んでいる自然言語指示に従うE2E自動運転モデルです!完全自動運転では、単に公道を目的地に向かって走るだけでなく、私有地や駐車場での振る舞いを含むあらゆる動作を実現する必要があります。自然言語指示はそのための柔軟なインターフェースとなると期待しています!
【走行実験公開】人間の言うことを聞く「自然言語指示モデル」 「駐車場に入って」「発進してください」「前の車を追い越して」。 人間の言葉による指示で車を動かす、チューリングの自然言語指示モデルの実験風景を公開しました。 ▼全編動画はこちら youtu.be/LajfAYAL-Sw
5
25
1,895
Daiki Shiono retweeted
『マルチモーダルモデル入門』を頂きました。 先日発売したばかりの注目の一冊です。 視覚言語に始まり、音声、動画、三次元、と様々なメディアを扱う最新技術が詰まっています。 もくもく読んで復習していきます!
5
16
1,530
Daiki Shiono retweeted
マルチモーダルモデル入門が届いた。基本のLLaVAはもちろん、音や動画、3Dまで網羅した日本語の本はこれだけしかないと思うので、これから研究開発する人はとりあえずこれを読めば良いという気持ちになった。
1
30
1
159
9,868
本日発売の「マルチモーダルモデル入門」をお贈りいただきました。 TransformerとLLMの知識を足場に、視覚-言語などマルチモーダルモデルの構造、性能を左右する学習要素、トークンの内部分析、ベンチマークや自動評価までを体系的に学べます。音声・動画・3Dにも広がる、実務としても頼れる一冊です
1
10
41
4,932
Daiki Shiono retweeted
マルチモーダル入門の著者献本を受け取りました🥳 #マルチモーダルモデル入門
4
31
2,152
9/14テスト販売『#マルチモーダルモデル入門』#技術評論社 (9784297158361)#栗田修平 #品川政太朗 #柳凜太郎 #塩野大輝 #高道慎之介 #仁泉大輔 ほか著 ◆「#人工知能」棚にて展開中!画像や音声、動画など複数の異なるデータを扱う #マルチモーダルモデル の基礎知識からその仕組みまで体系的に解説!
11
54
2,979
マルチモーダル入門の著者献本が届きました!紛れもなく鈍器ですありがとうございます #マルチモーダルモデル入門
38
4
345
17,830
Daiki Shiono retweeted
“Read or Ignore?” — our work on typographic-attack robustness in VLMs is coming to #ECCV2026 @eccvconf! 👀 🗓 Sep. 10, 10:30 AM CET 📌 MalmoMassan, Exhibit Hall — Poster #387 🖼️ Poster Session 1 If you’re interested in VLM robustness, please stop by! 🇯🇵
5
18
2,500
チューリング、9/8~9/12にスウェーデンで開催されるECCV2026で、1件の発表を予定しています。 VLMは紛らわしい看板/標示にだまされやすいのですが、「読むべき」と「無視すべき」文字を同じ画像で評価することで、新しい評価と改善を実現した研究です arxiv.org/abs/2512.11899
1
10
1
71
8,375