Jerry Chi (ジェリー・チー)

1体のキャラクターから、音と完全に同期するキャラクターモーションVJ映像を作る検証をしました。 テーマは2つです。Opus 5.5がTripoの3DモデルとBlenderをどこまでコントロールできるか。そして、動画生成AI（Seedance 2.5）とコードの役割分担です。 ■ 00 前段：Kimi K3.1 Proでの別キャラクターテスト 最初は別のキャラクター（鬼のAKASHI）で、Kimi K3.1 Proに3DCGから音に同期した映像までを任せてみました。 3DCGは出てきたものの、音に合わせて動く映像までは作れず、この方法は失敗でした。 ここから、3Dモデルは専用のツールで作り、動かす部分をOpus 5.5に任せる形に切り替えています。 ■ 01 Tripoの3D × Blenderを、Opus 5.5でどこまで動かせるか キャラクター「IZANAMI」の3DモデルをTripoで用意し、Blenderへの取り込みから先をOpus 5.5に任せました。 ・ボーンを設定する（体と、頭から垂れる31本のケーブル） ・呼吸、腕の開き、ケーブルの揺れや慣性といった動きをつける ・カメラワーク、照明、目の発光を、曲に合わせて制御する これらをすべてスクリプトで組み、曲のキックやドロップにカットと動きを合わせた16秒の参照動画を作りました。 これをSeedanceに渡して、仕上がりの映像にしてもらう計画です。 ■ 02 Seedanceで分かったこと ・参照動画を入れると、カットも構図も動きもほぼそのままなぞる ・音との同期は成功。ただし、仕上がりの質は参照動画の質に引っぱられ、狙った水準には届かなかった ・参照動画を外し、静止画3枚と曲とプロンプトだけにすると、カメラワークも芝居も一気に良くなる ・その代わり、曲の拍とカットは合わない（今回は頭の約1秒が詰められていました） そこで「動きと画づくりはSeedance、音との同期はコード」と分けることにしました。 ■ 03 拍に合わせて時間を組み直す 曲の波形からキックの位置と強さを解析し、Seedanceの出力の中にある18か所のカットを検出しました。 映像の速度を部分的に変えて、ドロップ（7.64秒）、暗転（15.19秒）、最後の一撃（15.6秒）を曲にぴったり合わせ、カットのうち15か所を近くのキックに乗せています。 映像は音より1フレームだけ先に出しています。光が先に来る方が、人の目には合って見えるからです。 ■ 04 拍ごとの演出レイヤー キックの強さで演出を3段階に分け、直前に使ったものは避けて選ぶルールで、109個の演出を自動で割り当てました。 背景色ブロック（キャラクターをAIで切り抜いて、その背後に出す）、レーザー、同心円、火花、色調の切り替えなどです。 ■ 05 GLSLシェーダー キャラクターに乗る効果と、画面全体のゆがみの2本を書きました。 ネオンの輪郭、体をなめる走査光、輪郭から流れる粒子、5種類の背景図形、衝撃波、万華鏡、データモッシュ、ピクセルソートなどを、拍に合わせて84回切り替えています。 ■ 06 VJエディット（完成版） 03で拍に合わせた素材から、描画そのものを組み直しました。 ・全体を白黒にして、色が残るのは光る目と火の粉だけ ・描画方式を10種類用意し（1ビットのディザ、輪郭線、LEDドット、等高線、ピクセルストレッチ、銅版画の線など）、拍のたびに切り替えて90カット ・同じコマを繰り返すスタッター、時間をずらすスリットスキャン、時間差で並べる分割画面 ・特徴点を四角で追うトラッキング表示 ・最後の一撃で、初めてフルカラーが戻る ■ 役割分担 Seedance 2.5：キャラクターの動きと画づくり Claude Opus 5.5：Blenderでのボーン設定・動き・参照動画、音の解析、時間の再配置、切り抜き、演出、シェーダー、編集。スクリプトはすべてClaudeが作成 私：方向の判断と、各段階の中間レビュー 次は別のアプローチで、v2の検証を行います。 @claudeai @tripoai @Blender @dreamina_ai @BytedanceTalk @suno