KLabが展開する、AI VTuberが所属するVTuber事務所「ゆめかいろプロダクション」。その1期生であり AI VTuberの『ゆめみなな』が、2026年7月7日に初のオンライン3Dライブとして、「ゆめみなな生誕祭2026」を実施しました。非常に短期間かつ低コストでハイクオリティな演出を実現した裏側には、ある画期的な社内ツールの存在がありました。

今回は、メディア向け体験会で3Dライブの演出技術についてプレゼンを行った3Dデザイナー・田中さんの発表内容をもとに、映像制作の常識を覆す「半自動化ツール」の秘密に迫ります。

「ゆめみなな生誕祭2026」アーカイブはこちら

田中 典（たなか・つかさ）KLab株式会社 3Dデザイナー。

「ゆめかいろプロダクション」における3Dライブ演出技術の開発を主導。高度なエンジニアリング知識が求められる効率化ツールの開発を、AIを活用することで自ら実現し、大幅なコストと工数の削減を達成した。

3Dライブが抱える「時間・コスト・場所」の大きな壁

従来の3Dライブ制作は、莫大な時間とコストがかかるプロジェクトでした。通常、キャラクターやステージの3Dモデル制作には、1つあたり平均3〜4ヶ月の工数が必要です。今回のライブではキャラクター4体とステージ1つを用意する必要がありましたが、従来の手法では到底間に合わないスケジュールでした。

さらに、スタジオでの収録時には、リアルタイムでカメラのスイッチングやライティング、表情の操作を行うために多数の専門スタッフが稼働します。1時間の収録でも3〜4人のプロフェッショナルが同時に動く必要があり、結果として1回のライブ制作に500万円から数千万円ものコストがかかってしまうのが業界の課題でした。

加えて、タレントが必ずしも都内のスタジオに来られるとは限らないという「場所・スケジュール」の制約も存在していました。

解決の鍵は「既存アプリの活用」と「演出の後付け」

これらの課題を解決するため、田中さんを中心とするチームは制作フローの抜本的な見直しを行いました。

まず、モデル制作においてはピクシブ社が提供する「VRoid Studio」をベース素材として活用し、MayaやUnityでブラッシュアップを行うことで工数を大幅に削減しました。

また、モーションについては「モーションのみをスタジオで事前収録する」という形式を採用することで、タレントが1箇所に集まる必要性をなくし、スケジュールの制約をクリアしました。

そして、最大のボトルネックとなっていた「ライティング」「カメラワーク」「表情付け」については、独自開発の「半自動化ツール」を導入し、モーション以外の演出を完全に"後付け"するという画期的な手法をとりました。

楽曲を解析して演出を作る「カメラ＆ライティングツール」

今回のメイン機能とも言えるのが、楽曲データをもとに演出を自動生成するツールです。

1. カメラワークの自動生成と「ガチャ」機能

楽曲のBPMや曲の盛り上がり（ピーク）をシステムが自動解析し、タイムライン上にカメラ切り替えのマーカーを自動配置します。マーカーには「あおり」や「左右」といったアングルや動きの情報が組み込まれており、これにより1発でベースとなるカメラワークが完成します。

さらに、気に入らないカットがあれば、ワンクリックで別のアングルや動きをランダムで再設定できる「カメラアングルガチャ」「モーションガチャ」機能を実装。

カメラがキャラクターに近づきすぎてめり込まないようにする「パーソナルスペース（当たり判定）機能」や、カメラの動きをスムーズに繋ぐ機能も備わっており、誰でも簡単にプロ並みのカメラワークを作成できるようになっています。

2. 楽器の音を抽出して連動するライティング

カメラ同様、楽曲からドラムやスネア、シンバルといった特定の楽器の音を抽出し、そのリズムに連動して自動的にライトを明滅させる仕組みを構築しました。

さらに、ストロボやムービングライトといった照明機材グループごとに、「内から外へ広がる」「右から左へ流れる」といった異なる動きの指令を与えることも可能で、リッチな空間演出を実現しています。

3. 音声解析によるリップシンクと表情付け

収録した音声（フォルマント）を解析し、どの母音を発しているかを推測して自動でリップシンクのアニメーションを生成します。

表情については、楽曲を聴きながらテンキーを押すだけで直感的に「喜怒哀楽」を切り替えられるツールを作成し、作業の効率化を図りました。

リッチな表現を軽くする「専用シェーダー」と「作業効率化」

演出ツールに加えて、絵作りのクオリティを担保しつつPCへの負荷を極限まで下げる技術も多数盛り込まれました。

• 軽量化された最先端エフェクト： ゲームで流行している「ボリュメトリックライト（霧のように光を拡散させ、光の中に入ってもモデルが貫通しない表現）」や、光が滲む「ブルーム効果」を、ライブ用に軽量化して実装。強く発光している部分に十字に光が伸びる独自シェーダーで、よりアニメ調の表現を追求しました。
• 「後乗せ」のキャラクターシェーダー： アニメ調の綺麗な影や、輪郭を光らせるリムライトを表現するシェーダーは、キャラクターモデル本体に組み込むのではなく「後乗せのポストエフェクト」として作られています。これにより、将来的に外部コラボで他社のモデルをお借りした際にも、同じ高品質な質感をコストをかけずに適用できるという大きな強みを持っています。
• 開発者に優しいスイッチツール： エフェクトがフル稼働しているとPCが重くなり作業が困難になるため、作業時は負荷の軽い「ワークモード」に一括で切り替えられるツールも実装。ノートPCでの長時間の開発にも耐えうる環境を構築しました。

まとめ：AI×デザイナーのアイデアが生む新時代の制作フロー

これらの工夫により、AIと独自ツールを連携させることで、ゼロから3Dライブをわずか3ヶ月で実現し、従来の手法の半分以下のコストと期間に抑えることに成功しました。

「これまでは効率化ツールの開発には高度なエンジニアリングスキルが必要で、デザイナーがアイデアを持っていても形にするのが困難でした。しかし、AIを活用することでそれが可能になりました」と田中さんは語ります。

VTuberのように短いスパンで多数の映像作品をアウトプットする必要がある現場において、この「AIと連携したツール開発」のノウハウは、今後のエンタメ制作における強力な武器となりそうです。

法人向け｜3Dライブ制作・演出技術に関するお問い合わせ

今回ご紹介した3Dライブ演出ツールや、AIを活用した映像制作・ライブ演出技術については、法人のお客様向けのご相談も承っています。

VTuberライブやバーチャルライブ、映像制作の効率化などをご検討の企業様は、お気軽にお問い合わせください。

▶ 法人向けお問い合わせはこちら

https://forms.gle/p4qqo51ujvG8CdfJ9

AIクリエイター募集

KLabでは、AIを活用した映画、動画、音楽、アニメ、キャラクター、ミュージックビデオなどのコンテンツ制作を行うAIクリエイター向け登録制度「KLab AI GUILD」を展開しています。登録クリエイターに対し、得意分野や志向に応じた制作案件を提供しています。

「ゆめかいろプロダクション」をはじめとしたAIによるコンテンツ制作の各分野において、プロフェッショナルとともに制作に取り組みたいクリエイターの参加を広く募集しています。

▶詳細・応募はこちら

KLab AI GUILD公式サイト：https://guild.ai-creative.klab.com