キヤノンとバルスが先進の映像技術で連携　リアルとバーチャルのアーティストが次元を超えて共演！

2023年07月31日

キヤノン株式会社（以下「キヤノン」）とバルス株式会社（以下「バルス」）は、2023年7月29日に開催された日本テレビ放送網株式会社と株式会社ClaN Entertainmentが主催の「バズリズム LIVE V 2023」において技術協力を行い、リアルアーティストとバーチャルアーティストが同一空間でコラボレーションする、ボリュメトリック生配信ライブを実現しました。

キヤノンが開発した「ボリュメトリックビデオ技術」とは、100台規模のカメラで撮影した画像から、3Dデータを生成する技術です。撮影した空間内を、まるで透明のカメラ付きドローン（通称：仮想カメラ）で撮影しているかのような、360度自由な視点での映像制作が可能です。広範な撮影エリアをリアルタイムに映像生成することができるキヤノンならではの特長を生かして、スポーツやエンターテインメント分野を中心に幅広く活用されています。

一方、バルスが提供している「バーチャルライブ技術」とは、ゲームエンジンであるUnityを用いて自社開発したシステムで、リアルタイムに３DCGライブを行う技術です。3D空間を数十台のバーチャルカメラで撮影、リアルタイムにスイッチングし、システム内で完結したライブ配信映像の制作が可能なほか、外部機器との連動を行い、現地会場で各演出と同期したライブを実現します。

これら先進の映像技術を組み合わせることにより、今回のイベントにおいて、リアルとバーチャルを融合した新たな映像体験サービスを提供しました。具体的には、キヤノンが実在のアーティストをボリュメトリックビデオシステムでリアルタイムに撮影・3Dデータ生成を行うと同時に、バルスもモーションキャプチャによってVTuberと呼ばれるバーチャルアーティストを生成します。それぞれの3Dデータをバルスのバーチャルライブシステムに取り込み、瞬時に結合することで、リアルとバーチャルのアーティストを同じCG空間上に時差なく登場させることが可能です。これにより、CGならではの自由なカメラワークと空間演出を生かしながら、アーティスト同士が次元を超えて息の合ったパフォーマンスを繰り広げる、没入感の高い音楽ライブの配信を実現しました。

■キヤノン株式会社コメント

キヤノンのボリュメトリックビデオシステムの特長は、実在の被写体をリアルタイムに仮想空間に登場させられることです。今回のバルスとの協業による取り組みは、ボリュメトリックビデオの提供価値を最大限引き出し貢献することのできた、象徴的な機会となりました。

技術的には、高品質な3Dデータをバルスのバーチャルライブシステムにリアルタイムに送出するために、仮想カメラの位置に応じてアーティストの色や質感といったテクスチャデータを適切に貼り付ける点で工夫を行いました。これにより、同一空間内に実在のアーティストとバーチャルアーティストが違和感なく共演する、新たな映像表現を確立することができました。

今後も、ボリュメトリックビデオ技術のさらなる進化と活用分野の拡大を図るとともに、映像体験価値の向上を追求していきます。

■バルス株式会社コメント

バルスは普段バーチャルアーティストのライブを数多く制作していますが、今回そのバーチャルライブシステムにキヤノンのボリュメトリックビデオ技術をどれだけ自然に融合させられるかが課題でした。

キヤノンのボリュメトリックビデオ技術とバルスのバーチャルライブシステムが時差なく同期するよう設計を行い、視聴者がより違和感なく没入できるよう、CG上でリアルアーティストにも当たる照明やスモーク演出などの調整が様々なアプローチで行えるシステムを開発いたしました。
さらに60台を超えるバーチャルカメラにより、リアルとバーチャルが共存したステージをバーチャルならではのカメラワークで魅力的にお届けできたと思います。

バルスは今後も様々な企業と連携し、これまでにない先進的な取り組みを図っていきます。