360°マイクによるAmbisonicsの検証と活用方法の模索

はじめに

この記事は KLab Creative Advent Calendar 2019 の23日目の記事になります。

こんにちは、KLabでサウンドを担当しています カトゥーン です。

近年、360°映像やVRの普及によりAmbisonics(アンビソニックス)を使用した立体音響がとても注目を集めています。そこで、サウンドチームでもAmbisonicsを使用した立体音響のあれこれを検証してみました!!

Ambisonicsの検証用に『ZOOM H3-VR』を導入。

今回はAmbisonicsを収録し、本体でそのまま再生することができ、
そして、専用のソフトウェアを使用すれば、ステレオやバイノーラル、5.1chサラウンドに変換してしまえる! ...と噂のZOOM社から発売されている『H3-VR』を 導入してみました!

このH3-VRは、4つのVRマイクを搭載して 360°全方位の録音が可能になっています。image15image14

従来であれば、Ambisonicsを収録後、様々な変換作業の後にようやく立体的な音響が聴けるようになるようなのですが、H3-VRは録音してすぐに本体から直接Ambisonicsの再生ができるので、録りたての立体音響を聴くことが出来とのこと!

そんな便利で高性能なH3-VRを使用して、以下の3つの事に挑戦してみました!!

~挑戦してみた~

  • H3-VRで実際にAmbisonicsを収録してみた。

  • ZOOM Ambisonics Playerを使用したAmbisonicsの再生と編集をしてみた。

  • H3-VRを使用したAmbisonicsデータのゲーム導入検証をしてみた。

挑戦 - 1 -

H3-VRで実際にAmbisonicsを収録してみた。

さっそく、H3-VRを使用して実際にAmbisonicsで音を取ってきました。image17image19

機材は、こんな感じで一脚にH3-VRを固定したバージョンと、映像用としてのカメラの上にH3-VRを装着したバージョンの2つで検証。

H3-VRは、収録する際に角度を設定できるので、マイク部分を下にしても問題なく録音出来ます。

録音時は、マイク端子から直接音を聴くことが出来ますが、ステレオ/バイノーラルでのリファレンスとなってしまうため、Ambisonicsで聴く際はデータ保存後に聴くのがお勧めです。

録音後に再生するとしっかりと立体的な音が録れており、感動しました!
また、このH3-VRを回したり、傾けたりすると...なんと、音の定位が変わっていきます!!

本体をクルクルと回転させると、まるで自分の周りで音が回転しているかのような感覚に...

image16image18

このH3-VRには、『電子水準器』が内蔵されている為、この様な面白い再生方法が実現出来ました! 他にも水平方向に対してマイクの定位確認が出来てとても便利でした。

挑戦 - 2 -

ZOOM Ambisonics Playerを使用したAmbisonicsの再生と編集をしてみた。

収録した後は、取り込む作業!...という事で、ここからはH3-VRで録音したAmbisonicsやバイノーラルデータをパソコンに取り込み、確認・編集の工程に進みたいと思います。

H3-VRをUSBモードにし、PCへ録音データを移したら Zoom がサポートしている『ZOOM Ambisonics Player』を起動し、取り込んだAmbisonicsデータを呼び出します。

image12

Ambisonicsデータを呼び出すと、この様な画面が出てくるので大きく表示されている球体を見ると、Ambisonicsを実感する事ができます。
ステレオだけではなく、バイノーラルや5.1chへの対応もされているのがとても興味深いです...。

色々録ったけど...ここだけ使いたいな!となった場合でもAmbisonicsPlayerの中で使いたい場所だけを選択してカットすることが出来るので、編集作業も簡単にできました。

編集を終え、使用したい場所を選択し、『EXPORT』からAmbisonicsを書き出すことが出来きるので、書き出してみました。

次に、書き出しを行ったデータがAmbisonicsから各フォーマットへ変換されAmbisonics以外で面白いことが出来ないか検証したいと思い、一緒に撮影した映像と合わせてみようと思います!

まず、バイノーラルの設定で書き出したAmbisonicsのデータを映像ソフト上で、確認しタイミングを合わせます。
image13

波形が挿入されたのを確認出来たので、カットなど編集作業の後、書き出しを行います。

レンダリングされた映像を聴いてみると、しっかりとバイノーラルの臨場感があり、その場にいる様なサウンドで聴くことが出来ました!!

今後は、5.1chサラウンドの設定などで動画を作り、5つのスピーカーからより臨場感を演出するサウンドと映像を作ってみたいと思います。

また、上記で制作した動画はこちらです!!

挑戦 - 3 -

H3-VRを使用したAmbisonicsデータのゲーム導入検証をしてみた。

さて、Ambisonicsのゲーム内実装を想定した検証もしてみましょう。
WwiseにAmbisonicsを実装する場合、FuMaまたは、AmbiXという録音モードで録音したデータを使用します。

インポートは、通常のオーディオファイルと同じように行います...。
新しくインポートしたAmbisonicsデータを Source Editor 上で確認すると波形がL / R / SL / SR と4つになっており、4ch Ambisonicsデータとしてインポートされたことが確認できました!!

image7

従来のこういった録音の場合、Ambisonics録音の多くはフォーマット「Ambisonics A」となっており、Wwiseやその他のゲームエンジンには対応しておらず...。

その為、DAWやソフトウェアなどを使用し Ambisonics B もしくは、FuMa に変換する必要がありました。

しかし、H3-VRを使用して録音すれば、録音の段階でWwiseやゲームエンジンに対応したAmbiXフォーマット、FuMaフォーマットに設定できるので、変換をする手間が大幅に省く事ができる事が大きな利点だと感じました。

~まとめ~

H3-VRを使用することで、今までとても大変で技術のいると思っていたAmbisonicsによる立体音響がより身近に感じられるようになりました。

とてもスムーズに収録ができ、収録したファイルの取り扱いも時間をかけずに管理することが出来るので、立体音響の研究機材として導入がし易く、扱いやすいです。

今後、こういった商品が普及することで商業だけではなくインディーズや教育の現場でもVRサウンドや立体音響が身近に作成、触れられる環境が出来れば良いなと感じました。

私も今後、H3-VRを使用した面白い事を沢山試していきたいです。

そしてゆくゆくは、旅行をした場所でAmbisonicsを録音し、VRサウンドとしてOculusやVIVEといったVRヘッドセット上で仮想的に音響旅行が出来る仕組みを構築して、ビデオブログではなく、VRサウンドブログなる物を開設してみたいです!

皆さんもAmbisonicsを使用した立体音響を是非試してみて下さいね!!

このブログについて

KLabのクリエイターがゲームを制作・運営で培った技術やノウハウを発信します。

おすすめ

合わせて読みたい

このブログについて

KLabのクリエイターがゲームを制作・運営で培った技術やノウハウを発信します。