スマートフォン実機を使用したリアルタイムサウンドオーサリング環境

市販のDAW、波形編集アプリケーション、サウンドミドルウェア用オーサリングツールとスマートフォン、タブレット実機の組み合わせで、直接、音を確認出来たらサウンドデザイナーの確認作業の負荷を大幅に軽減できると考え、私が持ち合わせているソケット送受信のノウハウとリアルタイムオーディオストリーミング技術と組み合わせてオリジナルのASIOドライバー、Windows APOプラグインを基幹にしたサウンド製作環境を製作しました。
現在、KLabサウンドチームで運用を開始してます。

実機で確認するまでの工程

ゲーム用のサウンド製作では様々なDAW、波形編集、サウンドミドルウェアのオーサリングツール等を駆使して製作しますが、この工程で、PCのサウンドカード、オーディオ I/F等で再生する音と、スマートフォン実機で再生する音では、オーディオ出力のアンプ回路周辺、再生するスピーカー、イヤフォン等の環境の音響特性の差で下記のような調整作業のループが少なからず発生します。
 
1. DAW、波形編集アプリケーションでBGM、SE音声等の音源を制作
  音はUSB Audio I/Fで再生
2. MIDIデータ、波形等をサウンドミドルウェア用オーサリングツールに組み込んでエンコード、SE用加工等を行う
  音はUSB Audio I/Fで再生
3. サウンドミドルウェア用オーサリングツール上のデータを実機用のデータにエクスポート
4. スマートフォン実機のデバッグ環境、ゲーム本体に実機用のデータを組み込む
5. スマートフォン実機のスピーカー、ヘッドホンで確認した音とUSB Audio I/Fで調整した音の音質に無視できない差があった
6. 1.に戻ってやり直し
 
KLabのサウンドデザイナーはこの工程を踏んで、PC上で製作した音源データと実際にゲームに組み込む音源データとの間で遜色の無いクオリティを確保してゲームへの組み込みを進めていきます。

この作業の流れを軽減できれば、サウンドデザイナーの作業工程上の手間を大幅に減らせます。

工程の軽減

例えば、1.、2.の工程を以下の様に変更します。
 
1. DAW、波形編集アプリケーションでBGM、SE音声等の音源を制作
  音はUSB Audio I/Fで再生→音はiPhone実機、Android実機で再生
2. MIDIデータ、波形等をサウンドミドルウェア用オーサリングツールに組み込んでエンコード、SE用加工等を行う。
  音はUSB Audio I/Fで再生→音はiPhone実機、Android実機で再生
 
つまり、スマートフォン実機をWindows PCのサウンドカード、オーディオ I/F等の様に扱えるデバイスドライバが用意できれば、この工程が大きく改善できます。
 
具体的には、これを
blog001

こうしたい

Windowsドライバのみ対応しているアプリケーションの場合は
blog003

ASIOドライバにも対応しているアプリケーションの場合は
blog002

この様に工程を変えれば、スマートフォン実機上での音の確認にサウンドミドルウェア用の実機用のデータのエクスポート、実機への組み込みをする手間が省け、PCのサウンドオーサリングアプリケーションのみでストレスなく、音質の調整、別バージョンの音源のテスト等が出来るようになります。

KLab Sock Audio 開発キット & KLab ASIO Client Server Kit

KLab Sock Audio 開発キット & KLab ASIO Client Server KitではPCとスマートフォン実機をUSBケーブルで接続して疑似的にUSBオーディオ I/F化する事で、ここまで説明したスマートフォンに実機によるリアルタイム再生を実現しています。
 
将来のアップデートリリースでKLab ASIO Client Server Kitの機能をKLab Sock Audio 開発キットに統合して一つの環境に統合する予定です。  
 
参考情報
 
APOプラグイン
Steinberg ASIO SDK
 
furukawa-mi

このブログについて

KLabのゲーム開発・運用で培われた技術や挑戦とそのノウハウを発信します。

関連記事

このブログについて

KLabのゲーム開発・運用で培われた技術や挑戦とそのノウハウを発信します。