马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有帐号？快速注册
x
简述三种常见3D音频格式，及VR中Ambisonics格式的重要性
. e" I0 t2 H( \% ]4 e, B6 a- E4 ~; m! \1 i
) L5 R# k* q" @( J F: s$ r1 x3 l
6 [: t3 K+ N: e- O3D音频是为VR内容提供沉浸感和临场感的一个关键因素，所以我们有必要理解3D音频格式，以及它们对音频内容创建和渲染的应用。下面我们来看一下三种3D音频格式，并分析Ambisonics对VR音频的重要性。 l5 ]; C) Z- I
+ _% K; b! b2 u8 I5 b+ ~
2 u9 ]# f0 d. ^/ Y( u" V/ t9 E1 b) O0 |) D; k3 y- k
1 c- L3 k k! ^9 d
0 K, h k, [ J, N- a. k) P, ]& N$ ]+ T7 L7 k' k/ c
* T# e8 m0 _3 ]- M1. 多声道2 m6 v( C. o% V* V
J8 f0 R* @4 g% D5 W7 ]
6 }4 _+ B( h, b* c1 v9 h7 y4 j# w4 ?. ~6 c
在基于声道的声音表达中，信息单元是扬声器。每个声道与扬声器相关联，系统在几个扬声器上混合各种声道来实现声音表达。声道越多，空间音效感就越强。基于声道的声音表达是过去50年，甚至更久远时所采用的传统声音表达方式。立体声，5.1，7.1格式是基于声道的水平表示。通过增加额外的过顶扬声器可以实现3D，如11.1格式（在7.1声道的基础上再增加4个天花板扬声器）。
4 Q; ?* J8 \3 i" C% u# R4 i/ W
" e. ]/ X# G; h" w
- }" T6 b6 R& r* `7 x
0 I1 _: Z4 s4 V4 c0 Q/ |多声道音频表达的一个主要缺点是，它依赖于扬声器设置，并且每个设置类型需要一个混合，而基于Object和Ambisonics的内容则独立于扬声器设置。
* C% o( t# o; a3 i0 h! p
0 d t$ A$ Q) Q
p$ o6 e( \6 N3 O! ]: |$ J3 E; t7 L% [; ^/ C S$ ~2 N
2. 基于Object的声音表达; V" a1 {: O& X/ |
$ f5 y5 b/ l3 L: `
/ R" g7 Y- T3 H' z5 P) g& S
! [% O& T; O; Z' U8 g+ w; O在基于Object的声音表达中，信息单元是声源。场景由几个声源及有关其位置和渲染环境等信息组成。系统通过在用户位置计算所有声源的组合来实现3D音频渲染。但它同时需要使用大量的CPU资源。场景越复杂（声源数量）和越逼真（混响精度），需要的CPU资源就越多。
7 }. Y. e+ K: S- B7 i! e O: p
# ^ z" e0 {7 t4 Y n1 N) _
) i8 F. `: K/ A4 g6 X& Y4 F" V! u1 [7 e* t* @* \
3. Higher Order Ambisonics (HOA)- `; Y- }9 e, e+ P# D, K1 F) ~, ~
1 P4 [" }/ ^5 t: M4 d' e$ V) S: r% X% Q% A
, x: q) i5 K% P) [
与上述两种声音表达形式不同，Ambisonics格式不依赖于单个声源的描述，它能够再现用户位置的生成声场。我们将用于描述声场的数学形式称为球面调和函数，而信息单位则是球面表示的组分数（或阶数）。组分越多或者阶数越高，你获得的声场空间呈现精度就越高。
. q, W5 v; Q' a0 `6 n1 {: o; K8 G& e& C. r/ x1 u
- e+ E( I4 h! p; e$ T7 c/ V- p/ K& S$ I, s$ k1 O3 G* }4 t3 \
这并不是什么新概念，它在过去几十年间一直用于专业音效社区。他们将这种音域的独立表达称为B格式，而它实际上是第一阶的Higher Order Ambisonics。
6 C) G% U; o' k
# m) p% H& \) w8 @6 J% a
7 s8 Q) |( {( [, ?& I- ~! _- U9 _) U5 H d/ w" i8 {
* w3 Q! m- x9 _( R3 q
8 Q9 I" y5 l$ O2 A& Q$ H
3 s8 g- h$ z1 d5 A
. I& @# k' I8 M# r' ^+ }. o( h4. Ambisonics对VR而言是非常有吸引力的解决方案9 s A& |. [4 [5 ^1 N
$ t4 S: S5 O+ Q6 v5 q
" B+ t( S* m, j! ]$ @
& I- E* p0 Q7 U1 E: E) V谷歌和索尼等VR行业的主要厂商都在拥抱Higher Order Ambisonics（HBO）这个概念，并正在开发相应的商业应用，如将HOA作为默认音频格式的YouTube360。这种选择的背后存在几个原因，最重要的是以下几点：
7 i, k. ~# r8 E3 p3 k% \' G1 R, V! A% t5 E% {. V& W3 p
: \; k+ M( U5 o
u9 K8 T2 i, e2 v0 l6 e
它提供了最佳的3D音频逼真感与计算资源平衡。对于B格式（第一阶表达）的4声道，你可以逼真地再现一个3D声场，而Object的4通道或4扬声器设置很难做到这一点。, j( F7 E/ y( x2 J( o5 m
7 R+ f7 x& ~4 V" c
它是一种层次结构，具备独特的可扩展性。你可以选择相应的空间精度水平来匹配平台资源，如CPU负载和带宽等等。当你希望提供高端PC或标准智能手机的内容，或者当你有可变带宽来传输内容时，这非常方便。与基于Object的声音表达相比，如果你没有足够的资源来处理完整内容，唯一可用的选项是不处理其中一些对象，而这会导致声场的完整性发生变化（缺少信息） 。
, a( \4 F+ J# S0 Z" l- [4 N8 F0 u u- N- Y* U" r/ R1 L
对于录制的3D音频内容而言，Ambisonics是再现这种音效的最佳格式，因为真实的音频世界最好是选择声场来表达，而非声音对象的组合或扬声器位置。
1 W1 u% X* F5 I6 O; @. |& F; {
1 G: }! z, g/ D2 r# A" i这对头部追踪十分友好。在球面调和函数域中，头部运动将建模为声场的旋转，而这是非常简单的操作。9 D! o9 x6 ~4 j7 Y
& {% P9 V4 \* s7 n9 R% H \3 ]) }它独立于扬声器设置：一个内容可以解码成任何扬声器布局。
* |" u: p4 \4 \; F9 p+ Z9 z2 h0 ?
+ S4 c; V' n7 N% @# J- I与基于Object的声音表达不同，Ambisonics保留了内容的完整性。当内容由声音对象，位置和声学参数组成时，最终用户体验取决于根据所有这些信息重建声场的算法。在Ambisonics中，最终的用户体验是烘培至内容之中。: T, L/ d6 \8 T5 h4 O0 y
" b( X: @% K, t& K; A3 e% A, b5. 总结
( L& c' R$ c0 R- C6 H
& ~* ~6 _2 U4 u& T) J( W3 `3 q' w6 }8 }
8 P; Z0 Y& a8 e) g$ @% R我们相信多声道将逐渐成为不太适合VR音频需求的传统格式，而基于Obeject和Ambisonics才是VR所需的格式。我们对未来的看法是：% }6 @0 D; s1 S
) c2 v( {* s3 L4 D4 Z6 @+ L6 t% b* N0 ~ i' W
; ]- @8 c) v4 H @# a& P内容创建阶段将主要采用声音对象，将其作为交互式声场创建的便捷方式，并将略微使用Ambisonics“导入”现实录音。
& p& G/ ]9 F$ s n6 }7 Q* d5 v. c) h% a( b$ T
诸如VR 360度这样的“录制”内容渲染将越来越多地选择Ambisonics格式，因为其可扩展的特性使其非常适合广泛的平台。YouTube选择Ambisonics已经说明了这一点。
; s. }3 f9 E) |( J
. i- i. R2 r) \( G; M对于VR游戏等交互式内容的渲染，基于Object的3D音频格式非常有意义。但对于由众多声音对象组成的复合声场而言，其渲染需要大量的计算，并需要大众市场所不一定能提供的资源。就这个问题，我们可以将基于Object的全部或部分表达转换为Ambisonics，并利用渲染的可扩展性来适配CPU资源。
" t' k! c/ o# q8 t! d+ Y* l4 O! u! Y$ o# t' N) C8 {
|
|
|
|
|
|
|
|
|
发表于 2018-12-25 08:23:06
