温波
发表于 2018-5-8 16:36:42
马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有帐号？快速注册
x
一文读懂音频开发入门基础知识4 x6 x* L5 i8 i |
/ Z4 X. T5 q5 F0 `在现实生活中，音频(audio)主要用在两大场景中:语音(voice)和音乐(music)。语音主要用于沟通通信，如打电话，现在由于语音识别的发展，人机语音交互也是语音的一个应用，目前正在风口上，好多大厂都推出了智能音箱。音乐主要用于欣赏，如音乐播放。
5 w' d H9 L2 l+ q. i5 y5 ?+ q0 d
下面简单介绍音频的基础知识:
6 c" d# r3 K; v0 s. j
5 A: B; A q) }采样和采样频率:, c+ }& O. z( O, u3 E
4 X5 R0 l7 F: m" R& b0 H
现在是数字时代，在音频处理时要先把音频的模拟信号变成数字信号，这叫A/D转换。要把音频的模拟信号变成数字信号，就需要采样，或者叫抽样。当要把音频播放出来时则需要把数字信号转换成模拟信号，这叫D/A转换。一秒钟内采样的次数称为采样频率。根据Nyquist采样定理，要想重建原始信号，采样频率必须大于信号中最高频率的两倍。采样频率越高，越接近原始信号，但是也加大了运算处理的复杂度。人能感受到的频率范围为20HZ--20kHZ, 一般音乐的采样频率为44.1kHZ(根据Nyquist采样定理,采样频率大于信号中最高频率的两倍), 更高的可以是48kHZ和96kHZ，不过一般人用耳听感觉不出差别了。语音主要是以沟通为主，不需要像音乐那样清晰，分窄带和宽带。窄带频率范围为300Hz--3400Hz,相应的采样频率为8000Hz; 宽带频率范围为50Hz--7000Hz,相应的采样频率为16000Hz，用16k采样的语音就称为高清语音了。现在主流的语音采样频率为16kHz。- ]+ P, ^+ Z: D- a& O; J% s+ U3 y1 h
5 J! w2 Z7 ]* K5 s
采样位数:
- o' B3 e9 F- f3 T( M" h3 I- y. T" v8 T, I* b! i9 a+ V" G
数字信号是用0和1来表示的。采样位数就是采样值用多少位0和1来表示，也叫采样精度，用的位数越多就越接近真实声音。如用8位表示，采样值取值范围就是-128--127，如用16位表示，采样值取值范围就是-32768--32767。现在一般都用16位采样位数。# W: v. f$ j& s
3 u" B( z' g# ~
声道(channel)1 {9 p' Z# d' x7 Y: e2 g4 L5 I
" y a% H6 }4 v$ z; ]9 i7 M
通常语音只用一个声道。而对于音乐来说，既可以是单声道(mono)，也可以是双声道(即左声道右声道，叫立体声stereo)，还可以是多声道，叫环绕立体声，多用于影院中。
. t, x& t+ T; I1 Q4 E( d7 T, v1 K
音频采集和播放
) z2 |: Q* K2 M" C9 |8 |
! [7 S3 y5 `( v2 ]4 K% q一般用专门的芯片(通常叫codec芯片)采集音频，做A/D转换，然后把数字信号通过I2S总线(主流用I2S总线，也可以用其他总线，比如PCM总线)送给CPU处理(也有的会把codec芯片与CPU芯片集成在一块芯片中)。当要播放时CPU会把音频数字信号通过I2S总线送给codec芯片，然后做D/A转换得到模拟信号再播放出来。这部分对语音和音乐是通用的，只是用的采样率有可能不一样，音乐的采样率用的高一些。, b0 ?/ O- K6 }1 X" ?
# R. e$ K: j% ?0 f6 B, F$ X编解码
' I; ^( u3 e6 ]: }* ^
5 n9 K/ v3 `; J: K如果把采样值直接保存或者发送，会占用很大的存储空间或者很大的流量。以16kHz采样率16位采样位数单声道为例，一秒钟就有32000(2字节*16000)字节。通常需要把采样后的数字信号压缩后才保存或者发送。把采样值压缩叫编码(encode)，形成比特流(bitstream). 把比特流还原出采样值叫解码(decode)，统称编解码(codec)。$ H7 S8 N3 c5 |
/ T; ~& {3 s/ U5 J3 p3 c1 V音频的编解码
& J+ D3 F$ u# d/ k: _9 a k
1 o! m+ _1 c' z; s9 d4 c' _" R1 ]通常也把音频采样过程叫脉冲编码调制编码，即PCM(Pulse Code ModulaTIon)编码，采样值也叫PCM值。为了节省保存空间或者发送流量，会对PCM值压缩。( g9 H9 K! f$ a+ B' p" j
" F1 K+ t3 f7 p+ v) k' s, w% `/ I) z
目前主要有三大技术标准组织制定压缩标准:
; K! `/ ^: R* `; x# U
+ s- L% C' I8 ^ k0 d$ m9 V) J" za)ITU，主要制定有线语音的压缩标准(g系列)，有g711/g722/g726/g729等。
8 V6 T* Z. T' y g, Y$ R- T( n9 k4 c$ t5 [6 g' |( n; p! u8 h5 W8 M( f
b)3GPP,主要制定无线语音的压缩标准(amr系列等), 有amr-nb/amr-wb。后来ITU吸纳了amr-wb，形成了g722.2。
! L2 o1 r: F# e# o, T
+ B. `! y+ |! p+ x. u) \c)MPEG,主要制定音乐的压缩标准，有11172-3，13818-3/7，14496-3等。
6 S) S5 S& |5 _9 M: i6 Z# j0 o
' ]/ v5 k5 c% g4 R2 K8 h1 O一些大公司或者组织也制定压缩标准，比如iLBC，OPUS。
0 r% O# f r; Z: \; B3 ], m1 E4 v+ d2 w4 `7 \
无损压缩和有损压缩:把PCM数据压缩后无任何损伤叫无损压缩，不过压缩程度不高。把PCM数据压缩后有损伤叫有损压缩，最多可以压到几十分之一，不过音频质量差些。
0 A, {( q( [' t4 V4 a& ^$ C6 k& z; u% v, S* @: a- v
音频前后处理, Z' o5 ~0 c5 n
4 N: I6 h" C5 E+ K. K
音频处理是指对PCM数据(也叫线性数据)进行处理，从而达到想要的效果，如回声消除。. I( f% |4 m: K4 n& s; r' Z
7 V5 ]" p/ _# @3 @# j) f对音频编码前的PCM数据进行处理叫音频前处理，主要用于语音中，来去除各种干扰，使声音更清晰，主要有回声消除、噪声抑制、增益控制等。
~- @1 {+ s7 l5 R
$ {) D4 |7 [) l/ x# ^7 y1 i. k' T对音频解码后的PCM数据进行处理叫音频后处理，主要用于音乐中，来产生各种音效，使音乐更动听，主要有均衡器、混响等。+ i% G' a( o) H ~9 ?7 r
! w5 H5 T' E2 q) l0 w音频传输
9 D0 ^# \# H! N( h( J3 j
+ m+ h( o5 m% ?这里主要是指网络传输，通过网络把音频数据传给对方。语音和音乐两种场景下有明显的区别。
7 K6 }1 _ @. F v
% x& c. T0 f m; V1 s对于语音来说，实时性要求很高，主要用RTP/UDP做承载，由于UDP是不可靠传输，会丢包乱序等，影响语音质量，所以要采取相应的措施，主要有PLC(丢包补偿)、FEC(前向纠错)、重传、jitter buffer等。; I- _* T3 W. o! x- P- D& V
% `+ e% |1 e3 k0 v! g
对于音乐来说，以前是播放本地音乐文件，近些年随着网络带宽的加大，可以播放云端的音乐文件了。播放时要把音乐文件传给播放器，一般是边播放边下载，播放音乐对实时性要求不高，一般用HTTP/TCP做承载，也就不存在丢包乱序等问题了。: B9 ]% _$ \* M- y" x; h6 a4 G
! | G+ m& A, m4 V, F在软件实现时，语音的传输要做好是不容易的，尤其在无线网络环境下。个人觉得它是除了音频算法外最难的部分(算法是有门槛的，需要精通数字信号处理)。
+ D0 V7 e$ i Q# v: P6 }, B
& @( S0 N% B$ {2 T7 F如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播，或不应无偿使用，请及时通过电子邮件或电话通知我们，以迅速采取适当措施，避免给双方造成不必要的经济损失。 |
|
|
|
|
|
|
|
|
