音信号在麦克风阵列中如何处理_二手音频_音频应用论坛 - Powered by AUIOAPP

音频应用论坛

 找回密码
 快速注册

QQ登录

只需一步,快速开始

搜索
热搜: 音频应用

[音频线] 音信号在麦克风阵列中如何处理

  [复制链接]
adders 发表于 2009-6-9 14:42:40

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?快速注册

x
语音信号在麦克风阵列中如何处理. M3 h0 T# Z) \- }
随着人工智能与人们的生活越来越近,语音技术的发展也备受关注。传统的近场语音已经无法满足人们的需求,人们希望可以在更远的距离,更复杂的环境中语音控制智能设备。因此,阵列技术成为远场语音技术的核心。) P6 w! N/ s& E: Z

6 z' l& C/ a$ {& w: ~6 _  阵列麦克风对人工智能的意义:
. M3 {0 M# D7 b) P, C& P1 ?5 c3 ^& f9 p+ V! Q
  空间选择性:通过电扫阵列等空间定位技术可以获取声源的有效位置,智能设备在获取精准的声源位置信息,让我们的语音更加智能,通过算法获取高品质的语音信号质量。# M  N) X  Q3 I5 Q7 Y

5 [' t4 M$ w1 |8 U- @, B3 C8 G  麦克风阵列可以自动检测声源位置,跟踪说话人,同时可以获取多声源和跟踪移动声源的优势,无论你走到任何位置,智能设备都会对你的位置方向进行语音增强。7 g& s1 g" v$ y, z

% ]/ h- b1 g0 K) w  阵列麦克风增加了空域处理,对多信号空时频三维的处理弥补单信号在噪声抑制,回声抑制,混响抑制,声源定位,语音分离方面的不足,让我们的智能设备在复杂的环境中都可以获取高质量的语音信号,提供更好的智能语音体验。+ W! G! [9 w' G. s
7 w* R' N9 r: b5 F  M
  麦克风阵列技术的技术难点:! S  N: z3 f' ]  {' i

5 z* V4 n) X1 P  D& K7 x; a" q  传统的阵列信号处理技术直接应用到麦克风阵列处理系统中往往效果不理想,其原因在于麦克风阵列处理有不同的处理特点:
+ E, H2 W# T+ u& x
; @' S4 c$ ?! y( p  阵列模型的建立; f! w. l( I( l0 K( w

* x* B* ?+ X8 Y5 e; T" c" n; C" P  麦克风主要应用处理语音信号,拾音范围有限,且多用于近场模型,使得常规的阵列处理方法如雷达,声呐等平面波远场模型不再适用,在近场模型中,需要更加精准的球面波,需要考虑传播路径不同引起的幅度衰减不同。' V# `! Z; }- b- S0 Z

' p# f1 `& N& ^" Z+ G+ R7 d# w  宽带信号处理
4 `! A0 b3 m' h& V  H# d: G3 t- w$ h8 m
  通常的阵列信号处理多为窄带,即不同阵元在接受时延与相位差主要体现在载波频率,而语音信号未经过调制也没有载波,且高低频之比较大,不同阵元的相位延时与声源本身的特性关系很大—频率密切相关,使得传统的阵列信号处理方法不再完全适用。2 Y, g( Y% s( @1 h

2 M$ X* z& e* o) j! g  非平稳信号处理5 C- K' T/ B$ o9 c5 @: n

: ?- T6 }! e* t1 i  传统阵列处理中,多为平稳信号,而麦克风阵列的处理信号多是非平稳信号,或者短时平稳信号,因此麦克风阵列一般对信号做短时频域处理,每个频域均对应一个相位差,将宽带信号在频域上分成多个子带,每个子带做窄带处理,再合并成宽带谱。
- B9 k$ N/ }( z5 v; I
: \& L9 `( e2 e( l  混响
9 g3 y' z; C1 y) D% b' P) t; ^) {
  声音传播受空间影响较大,由于空间反射,衍射,麦克风收到的信号除了直达信号以外,还有多径信号叠加,使得信号被干扰,即为混响。在室内环境中,受房间边界或者障碍物衍射,反射导致声音延续,极大程度的影响语音的可懂度。
' @+ H2 _( Y0 _8 ~5 U, G7 k& b8 p7 @+ G9 ?2 @, @' ~, I
  声源定位3 h2 u$ f1 n" _# S+ i* ?
" q% W' c) i, _: |4 K( ]
  声源定位技术在人工智能领域应用广泛,利用麦克风阵列来形成空间笛卡尔坐标系,根据不同的线性阵列,平面阵列和空间阵列,来确定声源在空间中的位置。智能设备首先可以对声源的位置做进一步的语音增强,当智能设备获取你的位置信息可以结合其他的传感器进行进一步的智能体验,比如机器人会听到你的呼唤走到你的身边,视频设备会聚焦锁定说话人等等。了解声源定位技术之前,我们需要了解近场模型和远场模型。
7 p3 @% A0 t3 n* }' \  V7 b0 D' C6 M" n; z5 P6 @- ]
  近场模型和远场模型$ [$ l* L4 Q1 H# U' N2 ~/ m
/ C* I- Y- T6 X: q  i
  通常麦克风阵列的距离为1~3m,阵列处于近场模型,麦克风阵列接受的是球面波而不是平面波,声波在传播的过程中会发生衰减,而衰减因子与传播的距离成正比,因此声波从声源到达阵元时候的幅度也各不相同。而远场模型中,声源到阵元的距离差相对较小,可以忽略。通常,我们定义2L²/λ为远近场临界值,L为阵列孔径,λ为声波波长,因此阵元接受信号不仅有相位延时还有幅度衰减。
3 D- g4 S. T- j; ]0 ^
, g; z3 [+ I# @& @* c  声源定位技术. i. V; h7 i5 |1 q) b
: N, n1 Q. e2 D
  声源定位的方法包括波束形成,超分辨谱估计和TDOA,分别将声源和阵列之间的关系转变为空间波束,空间谱和到达时间差,并通过相应的信息进行定位。
) l1 Z& L0 D, T7 `( C' i  Q8 v) [1 y( i" u' N9 W  B
  电扫阵列+ b& o6 C$ j! x; \7 q5 [! ^

3 Q* c$ h1 ~$ [1 L  通过阵列形成的波束在空间扫描,根据不同角度的抑制不同来判断方向。通过控制各个阵元的加权系数来控制阵列的输出指向,进行扫描。当系统扫描到输出信号功率最大时所对应的波束方向就是认为是声源的DOA方向,从而可以声源定位。电扫阵列的方式存在一定的局限,仅仅适用于单一声源。若多声源在阵列方向图的同一主波束内,则无法区分。而这种定位精度和阵列宽度有关—在指定频率下,波束宽度和阵列孔径成反比,所以大孔径的麦克风阵列在很多场合的硬件上很难实现。
: }: E, W+ c7 W' y1 v% _+ Q5 ]
  超分辨谱估计
/ u# h" {6 y5 F* o9 m
, P* ?* g3 \9 ^; h% Z  如MUSIC,ESPRIT等,对其协方差矩阵(相关矩阵)进行特征分解,构造空间谱,关于方向的频谱,谱峰对应的方向即为声源方向。适合多个声源的情况,且声源的分辨率与阵列尺寸无关,突破了物理限制,因此成为超分辨谱方案。这类方法可以拓展到宽带处理,但是对误差十分敏感,如麦克风单体误差,通道误差,适合远场模型,矩阵运算量巨大。
 楼主| adders 发表于 2009-6-9 14:44:45
TDOA
) }9 ?' v" v' O4 W; m) g/ J( _6 |# R6 k! N4 W! a
  TDOA是先后估计声源到达不同麦克风的时延差,通过时延来计算距离差,再利用距离差和麦克风阵列的空间几何位置来确定声源的位置。分为TDOA估计和TDOA定位两步:4 v" D, N" \+ N# |' y; d: n
- L9 ~3 P" Q" |. T( k1 s
  1. TDOA估计
) t! d6 t* {& k" b5 {: b/ Y; {' t: q+ R7 X# C. M2 A. D% p- H2 N
  常用的有广义互相关GCC,Generalized Cross Correlation和LMS自适应滤波
0 b0 ~( r; {- Z# r* M
% {6 @( ~/ }. I! z$ w4 s4 t  广义互相关: Z) ~) Z6 z* X! N1 f( l
. a5 r+ Z& a, K* v( a9 H& p9 p
  广义互相关
+ a% G" M8 `2 h9 j- c4 I$ A. ?! j$ s. W7 q) Y+ N; }/ K3 ~! t
  基于TDOA的声源定位方法中,主要用GCC来进行延时估计。GCC计算方法简单,延时小,跟踪能力好,适用于实时的应用中,在中等嘈杂强度和低混响噪声情况下性能较好,在嘈杂非稳态噪声环境下定位精度会下降。5 G" N3 ?6 R2 s. a1 e6 f
- `* [  ?' |2 x' c; ~0 R2 t: v* p
  LMS自适应滤波! h- C* b$ o, d8 _2 a# M

/ Y, Y2 j7 V( `  在收敛的状态下给出TDOA的估值,不需要噪声和信号的先验信息,但是对混响较为敏感。该方法将两个麦克风信号作为目标信号和输入信号,用输入信号去逼近目标信号,通过调整滤波器系数得到TDOA。
3 ~. t% c: B+ S' \( \" M1 X+ O  }+ u
7 t# \, R4 p+ e% n$ X0 \8 K  2. TDOA定位
* h! F: V0 K; `  `+ N/ p/ Z/ e' z8 O0 k/ h: _9 F/ v% W6 y
  TDOA估值进行声源定位,三颗麦克风阵列可以确定空间声源位置,增加麦克风会增高数据精度。定位的方法有MLE最大似然估计,最小方差,球形差值和线性相交等。TDOA相对来讲应用广泛,定位精度高,且计算量最小,实时性好,可用于实时跟踪,在目前大部分的智能定位产品中均采用TDOA技术做为定位技术。
" U. U4 L" w- c* f. Z: s% d8 x/ ?( H  A3 P; t5 a6 o- ]
  波束形成:5 [4 f! C! p3 y

  j8 t; ~1 O6 X- @. N( N- U  波束形成可分为常规的波束形成CBF,Conventional Beam Forming和自适应波束形成ABF,Adaptive Beam Forming。CBF是最简单的非自适应波束形成,对各个麦克风的输出进行加权求和得到波束,在CBF中,各个通道的权值是固定的,作用是抑制阵列方向图的旁瓣电平,以滤除旁瓣区域的干扰和噪声。ABF在CBF的基础之上,对干扰和噪声进行空域自适应滤波。ABF中,采用不同的滤波器得到不同的算法,即不同通道的幅度加权值是根据某种最优准则进行调整和优化。如LMS,LS,最大SNR,LCMV(线性约束最小方差,linearly constrained Minimum Variance)。采用LCMV准则得到的是MVDR波束形成器(最小方差无畸变响应,Minimum Variance Distortionless Response)。LCMV的准则是在保证方向图主瓣增益保持不变的情况下,使阵列的输出功率最小,表明阵列输出的干扰加噪声功率最小,也可以理解为是最大SINR准则,从而能最大可能的接收信号和抑制噪声和干扰。8 V$ }1 f" n- P# k0 L

. p2 }+ V, x" H" }: W  CBF-传统的波束形成3 h  O  r" \( i% ~: P  Q
6 ?  `0 e1 V! `, f
  延时求和的波束形成方法用于语音增强,对麦克风的接收信号进行延时,补偿声源到每个麦克风的时间差,使得各路输出信号在某一个方向同相,使得该方向的入射信号得到最大的增益,使得主波束内有最大输出功率的方向。形成了空域滤波,使得阵列具有方向选择性。- H9 t7 I- K, y9 n; a$ e5 V

! Q& e8 j8 X) o" r# p( b8 S2 d" U8 ~  CBF + Adaptive Filter 增强型波束形成
6 `& {- e' ~7 w# m# s& Z& [8 U: k# c+ z* c6 g6 v
  结合Weiner滤波来改善语音增强的效果,带噪语音经过Weiner滤波得到基于LMS准则的纯净语音信号。而滤波器系数可以不断更新迭代,与传统的CBF相比,可以更有效的去除非稳态噪声。+ A5 K2 |+ y! m5 N6 e

: I& Z: @/ c( l6 S* k7 |  ABF-自适应波束形成
1 {8 G# R. Z# D$ ^& O' Y% m
7 m0 j5 ^. V, W  GSLC是一种基于ANC主动噪声对消的方法,带噪信号同时通过主通道和辅助通道,而辅助通道的阻塞矩阵将语音信号滤除,得到仅包含多通道噪声的参考信号、各通道根据噪声信号得到一个最优信号估计,得到纯净语音信号估计。
) X4 f; Z0 W" @/ g; F" L& t2 l1 O# K: C8 [) {$ }% ^
  阵列技术的未来发展
: v. i% v$ H! S4 v/ F1 ^2 }
5 m) b/ @( y# Y; }- H) g  麦克风阵列技术相对于单麦克风系统有很多优点,已成为语音增强及语音信号处理的重要部分。语音增强和声源定位已经成为阵列技术中不可缺少的部分,在视频会议,智能机器人,助听器,智能家电,通信,智能玩具,车载领域都需要声源定位和语音增强。各种信号处理技术,阵列信号处理技术都陆续结合到麦克风阵列的语音处理系统当中,并逐渐得到算法改进和进一步的广泛应用。在复杂的噪声环境,混响环境,声学环境下,强大的硬件处理能力也使得复杂算法实时处理语音增强成为了可能。在未来,语音和图像的紧密结合会成为人工智能领域的新的突破口,在人工智能的风口浪尖,是谁能将语音识别,语音理解,阵列信号处理,远场语音,图像识别,人脸识别,虹膜识别,声纹识别的技术巧妙并有机的结合在一起,并将技术的本质和与人为本的宗旨完美的结合,让我们拭目以待。
xpmd 发表于 2009-6-24 16:58:29
  支持一下! 
qinxc1982 发表于 2009-7-7 15:03:23
我 听出一种悠扬,一种安静的凄凉!加油!
chengchuixiao 发表于 2010-1-1 17:21:52
谢谢了,找了好久的东西|!!
ch_lps 发表于 2010-1-12 08:41:12
支持一下! 
zyqb8b8b8 发表于 2010-1-18 21:35:15
很美的音乐
abeng1031 发表于 2010-4-15 13:04:42
谢谢分享了
luhuisheng 发表于 2010-4-25 15:20:28
给点意见
lrbm 发表于 2010-4-27 14:02:46
我特别喜欢这个曲子!
jamskin 发表于 2010-4-27 15:15:59
简谱?还是觉得怪怪的
cdx08222028 发表于 2010-5-9 13:02:57
:'(我也要下
hhhai810205 发表于 2010-5-10 23:24:19
很喜欢这曲子
sutaichun 发表于 2010-5-19 06:40:29
jkfbhffd
余思松 发表于 2010-5-19 10:04:24
欣赏,谢谢大家啊 / e2 x. g+ K4 I5 h& |- Y/ @. p3 z/ @
69873451 发表于 2010-6-11 23:05:19
欣赏了,谢谢楼主发布,好文章,收藏了啊
生活在别处 发表于 2010-7-1 08:24:32
喜欢这曲子,希望能出更多的作品
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

软硬产品代理咨询服务:声卡:雅马哈UR22C、罗兰声卡、福克斯特、艾肯、阿波罗 、M-audio 、普瑞声纳 、福克斯特、 达思冠系列 音箱:吸顶NS-IW560C、吸顶NS-IW660 、NS-AW350、低音NS-SW050、低音NS-SW100;JBL 吸顶8124、CSS-8006BM;香蕉猴 gibbon系列;普瑞声纳E5XT、E4.5、 E3.5BT 有线话筒:舒尔PGA27、PGA48、MV51、mv88、mv88+、SM27 ;森海E945 、MK4、E835S;舒伯乐top248s;罗德NT1-A、VIDEOMIC、VIDEOMIC GO、VideoMicro、VideoMic NTG 无线领夹麦克风:罗德 wireless go II 一拖一、一拖二;猛犸lark150 耳机:森海HD300 pro、美奇 CR-Buds 、索尼7506、爱科技K240S、K240 MKII、K271 MKII、K52、K72、K92、先锋、飞利浦 1:飞利浦会务通/会议摄像头/全向麦克风/执法仪/录音笔 2:洋铭便携式移动演播室 / 切换台 / 摄控一体摄像机 / 虚拟演播室 / 微金课教室 / 色键器 3:逻兰音视频切换台 / 声卡 / 电子鼓 /电钢琴 /耳机 4:Blackmagic专业摄影机 /调色台 / 切换台/ 广播级转换器 / 监视器 / 采集卡 5:索尼专业摄像机/佳能专业摄像机/松下专业摄像机/ insta360专业摄像机 6:话筒:铁三角/ 舒尔/ 森海塞尔 / AKG / RODE/ BBS 7:音响:YAMAHA/ 声艺 / 皇冠 /JBL / 真力/咪宝/BOSE /美奇 8:声卡:RME/羚羊/IXI /艾肯/PreSonus普瑞声纳/Focusrite福克斯特/YAMAHA/雅马哈/ickb 9:耳机:铁三角/beyerdynamic拜亚动力/AKG爱科技/索尼/RunningMan/美技 10:思锐三脚架 /防潮箱 /米泊三脚架/意美捷三脚架/曼富图三脚架 11:XSW系列,300.500代理商,EWD数字系列代理,6000.9000定制产品,还包销了全国三个型号:XSW1-825,EW100 G4-945,EWD- kk 205

小黑屋|手机版|Archiver|音频应用 (鄂ICP备13005321号-1)

Powered by Audio app

快速回复 返回顶部 返回列表