3ypqz
发表于 2006-10-18 08:38:00
马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有帐号？快速注册
x
音视频同步是我们观看视频的一个基本体验，尤其对于视频画面中能看到声源动作（如：嘴型）的场景，音视频同步问题非常影响体验。
+ q7 D8 {* H: ^6 t3 e3 h W+ p4 x4 z$ `6 ]& x }- C5 d
在短视频与直播APP中，采集端作为音视频的生产者，如果采集端产生的音视频源本身就无法保证同步，那么后面不管经过什么处理，都很难再让用户看到音视频同步的画面了，因此，在采集端保证音视频同步上尤其重要。0 S5 b2 E' z$ U' |% e
: S' o2 s/ [$ w3 U7 H6 v8 S" X
那么如何保证app在各种正常/非正常状况下尽量保证输出同步的音视频？本文就是讲述我们是如何解决上述问题的。' K. m) ~5 ]- Q6 h# I1 p
% o1 s, x3 a1 A) J) d J
音视频同步的原理% M1 A2 S1 z/ h# {
* O/ C+ o" e0 G
音视频采集的数据分别来自于麦克风与摄像头，而摄像头与麦克风其实是两个独立的硬件，而音视频同步的原理是相信摄像头与麦克风采集数据是实时的，并在采集到数据时给他们一个时间戳来标明数据所属的时间，而编码封装模块只要不改动音视频时间的相对关系就能保证音频与视频在时间上的对应。如此封装好数据之后，播放端就能够根据音视频的时间戳来播放对应的音视频，从实现音视频同步的效果。
! P& L) B7 ~, [7 V3 W6 @, V# c) z; q& [ K# q0 X. T) p
时间戳参考标准) p. V" n$ I/ j6 E8 G
% V( b' Z& I# ?: I' o取格林威治时间做为对比标准，即音视频时间戳都为采集时间点相对于格林威治标准时间的时间差；
! @. q# G' R9 D7 B% I! ~" i; s# J3 r4 w% W! v
取系统开机时间做为对比标准，即音视频时间戳都是采集时间点相对于手机开机时间的时间差。目前iOS上AVCaptureSession这套API就是参考这个时间标准给的时间戳。
) m5 y" S* | A
1 c) W/ Q: L) G" V4 }) Y其它时间戳标准
. Y, w" N2 o5 e0 |, w1 E$ @! e8 d, o0 P+ }+ K, |3 X8 g
基于“开源项目1”的音视频同步探讨
" t! p# Z7 z+ ]* f6 Q o
* `# { f8 O0 t# _% ~7 D) l- L原生某开源框架
[9 l* E- ?: D/ h6 Q/ S; o: B' p, e7 ~6 L1 x
如图：& T3 B! |8 T. a; {5 q
8 I; U0 ~& L* K/ a% L7 R2 p Y$ C7 j
音视频同步的原理及实现方法
9 l3 I2 B) }) `5 |7 c' u" N7 b( j. j+ X. r& z, e7 Y. R$ w& O
|
|
|
|
|
|
|
|
|
|
发表于 2006-10-19 05:20:00
