人脸跟踪技术在视频会议系统中的应用

发布时间：2013/1/30 10:12:50 浏览量：5405 【字体：大中小】

随着21世纪信息产业技术的飞速发展，可视化通信方式以其信息量大、使用方便、沟通自然的优势，得到了广泛的应用和发展。其中，视频会议作为一种崭新、便捷、高效的应用系统在社会的各行各业开始普及，视频会议业务也成为全球各大通讯运营商新一轮竞争的焦点。由于我国信息化建设的不断深入，宽带互联网的建设和完善，使得融合了数据、视频、语音业务的视频会议系统已经成为各个行业用户开始注重建设和应用的目标。短短几年内，视频会议系统在各大运营商和军政商教等各行业相继建设并投入使用。随着视频会议系统不断的普及，人们对视频会议的质量和要求也越来越高，需求也越来越多样化和差异化，人们已不满足于视频会议系统原有的传统功能。大量的高端用户出于对多样化视频会议的考虑，对智能化的视频业务的需求越来越强烈，顺应客户需求的不断变化，突破原有功能，拥有智能化概念是视频会议系统一个崭新的发展趋势。

当今普遍使用的视频会议系统的功能大都相似，利用摄像机和麦克风进行视频和音频的采集，尽管现在视频会议系统已经可以提供清晰、稳定的视频图像，但是视频摄像机拍摄的远近范围在拍摄的过程中是预先设定好的。在会议召开的过程中，如果与会者发生移动的情况，如：站立发言，走到主席台讲话或者与会者轮流发言等活动，视频摄像机所拍摄的画面范围将无法根据会议召开过程中的实际情况进行上下左右、远近的调整。除非人工利用摄像机的红外遥控器或者云台控制对摄像机的平移、俯仰、缩放进行遥控。其缺点是完全依赖手工操作浪费人力，并且还必须要求手工操作者必须全神贯注，密切注意会议进程，保证控制摄像机精确稳定的快速定位。基于上述的依据和事实，新的视频会议系统视频采集部分利用人脸跟踪技术，实现摄像机采集视频数据的过程中能自动完成动态智能的平移、俯仰、缩放等操作，让视频会议系统所展现的画面能把焦点集中在与会者作为主角的身上，使会议中的交流更加直接，方便，明了。

在计算机视觉和人工智能领域，人脸跟踪技术是一个具有非常高的学术理论价值的热门科研课题。人脸跟踪技术在智能监控、机器人、人机交互等方面有着巨大的应用潜力。

人工智能与人机交互技术的广泛使用和研究，使得人脸跟踪作为计算机视觉和人工智能领域中一项核心技术，更是受到广泛关注和应用。例如公共场所当中的视频监控，流量统计，智能机器人，身份识别，影像跟踪等应用，都是以人脸跟踪技术作为基础技术进行开发和应用。人脸跟踪是在人脸检测和精确匹配的基础上对人脸进行精确跟踪，作为核心技术，人脸跟踪的应用背景己经远远超出了人脸识别系统的范畴。作为完整的单独功能模块，人脸跟踪技术在基于内容的视频存储与检索、数字视频处理、高级人机交互、智能视频监控等方面有着重要的应用价值；同时，人脸跟踪研究领域中的计算机视觉模式识别以及图像处理的研究成果，如果运用于视频会议系统中，将会让现有的视频会议系统更加灵活，更加智能化，使其有着重大的意义和广泛的应用前景。

人脸跟踪技术首先基于人脸检测。基于人脸检测的跟踪方法可以看作是静止图像中的人脸检测在视频序列中的延伸。其跟踪过程往往是在起始帧中检测人脸并记录其位置和大小，然后根据先前帧的检测结果预测当前帧的搜索区域，并在区域中进行检测，如此重复以上步骤实现人脸的持续跟踪。

基于人脸的跟踪技术主要可以分为三类：基于模型匹配的跟踪、基于区域匹配的跟踪和基于特征匹配的跟踪。

第一种：基于模型匹配的跟踪，主要是通过建立模型的方法来表示需要跟踪的目标物体，然后在序列图像中跟踪这个模型来达到跟踪的目的。基于模型匹配的人脸跟踪方法首先需要建立变形轮廓模板，利用变形轮廓模板可以发生形变以匹配目标物体形状的特性精确跟踪非刚性的物体。目前主要有两种类型的可变形模板：一种是自由式的可变形模板，只要满足一些简单的正则化约束条件(如连续性，平滑性等)，就可以用来跟踪任意形状的目标物体，这类方法通常也被称为活动轮廓模板。另一种是参数形式的变形模板，它使用一个参数公式或者是一个原形与一个变形公式来共同描述目标物体的形状。

第二种：基于区域匹配的跟踪，是把图像中目标物体的连通区域的共有特征信息作为跟踪检测值的一种方法。这种方法主要适用于连续的图像当中，是因为在连续的图像中包含多种区域信息例如纹理信息，颜色信息等等。与基于特征匹配的跟踪方法相比该方法不需要在序列图像的下一帧中找到同上一帧图像中完全相同的特征信息，而是通过计算获取区域和原始目标物体之间的相关性来判断跟踪物体的位置。同一个区域判断标准，是检测获取区域同上一帧的相关系数，相关系数越大，那么越有可能是同一个区域。

由于在实际跟踪单一的特征往往不太好选择，所以现在大部分人脸跟踪系统选用根据整个区域(如运动、纹理特性)提供的单一特征信息来实现跟踪，即基于区域的跟踪方法。基于区域匹配的跟踪具有精度高、不依赖具体目标模型等优点，可用于实现人头部自由运动的跟踪。但由于区域特征仅利用了图像的低层信息，且不能根据目标的整体形状来对跟踪结果进行调整，因此在长时间连续跟踪时容易因误差累积而发生目标丢失的情况。

第三种：基于特征匹配的跟踪，基于特征匹配的跟踪方法，它仅仅通过物体的一些个体特征来进行跟踪，并不考虑所跟踪目标的整体特征。由于常见的图像序列间的采样时间间隔通常很短，可以认为这些个体特征在运动形式上具有平滑性，因此可以通过这些个体特征来完成目标物体的跟踪过程。

结合视频会议系统运用于的实际环境和视频会议系统所需要捕捉跟踪的对象特点，采用基于特征匹配的跟踪技术是三种跟踪技术中最合适的选择。视频会议系统中采用基于特征匹配的跟踪方法，其主要原理是参照在给定约束条件的前提下，一帧图像的特征集和参考图像的特征集之间，满足距离最小的原则。充分利用空间位置相对不变的影像特征，提取出该帧图像和参考图像的特征量，然后按照一种或几种相似性度量对二者进行比较。如果两者满足距离最小的原则，则该物体为跟踪的目标。

视频会议系统的视频采集模块采用基于特征匹配的方法进行序列图像运动目标的跟踪，具体实现步骤，主要包括两个过程：1、特征提取；2、特征匹配。在特征提取过程中需要选择适当的跟踪特征，并且在序列图像的下一帧中提取这些特征；适当的跟踪特征可以利用肤色特征得到人脸区域，然后提取人脸的Gabor小波特征进行跟踪；或者是根据头部轮廓的特征和帧间的差值，并在很少的局部旋转运算处理后，简单的分析人脸对称性，从而高速准确的跟踪人脸。在特征匹配过程中，采用自适应均值漂移(Continuously Adaptive Mean shift，CamShift)算法，将提取当前帧的特征同上一帧，或者是用来确定目标物体的特征模板进行比较，根据比较结果确定是否是对应物体，从而完成跟踪过程。跟踪完成后，RS232云台控制协议，通过支持Visca PELCO-P,PELCO-D的控制接口，设置地址参数以及P/T/Z参数，进行摄像机的远程控制。

通过测试采用基于特征匹配的方法对于会议桌前的人像进行了定位跟踪，每次连续运行60分钟，共计56412帧128x128的图像，检测结果正确率大于90%。

人脸跟踪技术在视频会议系统中存在的不足之处和问题：

1)在人脸采集过程中主要受以下因素影响：个体差异、人脸姿态、人脸表情、人脸附属物等。

2)人脸精确定位困难，人脸图像采集的过程中，由于一些因素如光照(光线方向和强度)和摄像机的性能(分辨率、镜头变焦倍率)都会影响图像中人脸的外观。导致在人脸进行匹配时，检测到人脸图像数据存在偏差，导致不能识别人脸，人脸精确定位失败。

3)在人脸快速准确跟踪过程中，实时性、交互性与匹配准确性没有达到很好的融合，例如现在的人脸跟踪技术，对于高速移动的人脸，跟踪的技术紧随性不强；变形的人脸，会导致人脸跟踪失败。

人脸跟踪技术在视频会议系统中的应用在理论上和技术上是可行的，作为一项核心技术，受到科研人员的高度重视，尽管还有待改进和提高的地方。运用人脸跟踪技术的视频会议系统有着重大的研究意义和广泛的应用前景。

标签：视频会议技术文章视频会议行业动态