人脸数据库(2)
2010-03-28 13:23:48| 分类：
人脸识别
| 标签：
|举报
|字号大中小 订阅
CAS-PEAL大规模中国人脸图像数据库及其基本评测介绍
张晓华,山世光,曹波,高文,周德龙,赵德斌
中国科学院计算技术研究所数字化研究室,北京,100080
{xhzhang, sgshan, bcao, wgao, dlzhou, dbzhao}@jdl.ac.cn
摘要:
人脸图像数据库是人脸识别算法研究,开发,评测的基础,具有重要的意义.本文介绍了我们创建并
已经部分共享的CAS-PEAL大规模中国人脸图像数据库及其基准测试结果.CAS-PEAL人脸库包含了1,040
名中国人共99,450幅头肩部图像.所有图像在专门的采集环境中采集,涵盖了姿态,表情,饰物和光照四
种主要变化条件,部分人脸图像具有背景,距离和时间跨度的变化.目前该人脸库的标准训练,测试子库
已经公开发布.与其他已经公开发布的人脸库相比,CAS-PEAL人脸数据库在人数,图像变化条件等方面
具有综合优势,将对人脸识别算法的研究,评测产生积极的影响.同时作为以东方人为主的人脸库,
CAS-PEAL人脸库也使人脸识别算法在不同人种之间的比较成为可能,利于人脸识别算法在国内的实用
化.本文还给出了两种基准人脸识别算法(Eigenface和Correlation)和两个著名商业系统在该人脸库上的
测试结果,定量分析了该人脸库对于人脸识别算法的难易程度和人脸识别算法的发展现状.
关键词:人脸识别;人脸图像数据库;性能评测
1. 引言
人脸识别的研究工作自20世纪60年代开始以来,经历了近四十年的发展,已成为图像分析和理解领
域最热门的研究内容之一[1].目前,人脸识别技术已经从实验室中的原型系统逐渐走向了商用,出现了出
了大量的识别算法和若干商业系统[1, 2, 3].然而,人脸识别的研究仍旧面临着巨大的挑战,人脸图像中姿
态,光照,表情,饰物,背景,时间跨度等因素的变化对人脸识别算法的鲁棒性有着负面的影响,一直是
影响人脸识别技术进一步实用化的主要障碍[2,3].多数人脸识别算法的研究,开发和测试需要更多的人脸
图像来克服上述障碍,主要包括两方面:人脸库所包含的人数,人脸库中每个人所具有的在不同条件下的
人脸图像数.
目前人脸识别领域常用的人脸数据库主要有:
1. FERET人脸数据库[2]
由FERET项目创建,包含14,051张多姿态,光照的灰度人脸图像,是人脸识别领域应用最广泛
的人脸数据库之一.其中的多数人是西方人,每个人所包含的人脸图像的变化比较单一.
2. MIT人脸数据库[4]
由麻省理工大学媒体实验室创建,包含16位志愿者的2,592张不同姿态,光照和大小的面部图像.
3. Yale人脸数据库[5]
由耶鲁大学计算视觉与控制中心创建,包含15位志愿者的165张图片,包含光照,表情和姿态
的变化.
4. Yale人脸数据库B[6]
包含了10个人的5,850幅多姿态,多光照的图像.其中的姿态和光照变化的图像都是在严格控制
的条件下采集的,主要用于光照和姿态问题的建模与分析.由于采集人数较少,该数据库的进一步应
用受到了比较大的限制.
5. PIE人脸数据库[7]
由美国卡耐基梅隆大学创建,包含68位志愿者的41,368张多姿态,光照和表情的面部图像.其
中的姿态和光照变化图像也是在严格控制的条件下采集的,目前已经逐渐成为人脸识别领域的一个重
要的测试集合.
6. ORL人脸数据库[8]
由剑桥大学AT&T实验室创建,包含40人共400张面部图像,部分志愿者的图像包括了姿态,
表情和面部饰物的变化.该人脸库在人脸识别研究的早期经常被人们采用,但由于变化模式较少,多
数系统的识别率均可以达到90%以上,因此进一步利用的价值已经不大.
7. PF01人脸数据库[9]
由韩国浦项科技大学创建,包含103人的1,751张不同光照,姿态,表情的面部图像,志愿者以
韩国人为主.
8. AR人脸数据库[10]
由西班牙巴塞罗那计算机视觉中心建立,包含116人的3,288幅图像.采集环境中的摄像机参数,
光照环境,摄像机距离等都是严格控制的.
9. BANCA人脸数据库[11]
该数据库是欧洲BANCA计划的一部分,包含了208人,每人12幅不同时间段的面部图像.
10. KFDB人脸数据库[12]
包含了1,000人,共52,000幅多姿态,多光照,多表情的面部图像,其中姿态和光照变化的图像
是在严格控制的条件下采集的.志愿者以韩国人为主.
11. MPI人脸数据库[13]
该人脸数据库包含了200人的头部3维结构数据和1,400幅多姿态的人脸图像.
12. XM2VTS人脸数据库[14]
包含了295人在4个不同时间段的图像和语音视频片断.在每个时间段,每人被记录了2个头部
旋转的视频片断和6个语音视频片断.此外,其中的293人的3维模型也可得到.
人脸图像库在提供标准的人脸图像训练,测试集合的同时,还应该能对影响人脸识别性能的不同情况
进行模拟,以方便研究人员针对不同的关键问题进行重点研究.但是,现有的人脸数据库大多存在数据量
较小或者图像变化情况比较单一的缺陷.此外,现有的人脸数据库中提供面部图像的志愿者多为西方人,
由于东西方人在面部特征上存在一定的差异,使用西方人的面部图像进行识别系统的研究可能会给我们所
开发的技术在国内的应用带来不利因素.因此,建立一个大规模,多样化的东方人脸数据库对国内人脸识
别技术的发展将会有极大的推动作用.
CAS-PEAL人脸数据库正是基于上述考虑而创建的大规模,多变化的东方人脸数据库.该数据库的建
立是国家"863"课题 — "中文平台总体技术研究与基础数据库建设"的一部分,同时得到国家自然科
学基金项目和"863"计划项目的资助,由中国科学院计算技术研究所-银晨科技面像识别联合实验室负责
建立.建库工作开始于2002年8月,2003年4月最终完成,共采集并整理了1,040位志愿者(其中595
位男性,445位女性)的共99,450幅人脸图片.CAS-PEAL人脸数据库中的所有图片分为姿态变化,表情
变化,饰物变化,光照变化,背景变化,距离变化,时间跨度变化等7种变化模式子库,这7个变化模式
中中又以姿态(Pose),表情(Expression),饰物(Accessory)和光照(Lighting)4种变化为主(故简称
为PEAL).各个变化模式子库均可以与姿态变化子库进行组合,以满足研究工作中的不同要求.在本文中,
我们将从采集环境,变化模式两个方面介绍CAS-PEAL人脸数据库,并结合几种人脸识别算法和商业系统
在该数据库已经发布的基准训练,测试子库上的测试结果,进一步说明CAS-PEAL人脸数据库用于人脸识
别系统性能评测的难易程度,并简要分析了目前最好的识别算法的性能情况.
2. CAS-PEAL数据库采集环境
采集环境是建立人脸数据库所需要的基本硬件条件,包括摄像头和控制设备的布局,光照环境的建立
等等.这些硬件的组织和应用直接决定了人脸数据库的特性和质量的高低.在建立CAS-PEAL人脸库之前,
我们对采集环境进行了认真设计,以求在现有的硬件条件下,达到最佳的采集效果.CAS-PEAL数据库的
采集环境主要包括了以下几个特点:
1. 多角度摄像头图像采集系统
为获得多角度的人脸面部图像,我们采用了多摄像头的采集系统布局.编号从0-8的9个摄像头在半
圆形框架上成等角度分布.摄像头分布示意图如图1所示.被采集对象位于半圆形摄影架的圆心位置,调
整椅子高度以使被采集人正对C4摄像头.9个摄像头通过USB连接线连接到PC机,由程序统一控制9
个摄像头进行拍摄.每次拍摄,0-8号摄像头依次抓取图像(总耗时小于2秒),并按照统一的命名规则保
存.多摄像头同时拍摄获取多角度图像的方法与使用单个摄像头拍摄而由被采集者转动头部获取多角度图
像的方法相比,很好的控制了图像之间的角度变化,能保持角度间隔的一致性,更有利于研究多视角人脸
识别问题.
C0
C1
C2
C7
C6
C5 C4
C3
C8
图1摄像头在水平面上的排列
2. 多光源分布环境
为获得一致均匀的自然环境光,同时也为了便于控制,我们完全遮挡了室外光线,用太阳灯照射粗糙
的白色墙壁,利用其反射光来模拟自然环境光照,模拟自然环境光的光源叫做环境光源.
为了获取不同光照条件下的面部图像.我们在3个垂直方向(上,中,下)和每个垂直方向的5个水
平方向上共布置了15个光源,并按照光源所处的垂直和水平位置分别对每个光源进行了编号.由于这15
个光源对被拍摄者的面部来说都具有很强的方向性,因此我们把这15个光源叫做方向光源.方向光源的
分布示意图如图2所示.
U-90
U-45
U+00
U+45
U+90
M-90
M-45
M+00
M+45
M+90
D-90
D-45
D+00
D+45
D+90
图2 光照设备布局
在多光照模式的拍摄过程中,首先关闭所有光源,每次只打开1个方向光源进行拍摄.每次变换方向
光,9个摄像头都同时工作,采集9幅不同角度的面部图像.多光源分布环境结合多角度的摄像头系统,
使得我们的光照变化图像更加丰富,有利于研究者研究多光照条件下的人脸识别问题.
3. 多饰物选择
我们预备了3种不同样式的眼镜和3种不同样式的帽子,要求被采集者依次佩戴这6种饰物进行图像
拍摄.每次更换饰物,9个摄像头均同时工作拍摄不同视角的图像.
4. 背景变化
很多情况下,进行人脸识别时所用的摄像头大多被打开了自动白平衡功能.在遇到背景颜色变化的情
况时,由于摄像头的白平衡功能,所摄取的图片会有较大的色彩变化.因此我们在采集环境中设置了5种
不同颜色的背景,默认的拍摄背景为蓝色,此外在红色,黑色,黄色,白色背景条件下各进行了一次环境
光照模式的图像拍摄.在多光照模式的拍摄情况下,我们也采用了白色背景.同样的每次变换背景,9个
摄像头同时拍摄不同视角图像.
3. CAS-PEAL人脸数据库图像变化模式介绍
CAS-PEAL人脸数据库中总共包括1,040人,99,450幅人脸图片,这些图片可以划分为姿态,表情,
背景,饰物,光照,距离,时间等7个子库.
1. 姿态子库
在环境光照模式下,要求志愿者变换平视,抬头,低头三种俯仰姿态分别进行拍摄,每次变换俯
仰姿态,多角度摄像头系统都获得9幅水平深度旋转姿态变化的图像.因此,姿态子库中的每个志愿
者有27幅环境光照模式下的标准姿态变化图像.姿态变化图像示例如图3所示:
图3 每人的27幅姿态图像.分别为低头,平视,抬头三种俯仰姿态变化,多角度摄像头系统一次拍摄可同时获得同一俯仰姿态
下的9幅不同水平姿态的图像.
2. 表情子库
环境光照模式下,要求志愿者做出笑,皱眉,惊讶,闭眼,张嘴5种表情,这五种都是造成面部
特征变化比较大的表情,有利于研究识别算法对表情变化的鲁棒性.表情子库的示例如图4所示:
图4 表情子库中五种不同的表情(笑,皱眉,惊讶,闭眼,张嘴)
3. 饰物子库
环境光照模式下,志愿者佩戴3种不同的帽子和3种不同的眼镜,如图5所示:
图5 饰物子库中的三种帽子,三种眼镜饰物
4. 光照子库
采集光照子库图片时,环境光源关闭,每次打开一个方向光源进行图片采集,如图6所示:
图6 光照子库中的15种方向光
5. 背景子库
5种不同的背景颜色包括蓝色,红色,黑色,白色和黄色.环境光照模式下,由于摄像头的白平
衡功能,面部图像的色彩分布在每种背景颜色条件下均有不同,如图7所示:
图7 背景子库中的蓝,红,黑,白,黄5种背景
6. 距离子库
环境光照模式下,改变志愿者与摄像头的相对距离,获取到距离子库中每个志愿者的3种不同距
离的面部图像,如图8所示:
图8 距离子库中三种不同的距离下的图片
7. 时间跨度子库
随着时间的改变,人的面部特征会有一定的变化.在我们的人脸数据库中,我们引入了时间跨度
子库,子库中的志愿者图片距离他们第一次采集的图片有6个月的时间跨度,如图9所示:
图9 时间子库,第二行的图像为第一次采集6个月后再次拍摄的图像
4. CAS-PEAL-R1共享人脸库
为了方便国内外人脸识别领域的研究者使用CAS-PEAL人脸数据库,我们提供了CAS-PEAL人脸数据
库的共享版本CAS-PEAL-R1[15].CAS-PEAL-R1共享数据库包含1,040人的30,900幅图像,分为两个子
库:正面图像子库和姿态图像子库.
正面图像子库:包含1,040人的共9,060幅图像.子库中的所有图像均由编号为C4的摄像头拍摄.其
中涉及的变化条件如表1所示,其中有377人有6种表情变化的图像,438人有6种面部饰物变化的图像,
233人有至少9种光照变化的图像,297人有2-4种背景变化的图像,296人有1-2种距离变化的图像.此
外还有66人有2幅时间跨度变化的图像.
姿态图像子库:包含1,040人的共21,840幅图像.每人21幅姿态变化的图像.姿态变化包括了3种
俯仰姿态变化(抬头,平视,低头)和每种俯仰姿态下的7种水平深度旋转姿态变化.
表1 CAS-PEAL-R1的正面图像子库和姿态子库的图像情况
变化种类 人数 图像数目
标准 1 1,040 1,040
表情 5* 377 1,884
光照 ≥9 233 2,450
饰物 6 438 2,646
背景 2-4 297 650
距离 1-2 296 324
时间 1* 66 66
正面子库
正面子库图像总数: 9,060
姿态子库 21 (3×7) 1,040 21,840
姿态子库图像总数: 21,840
* 中性表情的标准正面图像没有包括在内
CAS-PEAL数据库中的原图片为640×480像素,24位RGB色彩的BMP位图图像.为了方便图像的
发布和共享,CAS-PEAL-R1库中的图像全部在原图像的基础上进行了处理.图像大小被裁减到360×480
像素,并去除了颜色信息转换为灰度图像,图像格式为BMP位图格式, 这样整个CAS-PEAL-R1共享库的
数据量为5G字节左右.CAS-PEAL-R1中的图像示例如图10-图11所示.
图10 CAS-PEAL-R1正面子库中的图像示例
图11 CAS-PEAL-R1姿态子库中的图像示例
5. CAS-PEAL-R1建议评测协议
人脸识别系统的评测工作,目的是为了评价各个识别系统的性能差距,并指导人脸识别领域未来的研
究方向.要达到这个目的,评测方法的设计尤为重要.科学的评测方法应该能够解决著名的"三熊问题"
(Three bears problem)[2].即对所有待测算法或系统来说,评测不能太难,以致超出了现有系统的识别
能力;也不能太简单,使得对所有系统的测试结果都非常好.要解决"三熊问题",就需要仔细地选择数
据库并合理地制定评测协议.本节主要介绍了我们建议的基于CAS-PEAL-R1的评测协议,主要包括基准
训练,测试集合的划分和评测性能指标等方面的内容.
5.1. CAS-PEAL-R1标准训练,测试集合划分
根据待测试算法的特性,我们从CAS-PEAL-R1人脸库中整理出了三个大的集合,分别作为训练集合
(Training Set),原型图像集合(Gallery)和测试集合(Probe Sets).
训练集合(Training Set):除了模板匹配等少数简单算法,多数人脸识别算法都是需要进行训练的.
因此,我们从正面子库中随机选择300人,每人随机选择4幅正面图像,共1,200幅图像构成训练集;
原型图像集合(Gallery):提供给算法为待识别人员建立识别原型的图像子集,包含1,040人,每人1
幅标准正面图像(正面平视,环境光照,中性表情,无饰物);
测试集合(Probe Set):提供给算法进行识别测试的图像子集.对正面子库,测试集包括除去训练集和
原型集以外余下的6,992幅图像,分为表情变化,光照变化,饰物变化,背景变化,距离变化和时间跨度
变化6个子集;对于姿态子库,测试集包括除去原型集中图像外的,水平深度姿态旋转在±30度以内的共
21,840幅姿态变化图像,分为低头,平视,抬头3个子集.
考虑到算法泛化能力(也称推广能力)的问题,严格的讲,训练集合中的图像与测试集合和原型集合
中的图像乃至人物应该是不能有重叠的.考虑到降低问题的难度,参照FERET的做法,我们的原型集合
与训练集合中的图像有部分重复.而测试集合中的图像则与训练集合和原型集合中的图像都是严格没有重
复的.上述三个子集的图片示例如图12-图15所示:
图12 训练集中的图像示例
图13 原型集中的图像示例
图14 测试集中的图像示例,正面
图15 测试集中的图像示例,姿态
5.2. 算法性能测试指标
在FERET和FRVT测试中,对测试结果的表示有比较详细说明[2,3].常用的表示不同系统间测试结
果的方法有CMC曲线和ROC曲线.在我们的测试中,为了更方便直观地表现各个系统在不同测试集合上
的识别性能,我们仅选择了各个系统在每个测试集合上的首选识别率进行比较并将测试结果综合到一个首
选识别率柱状图中进行直观的对比.
6. CAS-PEAL-R1上的基本评测情况
6.1. 特征脸(Eigenface)算法和模板匹配(Correlation)算法的评测设计
Eigenface和Correlation算法是人脸识别领域的两个基准算法,通过对这两个算法的测试,有助于检验
CAS-PEAL人脸数据库的基本难易程度.
为了有效去除背景,头发等因素的影响,我们把测试集中的图像根据双眼中心坐标位置进行了几何归
一化处理,每幅人脸图像被剪裁并缩放到32×32像素大小.此外为了进一步去除背景信息,我们在人脸上
覆盖了一个掩模(mask),从而使得每幅图像只包含了人脸内部特征区域,其最终的效果如图16-图19所
示.我们实验中的Eigenface和Correlation方法都是在这样的图像基础上进行测试的.
图16 Training set中图片示例(32×32)
图17 Gallery中的图片示例(32×32)
图18 Probe set中的图像示例(32×32),正面
图19 Probe set中的图像示例(32×32),姿态
对于Correlation方法,我们采用归一化的相关量计算方法来计算图像之间的相似度.对于Eigenface
算法,其PCA变换矩阵是对CAS-PEAL-R1训练集中所有的1200幅图像进行特征值分解得到的,综合考
虑计算速度和识别效果,我们的测试中所保留的主成分特征维数为600.
6.2. 对商业系统的测试
我们还同时对两个国外最优秀的商业人脸识别系统在CAS-PEAL-R1上的性能进行了初步评测(由于
种种原因,我们不能公开这两个商业系统的名字,仅用系统A和系统B来分别表示).这两个系统的性能
在已有的人脸识别商业系统中被认为是最好的,通过对这两个系统的评测,我们可以知道CAS-PEAL人脸
库和我们的测试方法对现有商业系统的难易度,同时可以发现更多值得进一步研究的课题方向和关键问
题. 系统A和系统B对测试图像的大小并没有特别要求,因此我们在测试过程中直接使用CAS-PEAL-R1
库中的360×480像素大小的图像.两个系统的工作过程如下:
系统首先依次读入原型集中的人脸图像和每个人脸图像的双眼位置坐标,建立起每个人的原型模板.
随后,系统读入待识别图像iI,自动在iI
中检测人脸的位置并建立待识别模板,将待识别模板与原型模板
进行比较,输出iI
与每个原型的相似度,并最终通过相似度的排序来完成整个识别过程.
6.3. 测试结果及分析
我们将Eigenface算法,Correlation算法,系统A和系统B的测试结果综合到一起,取测试结果的首
选识别率进行比较,结果如图20和图21所示.从Eigenface和Correlation算法的测试结果不难看出,在
正面子库上,Eigenface和Correlation两种算法除了在背景和距离两个子集上达到或接近了80%的识别率之
外,在表情子集上,两种算法的识别率不到60%,时间跨度子集上识别率不到50%,饰物子集上识别率不
到40%,而光照子集上识别率还不到10%;在姿态子库上,两个算法对平视姿态变化的识别率都不到40%,
而对俯仰姿态变化的识别率都不到10%.测试结果说明,Eigenface和Correlation两个基准算法不能很好地
解决饰物,表情,光照,时间跨度和姿态变化情况下的识别问题;对于背景和距离变化的情况,即使对图
像事先进行了几何归一化处理和添加掩模,Eigenface和Correlation算法的识别效果依然不能让人满意.
图20 CAS-PEAL-R1正面子库上的测试结果
图21 CAS-PEAL-R1姿态子库上的测试结果
对商业系统的测试结果显示,在我们的6个测试子集中,表现最佳的系统B对表情,背景,距离,时
间跨度几种变化的识别率已经接近100%,对饰物变化的识别率也已经超过80%.系统A尽管在饰物子集
上的表现比较差,但在背景,表情,距离子集上的性能与系统B也差别不大.但是我们也看到,对正面子
库中光照变化图像的识别率,表现最佳的系统B仍然达不到40%,系统A只有10%多一点.在姿态子库
中,平视状态下水平姿态变化识别率最高只有60%,俯仰状态下的姿态变化识别率最高也仅40%上下.这
些结果一方面表明,尽管对环境光照模式下的正面图像的饰物,表情,背景,距离等变化情况,优秀的商
业系统已经能够较好地解决识别问题,但是对复杂光照和较大范围的姿态变化,商业系统的识别性能依然
差强人意.
由测试结果可以看出,人脸识别的商业系统在CAS-PEAL人脸数据库上,对于正面图像的表情,饰物,
背景,距离等变化已经表现出了较强的鲁棒性,综合性能已经远远超出了基准的识别算法.但是商业系统
在光照和姿态子集上较差的性能也表明,如何提高光照变化条件下的正面图像识别率和姿态变化条件下的
识别率,以及如何进一步提高光照与姿态组合变化条件下的识别率,这些方面的问题还没有得到很好地解
决,将是今后人脸识别研究需要重点关注的问题.
7. 总结及未来工作
本文介绍了我们建立的CAS-PEAL人脸数据库的采集平台,创建过程和覆盖的图像变化条件.它提供
了一个大型的,多样化的人脸图像数据资源,在一定程度上弥补了国内在大规模人脸数据库方面的不足.
CAS-PEAL人脸库包含了1,040名中国人共99,450幅头肩部图像.所有图像在专门的采集环境中采集,涵
盖了姿态,表情,饰物和光照四种主要变化条件,部分人脸图像具有背景,距离和时间跨度的变化.目前
该人脸库第一版的标准训练,测试子库已经公开发布.
我们测试了Eigenface,Correlation两种基准算法,以及两种商业系统在我们已经共享的CAS-PEAL-R1
人脸图像数据库上的性能.结果表明:
1. Eigenface和Correlation算法在CAS-PEAL-R1人脸图像库上的识别性能非常差.这说明该人脸数
据库具备了一定的难度;
2. 两个最著名商业系统的识别性能远远高于基准算法,尤其是对表情,背景,距离变化的情况,取
得了接近100%的正确识别率,这说明目前的人脸识别方法对于这些变化已经具备了良好的适应
能力,而对饰物变化的鲁棒性还需要进一步的研究;
3. 两个最著名的商业系统在光照,姿态变化时的识别性能很不理想,这说明光照和姿态变化问题是
人脸识别领域需要进一步研究的关键性问题;
4. 光照和姿态两个子集不仅对于基准算法,而且对于优秀的商业系统也表现出了较大的难度,提供
了一个光照和姿态变化的人脸图像数据平台,有望在今后对这两个方面的研究中得到进一步的应
用.
评论这张
转发至微博
转发至微博
评论