人脸表情识别算法及应用 内容简介

本书主要研究了表情识别系统基本理论、算法设计和应用。书中分别以动态人脸表情、微表情、鲁棒表情为识别对象， 系统介绍了相关特征提取、分类算法的技术方法， 并设计了一套主动视觉人脸跟踪与表情识别系统。
本书可供从事模式识别、表情识别、人脸识别系统研究的科研人员、相关专业的研究生或高年级本科学生使用。

人脸表情识别算法及应用 本书特色

让机器看懂你的眼神
为读者提供一本反映当前表情识别系统发展水平的专业参考书籍。

人脸表情识别算法及应用人脸表情识别算法及应用前言

随着计算机技术的不断发展，人们在享受计算机带来的方便与快捷的同时，对人机互动的需求也不断增加。人机智能交互变得尤为重要。如果计算机像人类一样能主动适应周围的环境，并且还能观察、理解和产生各种“情感”，这将从根本上改变人与计算机之间的关系，*终实现自然、富有情感、和谐的人机交互，使计算机能够更好、更全方位地为人类服务。由于人脸表情传递着丰富的个人情感信息，是人们非语言交流的一种重要方式，在人与人之间的交流中扮演着重要的角色，因此计算机通过对人脸表情进行识别，可以感知人的情感和意图，与人类的交互就会变得更加智能。近年来，人脸表情识别已成为国内外模式识别和人工智能领域的研究热点，其内容涉及到心理学、社会学、数学、认知科学、生物学、计算机科学等众多学科，是一个极富挑战性的交叉课题。
本书以人脸表情识别为研究对象，比较全面系统地研究了人脸表情识别系统的基本理论、算法设计和应用，设计了一套主动视觉人脸跟踪与表情识别系统。书中分别以动态人脸表情、微表情、鲁棒表情为识别对象，介绍了相关特征提取、分类算法的技术方法。书中各部分主要内容如下：第1 章是人脸表情识别系统的概述，还介绍了相关技术的国内外发展现状。第2 章针对复杂背景彩色图像人脸快速检测的问题，提出了一种人脸检测与定位的方法。第3 章针对动态人脸表情特征提取的问题，提出了基于Candide3 模型的人脸表情跟踪及动态特征提取方法。第4 章详细讨论了基于动态图像序列的表情图像分类及实现方法。第5 章研究并讨论了基于主动外观模型的人脸动态序列图像表情特征提取算法。第6 章设计了基于子空间分析和改进*近邻分类的表情识别算法。第7 章针对微表情序列图像的分析，提出了一种微表情序列图像的预处理方法。第8 章设计了基于多尺度LBP-TOP 的微表情特征提取方法。第9 章提出了基于全局光流特征提取与LBP-TOP 特征结合的微表情特征提取算法。第10 章讨论了基于支持向量机和随机森林的微表情识别的分类器设计方法。第11 章提出了一种基于Gabor 多方向特征融合与分块直方图的表情特征提取方法。第12 章针对光照变化下的表情分析问题，研究了基于对称双线性模型的光照鲁棒性人脸表情分析。第13 章针对局部遮挡情况下的表情特征提取问题，研究了一种基于局部特征径向编码的局部遮挡表情特征提取方法。第14 章针对局部遮挡表情特征提取，设计了局部累加核支持向量机分类器算法。第15 章设计了一套基于主动视觉的人脸跟踪与表情识别系统。
本书由笔者团队结合吉林省科技项目及吉林大学“985工程”科技创新平台，从事表情识别系统研究，特别是人脸面部表情识别系统关键技术的教学和研究成果积累编写而成。书中很多应用技术和进展是笔者及所在课题组多年研究和开发成果的汇集，旨在为读者提供一本适合于当前表情识别系统发展水平的专业参考书籍。本书可供从事模式识别、表情识别、人脸识别系统研究的科研人员、相关专业的研究生或高年级本科学生使用。
本书由吉林大学田彦涛教授、长春工业大学刘帅师博士与东北师范大学万川博士编写而成。在编写过程中，王新竹硕士、郭艳君硕士、高旭硕士、张轩阁硕士为本书的部分章节提供了宝贵素材；吉林大学洪伟副教授、隋振副教授，长春工业大学廉宇峰副教授、孙中波博士为本书的编写给予了很大帮助。在此表示感谢！
由于笔者水平有限，书中难免存在不妥之处，敬请广大读者批评指正。
著者
说明:为了方便读者学习,书中部分图片提供电子版(提供电子版的图,在图上有“电子版”标识),在www.cip.com.cn/资源下载/配书资源中查找书名或者书号即可下载。

人脸表情识别算法及应用 目录

第1 章绪论/ 1
1．1人脸表情识别系统概述/ 1
1．2基于动态图像序列的人脸表情识别的研究情况/ 2
1．3微表情识别的研究情况/ 4
1．3．1微表情识别的应用研究/ 4
1．3．2微表情表达的研究/ 4
1．3．3微表情识别的算法研究/ 4
1．3．4微表情数据库的研究/ 5
1．4鲁棒性人脸表情识别的研究情况/ 6
1．4．1面部有遮挡的表情识别研究现状/ 7
1．4．2非均匀光照下的表情识别研究现状/ 7
1．4．3与视角无关的表情识别研究现状/ 8
1．5人脸表情识别相关资料汇总/ 8
参考文献/ 8
第2 章人脸检测与定位/ 9
2．1概述/ 9
2．2基于肤色分割和模板匹配算法的快速人脸检测/ 10
2．2．1基于彩色信息的图像分割/ 10
2．2．2自适应模板匹配/ 12
2．2．3仿真实验及结果分析/ 14
2．3改进Adaboost 算法的人脸检测/ 15
2．3．1由扩展的Haar-like 特征生成弱分类器/ 16
2．3．2Adaboost 算法生成强分类器/ 16
2．3．3级联分类器的生成/ 18
2．3．4极端学习机/ 20
2．3．5仿真实验及结果分析/ 22
参考文献/ 25
第3 章基于Candide3 模型的人脸表情跟踪及动态特征提取/ 26
3．1概述/ 26
3．2基于Candide3 人脸模型的跟踪算法研究/ 26
3．2．1Candide3 人脸模型的研究/ 26
3．2．2基于Candide3 模型的跟踪算法研究/ 28
3．3跟踪算法改进/ 33
3．3．1光照处理/ 33
3．3．2基于在线表观模型的跟踪算法/ 34
3．3．3模型的自动初始化研究/ 34
3．3．4改进算法后跟踪实验/ 36
3．4动态特征提取/ 37
3．4．1特征点的跟踪/ 37
3．4．2动态特征提取/ 38
3．4．3基于k 均值的聚类分析/ 39
参考文献/ 42
第4 章表情分类的实现/ 44
4．1概述/ 44
4．2K 近邻分类器/ 44
4．2．1K 近邻规则/ 44
4．2．2K 近邻分类的距离度量/ 44
4．2．3基于K 近邻分类器的分类实验/ 45
4．3流形学习/ 46
4．3．1主成分分析（PCA）/ 47
4．3．2拉普拉斯映射（LE）/ 47
4．3．3基于流形学习的降维分类实验/ 48
4．4支持向量机/ 51
4．4．1支持向量机的基本思想/ 51
4．4．2非线性支持向量机/ 52
4．4．3基于支持向量机的分类实验/ 52
4．5基于Adaboost 的分类研究/ 53
4．5．1Adaboost 算法/ 53
4．5．2基于Adaboost 的分类实验/ 54
参考文献/ 55
第5 章人脸动态序列图像表情特征提取/ 56
5．1概述/ 56
5．2基于主动外观模型的运动特征提取/ 56
5．2．1主动形状模型/ 56
5．2．2几何特征提取/ 57
5．3基于Candide3 三维人脸模型的动态特征提取/ 59
5．3．1Candide3 三维人脸模型/ 59
5．3．2提取表情运动参数特征/ 59
5．4动态时间规整（DTW）/ 61
5．5特征选择/ 64
5．5．1基于Fisher 准则的特征选择/ 64
5．5．2基于分布估计算法的特征选择/ 65
5．6仿真实验及结果分析/ 67
5．6．1基于主动外观模型的运动特征提取/ 67
5．6．2基于Candide3 模型的动态特征提取/ 69
参考文献/ 72
第6 章基于子空间分析和改进*近邻分类的表情识别/ 74
6．1概述/ 74
6．2特征降维/ 74
6．2．1非线性流形学习方法/ 74
6．2．2线性子空间方法/ 76
6．3改进*近邻分类法/ 81
6．4仿真实验及结果分析/ 84
参考文献/ 85
第7 章微表情序列图像预处理/ 86
7．1概述/ 86
7．2灰度归一化/ 86
7．3尺度归一化/ 88
7．4序列长度归一化/ 89
7．4．1时间插值法原理/ 90
7．4．2时间插值法建模/ 91
7．4．3时间插值法实现/ 93
参考文献/ 95
第8 章基于多尺度LBP-TOP 的微表情特征提取/ 97
8．1概述/ 97
8．2多尺度分析/ 97
8．2．1平滑滤波/ 97
8．2．2高斯微分/ 99
8．3局部二值模式/ 101
8．3．1原始LBP/ 101
8．3．2改进LBP/ 102
8．3．3降维/ 103
8．3．4静态特征统计/ 105
8．4时空局部二值模式/ 106
8．4．1LBP-TOP/ 107
8．4．2动态特征统计/ 109
8．5多尺度LBP-TOP/ 112
参考文献/ 114
第9 章基于全局光流与LBP-TOP 特征结合的微表情特征提取/ 115
9．1概述/ 115
9．2相关理论/ 115
9．2．1运动场及光流场/ 115
9．2．2经典计算方法/ 116
9．3问题描述/ 117
9．3．1约束条件/ 117
9．3．2模型构建/ 119
9．4算法实现/ 120
9．4．1目标优化/ 120
9．4．2多分辨率策略/ 122
9．4．3特征统计/ 124
9．5光流与LBP-TOP 特征结合/ 128
参考文献/ 129
第10 章人脸微表情分类器设计及实验分析/ 131
10．1概述/ 131
10．2支持向量机/ 131
10．2．1分类原理/ 131
10．2．2样本空间/ 132
10．2．3模型参数优化/ 135
10．3随机森林/ 136
10．3．1集成学习/ 137
10．3．2决策树/ 137
10．3．3组合分类模型/ 139
10．4评价准则/ 141
10．5实验对比验证/ 143
10．5．1识别LBP-TOP 特征/ 143
10．5．2识别GDLBP-TOP 特征/ 146
10．5．3识别OF 特征/ 147
10．5．4识别LBP-TOP＋OF 特征/ 149
参考文献/ 153
第11 章基于Gabor 多方向特征融合与分块直方图的表情特征提取/ 155
11．1概述/ 155
11．2人脸表情图像的Gabor 特征表征/ 156
11．2．1二维Gabor 滤波器/ 156
11．2．2人脸表情图像的Gabor 特征表征/ 157
11．3二维Gabor 小波多方向特征融合/ 159
11．3．1融合规则1/ 159
11．3．2融合规则2/ 160
11．4分块直方图特征选择/ 161
11．5基于Gabor 特征融合与分块直方图统计的特征提取/ 162
11．6算法可行性分析/ 163
11．7实验描述及结果分析/ 164
11．7．1实验流程/ 164
11．7．2表情图库中图像预处理/ 165
11．7．3实验描述/ 166
11．7．4实验结果分析/ 167
11．7．5所选融合特征的尺度分析/ 169
参考文献/ 170
第12 章基于对称双线性模型的光照鲁棒性人脸表情分析/ 172
12．1概述/ 172
12．2双线性模型/ 174
12．3基于对称双线性变换的表情图像处理/ 175
12．4光照变换/ 178
12．5实验描述及结果分析/ 181
12．5．1实验描述/ 181
12．5．2实验对比/ 182
参考文献/ 185
第13 章基于局部特征径向编码的局部遮挡表情特征提取/ 187
13．1概述/ 187
13．2表情图像预处理/ 188
13．3局部特征提取与表征/ 190
13．4Gabor 特征径向编码/ 190
13．5算法可行性分析/ 193
13．6实验描述及结果分析/ 193
13．6．1局部子块数对识别结果的影响/ 195
13．6．2径向网格尺寸对识别结果的影响/ 195
13．6．3左/右人脸区域遮挡对识别结果的影响/ 196
13．6．4不同局部特征编码方法的实验对比分析/ 196
13．6．5遮挡对于表情识别的影响/ 197
参考文献/ 198
第14 章局部累加核支持向量机分类器/ 201
14．1概述/ 201
14．2支持向量机基本理论/ 202
14．2．1广义*优分类面/ 202
14．2．2线性分类问题/ 203
14．2．3支持向量机/ 205
14．2．4核函数/ 206
14．3局部径向基累加核支持向量机/ 206
14．4局部归一化线性累加核支持向量机/ 207
14．5实验描述及结果分析/ 209
14．5．1实验描述/ 209
14．5．2对比实验/ 210
参考文献/ 213
第15 章基于主动视觉的人脸跟踪与表情识别系统/ 214
15．1概述/ 214
15．2系统架构/ 214
15．2．1硬件设计/ 214
15．2．2交互界面的设计/ 217
15．3相关算法/ 218
15．3．1云台跟踪算法/ 218
15．3．2表情识别算法/ 220
15．4仿真实验及结果分析/ 221
15．4．1人脸定位跟踪实验/ 221
15．4．2人脸表情识别实验/ 224
参考文献/ 227
索引/ 229