要闻：目前，SeetaFace开源人脸识别引擎已全部发布在Github上供国内外同行和工业界使用，项目网址为：/seetaface全文共 3488 字，阅读预计您需花费 5 分 49 秒完成；本文你将看到：人脸检测模块SeetaFace Detection；特征点定位模块SeetaFace Alignment；人脸特征提取与比对模块SeetaFace Identification；如何做一款优秀的人脸识别系统，相信您可以在 5 分 49 秒后如我一样找到答案。作者：VIPL_Face编辑校正：甲小姐Xtecher独家网址：微信公众号ID：Xtecher区分不同的人是很多智能系统的必备能力。为实现此目的，一种可能的技术手段是通过对人脸的光学成像来感知人、识别人，即所谓的人脸识别技术。经过几十年的研发积累，特别是近年来深度学习技术的涌现，人脸识别取得了长足的进步，在安防、金融、教育、社保等领域得到了越来越多的应用，成为计算机视觉领域最为成功的分支领域之一。然而，人脸识别并非完全成熟的技术，离公众期望的全面应用尚有距离，还需要学术界、工业界的共同努力。为此，整个人脸识别社区需要有基准（Baseline）系统，而且基准系统的水平显然会极大影响着该领域的发展水平。可是令人尴尬的是，这个领域迄今尚无一套包括所有技术模块的、完全开源的基准人脸识别系统！我们希望改变现状，因此开源了SeetaFace人脸识别引擎。该引擎由中科院计算所山世光研究员带领的人脸识别研究组研发。代码基于C++实现，且不依赖于任何第三方的库函数，开源协议为BSD-2，可供学术界和工业界免费使用。SeetaFace人脸识别引擎包括了搭建一套全自动人脸识别系统所需的三个核心模块，即：人脸检测模块SeetaFace Detection、面部特征点定位模块SeetaFace Alignment以及人脸特征提取与比对模块SeetaFace Identification。其中，SeetaFace Detection采用了一种结合传统人造特征与多层感知机（MLP）的级联结构，在FDDB上达到了84.4%的召回率（100个误检时），并可在单个i7 CPU上实时处理VGA分辨率的图像。面部特征点定位模块SeetaFace Alignment通过级联多个深度模型（栈式自编码网络）来回归5个关键特征点（两眼中心、鼻尖和两个嘴角）的位置，在AFLW数据库上达到state-of-the-art的精度，定位速度在单个i7 CPU上超过200fps。人脸识别模块SeetaFace Identification采用一个9层的卷积神经网络（CNN）来提取人脸特征，在LFW数据库上达到97.1%的精度（注：采用SeetaFace人脸检测和SeetaFace面部特征点定位作为前端进行全自动识别的情况下），特征提取速度为每图120ms（在单个i7 CPU上）。下面对上述三个模块的情况做简要介绍，更详细的介绍请参考我们相应的学术论文。人脸检测模块SeetaFace Detection该模块基于我们提出的一种结合经典级联结构和多层神经网络的人脸检测方法[1]实现，其所采用的漏斗型级联结构（Funnel-Structured Cascade，FuSt）专门针对多姿态人脸检测而设计，其中引入了由粗到精的设计理念，兼顾了速度和精度的平衡。如图1所示，FuSt级联结构在顶部由多个针对不同姿态的快速LAB级联分类器[2]构成，紧接着是若干个基于SURF特征的多层感知机（MLP）级联结构，最后由一个统一的MLP级联结构（同样基于SURF特征）来处理所有姿态的候选窗口，整体上呈现出上宽下窄的漏斗形状。从上往下，各个层次上的分类器及其所采用的特征逐步变得复杂，从而可以保留人脸窗口并排除越来越难与人脸区分的非人脸候选窗口。图1. SeetaFace人脸检测模块所采用的FuSt漏斗型级联结构[1]与SeetaFace Detection开源代码配套开放的是一个准正面人脸检测模型（使用了约20万人脸图像训练而来），可以实现准正面人脸的准确检测（旋转角度约45度以内，但对于姿态偏转较大的人脸也具备一定的检测能力），图2给出了一些检测结果的示例（注：测试时图像金字塔下采样比例设置为0.8，滑动步长设置为4和2，最小人脸设置为20x20）。在人脸检测领域最重要的评测集FDDB上对SeetaFace Detector进行评测，在输出100个误检时（FPPI=0.035）召回率达到84.4%，输出1000个误检时召回率达到88.0%。图3则给出了SeetaFace Detector在FDDB上的离散型得分ROC曲线，并与其它已发表的学术界公开结果（从FDDB官网获得）进行了对比。不难看出，尽管SeetaFace人脸检测器并非目前精度最高的，但在学术界公开的结果中仍然具有很强的竞争力，而且可以完全满足多数人脸识别系统的需求。图2. SeetaFace Detection人脸检测结果的示例图3. SeetaFace Detector在FDDB上的ROC曲线此外，与其他算法相比，SeetaFace Detector在速度上有一定优势。对于640x480大小的VGA图像，检测速度的对比情况如表1所示。其中，SeetaFace的速度在单个3.40GHz的i7-3770 CPU上测得，Cascade CNN[3]在CPU上的速度在2.0GHz的CPU上测得（引自原文）。而各方法在GPU上的速度在NVIDIA Titan Black GPU上测得。表1. SeetaFace Detector的检测速度及其与其他方法的对比情况检测器最小人脸CPU速度GPU速度SeetaFace
(near-frontal)40x4016
FPSn/aSeetaFace
(near-frontal)80x8055
FPSn/aCascade
CNN [3]80x809.1
FPSFacenessNet
[4]80x80n/a20
FPS注：测试时SeetaFace Detector的滑动窗口步长设置为4，图像金字塔下采样步长设置为0.8。而Cascade CNN [2]中图像金字塔下采样步长为0.7（对应的尺度因子为1.414）。特征点定位模块SeetaFace Alignment面部特征点定位（人脸对齐）在人脸识别、表情识别、人脸动画合成等诸多人脸分析任务中扮演着非常重要的角色。由于姿态、表情、光照和遮挡等因素的影响，真实场景下的人脸对齐任务是一个非常困难的问题。形式上，该问题可以看作是从人脸表观到人脸形状的复杂非线性映射。为此，SeetaFace Alignment采用的是我们提出的一种由粗到精的自编码器网络（Coarse-to-Fine Auto-encoder Networks, CFAN [8]）来求解这个复杂的非线性映射过程。如图4所示，CFAN级联了多级栈式自编码器网络，其中的每一级都刻画从人脸表观到人脸形状的部分非线性映射。具体来说，输入一个人脸区域（由人脸检测模块得到），第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0。然后，提高输入人脸图像的分辨率，并抽取当前人脸形状S0（相应提升分辨率）各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果。以此类推，通过级联多个栈式自编码器网络，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果。图4.基于由粗到精自编码器网络（CFAN）的实时人脸对齐方法[8]此次开源的SeetaFace Alignment基于上述CFAN方法实现了5个面部关键特征点（两眼中心，鼻尖和两个嘴角）的精确定位，训练集包括23,000余幅人脸图像（标注了5点）。需要注意的是，为加速之目的，在基本不损失精度的情况下，开源实现中将CFAN级联的数目减少到了2级，从而可在单颗Intel i7- GHz CPU)上达到每个人脸5ms的处理速度（不包括人脸检测时间）。图5给出了一些用SeetaFace Alignment开源引擎定位面部5点的效果示例，可见其对表情、姿态、肤色等均具有较好的鲁棒性。在AFLW数据集上的量化评价和对比情况如图6所示，其中平均定位误差根据两眼中心距离做了归一化。不难看出，SeetaFace Alignment取得了state-of-the-art的定位结果。图5. SeetaFace Alignment定位结果示例图6. SeetaFace Alignment在AFLW数据集上的定位误差及对比情况其中LE：左眼，RE：右眼，N：鼻尖，LM：左嘴角，RM：右嘴角人脸特征提取与比对模块SeetaFace Identification人脸识别本质上是要计算两幅图像中人脸的相似程度，其一为注册阶段（类比人的相识过程）输入系统的，另一幅为识别阶段（即再见时的辨认过程）的输入。为此，如图7所示，一套全自动的人脸识别系统在完成前述的人脸检测与人脸对齐两个步骤之后，即进入第三个核心步骤：人脸特征提取和比对。这个阶段也是深度学习风起云涌之后进步最大的模块，目前大多数优秀的人脸识别算法均采用卷积神经网络（CNN）来学习特征提取器（即图7中的函数F）。图7.人脸识别系统的核心流程1：人脸监测；2：关键点位与人脸对齐；3人脸特征提取、比对与判定。SeetaFace开源的人脸特征提取模块也是基于卷积神经网络的。具体地说，其实现的是[9]中所描述的深度卷积神经网络VIPLFaceNet：一个包含7个卷积层与2个全连接层的DCNN。其直接修改自Hinton教授的学生Alex Krizhevsky等于2012年设计的AlexNet（即引爆CNN在视觉中广泛应用的网络）。如表2对比所示，与AlexNet相比，VIPLFaceNet将5x5的卷积核拆分为两层3x3的卷积核，从而增加了网络深度，而并没有增加计算量；VIPLFaceNet还减少了每个卷积层的kernel数目以及FC2层的节点数。同时，通过引入Fast Normalization Layer（FNL），加速了VIPLFaceNet的收敛速度，并在一定程度上提升了模型的泛化能力。测试表明，在相同训练集情况下，VIPLFaceNet在LFW测试集上识别错误率比AlexNet降低了40%，而训练和测试时间分别为AlexNet的20%和60%。表2. SeetaFace Identification所采用的VIPLFaceNet与AlexNet网络结构对比[9]与开源的SeetaFace Identification代码一起发布的人脸识别模型是使用140万人脸图像训练出来的，这些训练图像来自于约1.6万人，其中既有东方人也有西方人。人脸特征直接采用VIPLFaceNet FC2层的2048个结点的输出，特征比对可简单采用Cosine计算相似度，然后进行阈值比较（验证应用）或排序（识别应用）即可。该引擎在多数人脸识别场景下均具有良好的性能，例如，在LFW standardImage-Restricted测试协议下，使用SeetaFace Detector与SeetaFace Alignment检测并对齐人脸，采用SeetaFace Identification进行特征提取和比对，可以达到97.1%的识别正确率（请注意：这是系统全自动运行的结果，对少量不能检到人脸的图像，截取中间区域输入人脸对齐模块即可）。速度方面，在单颗Intel i7-3770 CPU上，开源代码提取一张人脸之特征的时间约为120ms（不含人脸检测和特征点定位时间）。开源网址目前，SeetaFace开源人脸识别引擎已全部发布在Github上供国内外同行和工业界使用，项目网址为：/seetaface参考文献：[1] Shuzhe Wu, Meina Kan, Zhenliang He, Shiguang Shan, and Xilin Chen. Funnel-Structured Cascade for Multi-View Face Detection with Alignment-Awareness. Neurocomputing (under review), 2016.[2] Shengye Yan, Shiguang Shan, Xilin Chen, Wen Gao. Locally Assembled Binary (LAB) Feature for Fast and Accurate Face Detection. IEEE Computer Society International Conference on Computer Vision and Pattern Recognition, CVPR2008, Anchorage, Alaska, U.S.A, Jun. 2008[3] Haoxiang Li, Zhe Lin, Xiaohui Shen, Jonathan Brandt, and Gang Hua. A convolutional neural network cascade for face detection. CVPR 2015.[4] Shuo Yang, Ping Luo, Chen Change Loy, and Xiaoou Tang. From Facial Parts Responses to Face Detection: A Deep Learning Approach. ICCV 2015.[5] Xuehan Xiong, Fernando De la Torre. Supervised descent method and its applications to face alignment. CVPR 2013[6] Yi Sun, Xiaogang Wang, Xiaoou Tang. Deep Convolutional Network Cascade for Facial Point Detection. CVPR 2013[7] Zhanpeng Zhang, Ping Luo, Chen Change Loy, Xiaoou Tang. Facial Landmark Detection by Deep Multi-task Learning. ECCV 2014[8] Jie Zhang, Shiguang Shan, Meina Kan, Xilin Chen. Coarse-to-Fine Auto-Encoder Networks (CFAN) for Real-Time Face Alignment. ECCV 2014[9] Xin Liu, Meina Kan, Wanglong Wu, Shiguang Shan, Xilin Chen. VIPLFaceNet: An Open Source Deep Face Recognition SDK. Frontier of Computer Science, Accepted相关阅读：【首发】千万级融资创业，中科院研究员山世光首发声：我们瞄准的不仅是人脸识别｜Xtecher人物特稿（点击图片阅读）点击 | 关键词 | 查看对应内容精品文章：Xtecher人物特稿人工智能达闼科技 黄晓庆（上\下） | Rokid 黄伽卫快乐智慧 雷鸣 | 出门问问 李志飞驭势科技 吴甘沙 | 格灵深瞳 赵勇地平线 方懿 | 彩云天气 袁行远车和家 李想丨51猎头 刘维Face Think 杨松帆|中科视拓 山世光虚拟现实诺亦腾 戴若犁 | 大朋VR 陈朝阳Ximmerse 贺杰 | Pico 周宏伟焰火工坊 娄池 | HTCVR 汪丛青七鑫易维 彭凡 |影创科技 孙立大数据中网数据 孙远根 | 昆仑数据 陆薇永洪科技 何春涛 | 华农天时 温晗秋子GrowingIO 张溪梦 | ThinkingData 吕承通神策数据 桑文锋 | 海云数据 冯一村佳格数据 张弓 | 普林科技 王储其他科技创业者科幻作家 郝景芳 |Ping++ 金亦冶人本健康 陈恂 | 墨刀 张元一 Vinci 宋斯纯| 诸葛io 孔淼奇点机智 宋嘉伟 | 瀚诺半导体 张诚禾赛科技 李一帆 | Haplox 许明炎零壹空间 舒畅 | abc Fintech 杨永智51猎头 刘维 | 奥图科技 叶晨光如果你拥有高精尖科技创业项目，Xtecher将为你提供：1.专业的科技人物特稿和视频拍摄2.在Xtecher官网、APP、微信的全方位展示3.最专业的科技圈投资人、政府资源、产业资源4.创业企业品牌管家与PR服务即刻扫码，联系我们。微信号：Xtecher关注未来的人都关注了Xtecher 栏目推荐 Xtecher联合喜马拉雅，推出科技音频脱口秀《甲小姐说》。在本专辑中，甲小姐将不断给你们讲讲科技创业圈里面，有趣、有料、有干货的内容，满足你的小好奇。甲小姐说最新一期火热出炉：《不是你项目不好，是你不会表达》▼ ▼ ▼
该文章作者已设置需关注才可以留言
该文章作者已设置需关注才可以留言
以上留言由公众号筛选后显示
了解留言功能详情
分享到：微信QQ好友空间新浪微博腾讯微博人人腾讯朋友豆瓣百度首页百度收藏天涯社区一键分享文章出自Xtecher微信公众号Xtecher微信号:Xtecher 打造全球最有品质的科技创业媒体 手机微信扫描上方二维码进行订阅Xtecher微信公众号最新文章 无人驾驶再升级&不能保证全没事&|&每日科技速递
【开源】SeetaFace开源人脸识别引擎！｜Xtecher要闻
大学开设电竞专业！但并不适合网瘾少年&|&每日科技速递
以量化风控成功避险2015股灾&奇点创世李翛然的“最大损失可控原则”｜Xtecher人物特稿
3D打印&给你一颗年轻的心&|&每日科技速递
最新科技微信公众号文章推荐 你们看到了“资本寒冬”，我却看到三大历史性创业机会
小米4c爆炸致三级烧伤&官方称已获理解
虏获大众点评张涛400万首投&她托管240只嫩宝宝&不哭不闹享妈妈般陪伴
深度：格局、用户、生态，阿里云云市场的6字决
昆仑万维创始人离婚，妻子分走75亿；iOS&10正式版全面推送；网易新闻拟分拆融资3亿美元|黑马早报
科技微信公众号相关阅读互联网创业笔记
精品手机app
互联网那些事
ZEALER订阅号
微信公众帐号排行榜生活小常识1409050精读1195040野史秘闻669610女神美女图582990智慧人生475230爱稀奇有趣431800八卦娱乐头条423590环球旅行380930人体艺术网153200草民一介130910互联网创业笔记101070一句话签名91100哲想动画66610教你怎么追女孩56600哲想软件51800中巢网43520搞笑福利社37980佛陀网官网33440锡兰之星31460赏金侠31280
精品号随机推荐精读养生美颜小知识深圳微商城玩转上海祝福语动物世界24时头条网万万没想到衣食住行揭骗网那些有关于美的&人体艺术网美图志蜜桃SE职场蚂蚁微阅读小测试音乐美文台火星驻地球办事处国粹古韵最值得关注的微信公众号搞笑福利社搞笑图文+送福利！ 中巢网中巢网是知名的中文新闻门户网站，看新闻，必上中巢网。快速、准确地提供文字、图片、视频等多样化的资讯服 环球旅行环球旅行，带你看遍全球美景。让你了解旅行的意义。 佛陀网官网探究佛学，阿弥陀佛！ 八卦娱乐头条搜罗更多劲爆事件，娱乐花边新闻，最受关注的图片更多精彩敬请关注！八卦娱乐头条！！！ 生活小常识提倡国人品质生活，选择有机生态的生活方式，健康，养生，休闲，品味，修炼自己，温暖他人！ 爱稀奇有趣想了解有关科技、趣味、创意和新奇的产品吗,想寻找创意小礼品和新鲜玩意吗? 野史秘闻野史君一一道来，让你看到不一样的历史，让你发现原来历史可以这样看。 女神美女图每日新鲜美女推送，分享优雅女神高清图片 爱电影喜欢电影朋友关注我吧，我们一起学习交流
欢迎转载：
推荐： 　　　你正在使用的浏览器版本过低，将不能正常浏览和使用知乎。目前，SeetaFace开源人脸识别引擎已全部发布在Github上供国内外同行和工业界使用。开源的根本目的，在于需要迅速获取大量的实验
机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里 IT 经理网为您总结
在2012年，我整理了一份有关计算机视觉的热门论文清单。我把论文的研究重点放在视觉科学上，避免其与图形处理、调研和纯静态处理
新话题8171
总话题329359
会员数6318
参与人数：14人
参与人数：13人
参与人数：1人
参与人数：3人
: : : : : : : : : :
生物认证方法-
定位人脸特征点-
zhangyuelong
shirleyYim
识别车牌号码-
回忆Childhoo
计算机的火眼金星-
leozhang303
模拟人类大脑机制-
liyongbuct
用机器来代替人类-
爱死你2011
低头花已谢
数据是算法的灵魂-
mstester2011
共享资源，分享知识-
中科院黄庆明主讲的模式识别课程视频教程下载，对计算
发表主题：
我今天最想说:「怒了怒了怒了」.
发表主题：
CASIA人脸数据库介绍如下：
Pushing by big data and
发表主题：
AFLW人脸数据库是一个包括多姿态、多视角的
发表主题：
我今天最想说:「奋斗！」.
发表主题：
技术资源编程
昨天&09:47
[厦门美图公司]
[上海医疗器械公司]
[北京中科信软科技有限公司]
[东方网力科技股份有限公司]
[北京市海淀区中关村东路保福寺桥南恒兴大厦]
[中科信软科技有限公司]
热门 · 版块/ 欢迎您的加入，论坛因您而精彩！
1今日新帖（2340）
2今日新帖（1057）
3今日新帖（249）
4今日新帖（231）
5今日新帖（128）
6今日新帖（82）
7今日新帖（38）
8今日新帖（35）
9今日新帖（29）
10今日新帖（15）
11今日新帖（11）
12今日新帖（7）
Copyright &
/ 版权所有 All Rights Reserved.
Powered by Discuz! X3.2&&&&&中科院山世光老师开源的Seetaface人脸识别引擎.jpg
中科院山世光老师开源的Seetaface人脸识别引擎.jpg
中科院山世光老师开源的Seetaface人脸识别引擎-架构解析图
若举报审核通过，可奖励20下载分
被举报人：
taily_duan
举报的资源分：
请选择类型
资源无法下载
资源无法使用
标题与实际内容不符
含有危害国家安全内容
含有反动色情等内容
含广告内容
版权问题，侵犯个人或公司的版权
*详细原因：
VIP下载&&免积分60元/年（1200次）
您可能还需要
开发技术下载排行