1）人臉采集：

　?。?）簡介：

　　不同的人臉圖像通過攝像鏡頭采集得到，比如靜態(tài)圖像、動(dòng)態(tài)圖像、不同的位置、不同表情等，當(dāng)采集對(duì)象在設(shè)備的拍攝范圍內(nèi)時(shí)，采集設(shè)備會(huì)自動(dòng)搜索并拍攝人臉圖像。

　?。?）人臉采集的主要影響因素：

　　圖像大?。喝四槇D像過小會(huì)影響識(shí)別效果，人臉圖像過大會(huì)影響識(shí)別速度。非專業(yè)人臉識(shí)別攝像頭常見規(guī)定的最小識(shí)別人臉像素為60*60或100*100以上。在規(guī)定的圖像大小內(nèi)，算法更容易提升準(zhǔn)確率和召回率。圖像大小反映在實(shí)際應(yīng)用場(chǎng)景就是人臉離攝像頭的距離。

　　圖像分辨率：越低的圖像分辨率越難識(shí)別。圖像大小綜合圖像分辨率，直接影響攝像頭識(shí)別距離?，F(xiàn)4K攝像頭看清人臉的最遠(yuǎn)距離是10米，7K攝像頭是20米。

　　光照環(huán)境：過曝或過暗的光照環(huán)境都會(huì)影響人臉識(shí)別效果?？梢詮臄z像頭自帶的功能補(bǔ)光或?yàn)V光平衡光照影響，也可以利用算法模型優(yōu)化圖像光線。

　　模糊程度：實(shí)際場(chǎng)景主要著力解決運(yùn)動(dòng)模糊，人臉相對(duì)于攝像頭的移動(dòng)經(jīng)常會(huì)產(chǎn)生運(yùn)動(dòng)模糊。部分?jǐn)z像頭有抗模糊的功能，而在成本有限的情況下，考慮通過算法模型優(yōu)化此問題。

　　遮擋程度：五官無遮擋、臉部邊緣清晰的圖像為最佳。而在實(shí)際場(chǎng)景中，很多人臉都會(huì)被帽子、眼鏡、口罩等遮擋物遮擋，這部分?jǐn)?shù)據(jù)需要根據(jù)算法要求決定是否留用訓(xùn)練。

　　采集角度：人臉相對(duì)于攝像頭角度為正臉最佳。但實(shí)際場(chǎng)景中往往很難抓拍正臉。因此算法模型需訓(xùn)練包含左右側(cè)人臉、上下側(cè)人臉的數(shù)據(jù)。工業(yè)施工上攝像頭安置的角度，需滿足人臉與攝像頭構(gòu)成的角度在算法識(shí)別范圍內(nèi)的要求。

　　2）人臉檢測(cè)：

　?。?）簡介：

　　在圖像中準(zhǔn)確標(biāo)定出人臉的位置和大小，并把其中有用的信息挑出來（如直方圖特征、顏色特征、模板特征、結(jié)構(gòu)特征及Haar特征等），然后利用信息來達(dá)到人臉檢測(cè)的目的。

　?。?）人臉關(guān)鍵點(diǎn)檢測(cè)（人臉對(duì)齊）：

　　自動(dòng)估計(jì)人臉圖片上臉部特征點(diǎn)的坐標(biāo)。

　　（3）主流方法：

　　基于檢測(cè)出的特征采用Adaboost學(xué)習(xí)算法（一種用來分類的方法，它把一些比較弱的分類方法合在一起，組合出新的很強(qiáng)的分類方法）挑選出一些最能代表人臉的矩形特征（弱分類器），按照加權(quán)投票的方式將弱分類器構(gòu)造為一個(gè)強(qiáng)分類器，再將訓(xùn)練得到的若干強(qiáng)分類器串聯(lián)組成一個(gè)級(jí)聯(lián)結(jié)構(gòu)的層疊分類器，有效地提高分類器的檢測(cè)速度。

　　最近人臉檢測(cè)算法模型的流派包括三類及其之間的組合：viola-jones框架（性能一般速度尚可，適合移動(dòng)端、嵌入式上使用），dpm（速度較慢），cnn（性能不錯(cuò)）。

　　3）人臉圖像預(yù)處理：

　?。?）簡介：

　　基于人臉檢測(cè)結(jié)果，對(duì)圖像進(jìn)行處理并最終服務(wù)于特征提取的過程。

　　（2）原因：

　　系統(tǒng)獲取的原始圖像由于受到各種條件的限制和隨機(jī)干擾，往往不能直接使用，必須在圖像處理的早期階段對(duì)它進(jìn)行灰度矯正、噪聲過濾等圖像預(yù)處理。

　?。?）主要預(yù)處理過程：

　　人臉對(duì)準(zhǔn)（得到人臉位置端正的圖像），人臉圖像的光線補(bǔ)償，灰度變換、直方圖均衡化、歸一化（取得尺寸一致，灰度取值范圍相同的標(biāo)準(zhǔn)化人臉圖像），幾何校正、中值濾波（圖片的平滑操作以消除噪聲）以及銳化等。

　　4）人臉特征提?。?br />
　　（1）簡介：

　　人臉識(shí)別系統(tǒng)可使用的特征通常分為視覺特征、像素統(tǒng)計(jì)特征、人臉圖像變換系數(shù)特征、人臉圖像代數(shù)特征等。人臉特征提取就是針對(duì)人臉的某些特征進(jìn)行的，也稱人臉表征，它是對(duì)人臉進(jìn)行特征建模的過程

　　（2）人臉特征提取的方法：

　　1、基于知識(shí)的表征方法（主要包括基于幾何特征法和模板匹配法）：

　　根據(jù)人臉器官的形狀描述以及它們之間的距離特性來獲得有助于人臉分類的特征數(shù)據(jù)，其特征分量通常包括特征點(diǎn)間的歐氏距離、曲率、和角度等。人臉由眼睛、鼻子、嘴、下巴等局部構(gòu)成，對(duì)這些局部和他們之間結(jié)構(gòu)關(guān)系的幾何描述，可作為識(shí)別人臉的重要特征，這些特征被稱為幾何特征。

　　2、基于代數(shù)特征或統(tǒng)計(jì)學(xué)習(xí)的表征方法：

　　基于代數(shù)特征方法的基本思想是將人臉在空域內(nèi)的高維描述轉(zhuǎn)化為頻域或者其他空間內(nèi)的低維描述，其表征方法為線性投影表征方法和非線性投影表征方法。

　　基于線性投影的方法主要有主成分分析法或稱K-L變化、獨(dú)立成分分析法和Fisher線性判別分析法。非線性特征提取方法有兩個(gè)重要的分支：基于核的特征提取技術(shù)和以流形學(xué)習(xí)為主導(dǎo)的特征提取技術(shù)。

　　5）匹配與識(shí)別：

　　提取的人臉特征值數(shù)據(jù)與數(shù)據(jù)庫中存貯的特征模板進(jìn)行搜索匹配，通過設(shè)定一個(gè)閾值，將相似度與這一閾值進(jìn)行比較，來對(duì)人臉的身份信息進(jìn)行判斷。

　　3、人臉識(shí)別的主要方法

　　1）EigenFace（特征臉）

　　MIT實(shí)驗(yàn)室的特克（Turk）和潘特（Pentland）提出的“特征臉”方法無疑是這一時(shí)期內(nèi)最負(fù)盛名的人臉識(shí)別方法。其后的很多人臉識(shí)別技術(shù)都或多或少與特征臉有關(guān)系，現(xiàn)在特征臉已經(jīng)與歸一化的協(xié)相關(guān)量(NormalizedCorrelation)方法一道成為人臉識(shí)別的性能測(cè)試基準(zhǔn)算法。

　　//blog.csdn.net/zizi7/article/details/52757300（人臉識(shí)別特征臉?biāo)惴ㄎ臋n）

　　2）FisherFace（漁夫臉）：

　　貝爾胡米爾（Belhumeur）等提出的Fisherface人臉識(shí)別方法是這一時(shí)期的另一重要成果。該方法首先采用主成分分析（PCA）對(duì)圖像表觀特征進(jìn)行降維。在此基礎(chǔ)上，采用線性判別分析（LDA）的方法變換降維后的主成分以期獲得“盡量大的類間散度和盡量小的類內(nèi)散度”。該方法目前仍然是主流的人臉識(shí)別方法之一，產(chǎn)生了很多不同的變種，比如零空間法、子空間判別模型、增強(qiáng)判別模型、直接的LDA判別方法以及近期的一些基于核學(xué)習(xí)的改進(jìn)策略。

　　https://blog.csdn.net/zizi7/article/details/52999432（FisherFace算法文檔）

　　3）EGM（彈性圖匹配）

　　其基本思想是用一個(gè)屬性圖來描述人臉：屬性圖的頂點(diǎn)代表面部關(guān)鍵特征點(diǎn)，其屬性為相應(yīng)特征點(diǎn)處的多分辨率、多方向局部特征——Gabor變換12特征，稱為Jet；邊的屬性則為不同特征點(diǎn)之間的幾何關(guān)系。對(duì)任意輸入人臉圖像，彈性圖匹配通過一種優(yōu)化搜索策略來定位預(yù)先定義的若干面部關(guān)鍵特征點(diǎn)，同時(shí)提取它們的Jet特征，得到輸入圖像的屬性圖。最后通過計(jì)算其與已知人臉屬性圖的相似度來完成識(shí)別過程。該方法的優(yōu)點(diǎn)是既保留了面部的全局結(jié)構(gòu)特征，也對(duì)人臉的關(guān)鍵局部特征進(jìn)行了建模。

　　https://blog.csdn.net/real_myth/article/details/44828219（彈性圖匹配算法文檔）

　　4）基于幾何特征的方法

　　幾何特征可以是眼、鼻、嘴等的形狀和它們之間的幾何關(guān)系（如相互之間的距離）。這些算法識(shí)別速度快，需要的內(nèi)存小，但識(shí)別率較低。

　　5）基于神經(jīng)網(wǎng)絡(luò)的方法

　　神經(jīng)網(wǎng)絡(luò)的輸入可以是降低分辨率的人臉圖像、局部區(qū)域的自相關(guān)函數(shù)、局部紋理的二階矩等。這類方法同樣需要較多的樣本進(jìn)行訓(xùn)練，而在許多應(yīng)用中，樣本數(shù)量是很有限的。

　　6）基于線段Hausdorff距離(LHD)的方法

　　心理學(xué)的研究表明，人類在識(shí)別輪廓圖（比如漫畫）的速度和準(zhǔn)確度上絲毫不比識(shí)別灰度圖差。LHD是基于從人臉灰度圖像中提取出來的線段圖的，它定義的是兩個(gè)線段集之間的距離，與眾不同的是，LHD并不建立不同線段集之間線段的一一對(duì)應(yīng)關(guān)系，因此它更能適應(yīng)線段圖之間的微小變化。實(shí)驗(yàn)結(jié)果表明，LHD在不同光照條件下和不同姿態(tài)情況下都有非常出色的表現(xiàn)，但是它在大表情的情況下識(shí)別效果不好。

　　7）基于支持向量機(jī)(SVM)的方法

　　近年來，支持向量機(jī)是統(tǒng)計(jì)模式識(shí)別領(lǐng)域的一個(gè)新的熱點(diǎn)，它試圖使得學(xué)習(xí)機(jī)在經(jīng)驗(yàn)風(fēng)險(xiǎn)和泛化能力上達(dá)到一種妥協(xié)，從而提高學(xué)習(xí)機(jī)的性能。支持向量機(jī)主要解決的是一個(gè)2分類問題，它的基本思想是試圖把一個(gè)低維的線性不可分的問題轉(zhuǎn)化成一個(gè)高維的線性可分的問題。通常的實(shí)驗(yàn)結(jié)果表明SVM有較好的識(shí)別率，但是它需要大量的訓(xùn)練樣本（每類300個(gè)），這在實(shí)際應(yīng)用中往往是不現(xiàn)實(shí)的。而且支持向量機(jī)訓(xùn)練時(shí)間長，方法實(shí)現(xiàn)復(fù)雜，該函數(shù)的取法沒有統(tǒng)一的理論。

　　4、技術(shù)發(fā)展方向

　　1）結(jié)合三維信息：二維和三維信息融合使特征更加魯棒

　　2）多特征融合：單一特征難以應(yīng)對(duì)復(fù)雜的光照和姿態(tài)變化

　　3）大規(guī)模人臉比對(duì)：面向海量數(shù)據(jù)的人臉比對(duì)與搜索

　　4）深度學(xué)習(xí)：在大數(shù)據(jù)條件下充分發(fā)揮深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力

　　5、人臉識(shí)別數(shù)據(jù)庫

　　1）Yale人臉數(shù)據(jù)庫

　　2）ORL人臉數(shù)據(jù)庫

　　3）CMUPIE人臉數(shù)據(jù)庫

　　4）FERET人臉數(shù)據(jù)庫

　　5）MIT數(shù)據(jù)庫

　　6）BANCA人臉數(shù)據(jù)庫

　　7）CAS-PEAL人臉數(shù)據(jù)庫

　　8）JAFE表情數(shù)據(jù)庫

　　9）Cohn-Kanade表情數(shù)據(jù)庫

　　10）MMI表情數(shù)據(jù)庫

　　6、技術(shù)指標(biāo)

　　1）人臉檢測(cè)中的關(guān)鍵指標(biāo)：

　　例子：在攝像頭某張抓拍圖像中，一共有100張人臉，算法檢測(cè)出80張人臉，其中75張是真實(shí)人臉，5張是把路標(biāo)誤識(shí)為人臉。

　　1、檢測(cè)率：識(shí)別正確的人臉/圖中所有的人臉。檢測(cè)率越高，代表檢測(cè)模型效果越好。

　　2、誤檢率：識(shí)別錯(cuò)誤的人臉/識(shí)別出來的人臉。誤檢率越低，代表檢測(cè)模型效果越好。

　　3、漏檢率：未識(shí)別出來的人臉/圖中所有的人臉。漏檢率越低，代表檢測(cè)模型效果越好。

　　4、速度：從采集圖像完成到人臉檢測(cè)完成的時(shí)間。時(shí)間約短，檢測(cè)模型效果越好。

　　在這個(gè)實(shí)際案例中：檢測(cè)率=75/100誤檢率=5/80漏檢率=（100-75）/100

　　2）人臉識(shí)別中的關(guān)鍵指標(biāo)：

　　1000張樣本圖片里，共600張正樣本。相似度為0.9的圖片一共100張，其中正樣本為99張。雖然0.9閾值的正確率很高，為99/100；但是0.9閾值正確輸出的數(shù)量確很少，只有99/600。這樣很容易發(fā)生漏識(shí)的情況。

　　1、精確率（precision）：識(shí)別為正確的樣本數(shù)/識(shí)別出來的樣本數(shù)=99/100

　　2、召回率（recall）：識(shí)別為正確的樣本數(shù)/所有樣本中正確的數(shù)=99/600

　　3、錯(cuò)誤接受率/認(rèn)假率/誤識(shí)率（FARFalseAcceptRate）：

　　1、定義：指將身份不同的兩張照片，判別為相同身份，越低越好

　　2、FAR=NFA/NIRA

　　3、式中NIRA代表的是類間測(cè)試次數(shù)，既不同類別間的測(cè)試次數(shù)，打比方如果有1000個(gè)識(shí)別模型，有1000個(gè)人要識(shí)別，而且每人只提供一個(gè)待識(shí)別的素材，那NIRA=1000*(1000-1)。NFA是錯(cuò)誤接受次數(shù)。

　　4、FAR決定了系統(tǒng)的安全性，F(xiàn)RR決定了系統(tǒng)的易用程度，在實(shí)際中，F(xiàn)AR對(duì)應(yīng)的風(fēng)險(xiǎn)遠(yuǎn)遠(yuǎn)高于FRR，因此，生物識(shí)別系統(tǒng)中，會(huì)將FAR設(shè)置為一個(gè)非常低的范圍，如萬分之一甚至百萬分之一，在FAR固定的條件下，F(xiàn)RR低于5%，這樣的系統(tǒng)才有實(shí)用價(jià)值。

　　4、錯(cuò)誤拒絕率/拒真率/拒識(shí)率（FRRFalseRejectRate）：

　　1、定義：指將身份相同的兩張照片，判別為不同身份，越低越好

　　2、FRR=NFR/NGRA

　　3、上式中NFR是類內(nèi)測(cè)試次數(shù)，既同類別內(nèi)的測(cè)試次數(shù)，打比方如果有1000個(gè)識(shí)別模型，有1000個(gè)人要識(shí)別，而且每人只提供一個(gè)待識(shí)別的素材，那NIRA=1000，如果每個(gè)人提供N張圖片，那么NIRA=N*1000。NFR是錯(cuò)誤拒絕次數(shù)。