手機為什么能認出是我在解鎖它？ _為什么

計算機是如何進行指紋和掌紋識別的？為什么指紋識別有時候會失敗？手機上的指紋識別與公安用的指紋識別有什么區別？1比1和1比N的指紋識別有什么區別？掌紋能用于身份識別嗎？清華大學自動化系副教授、博士生導師，中國生物特征識別學術會議（2015-2019）程序委員會主席，國際生物特征識別學術會議（2014-2016）領域主席馮建江帶來分享《計算機如何識別指紋和掌紋？》。

以下為馮建江演講實錄：
大家好，我是馮建江，我想介紹一些自己關于計算機識別指紋和掌紋的研究。
我主要講這樣幾個部分——

文章插圖
01 指紋識別的應用

文章插圖
指紋識別的應用，現在已經非常廣泛，我們可以粗略地將其分為三個方面：警方，政府，以及企事業單位，個人。

文章插圖
其中，警用AFIS是最早的自動識別系統（上世紀70年代末），因為該領域對自動識別的需求非常強烈——積累的海量數據庫靠人工識別明顯不現實。
這個系統主要有兩個功能：查犯罪前科和識別犯罪嫌疑人。

文章插圖
大家可能知道，從犯和初犯懲罰是不一樣的。所以犯罪分子如果原來犯過案，再被抓到就很可能會隱瞞。所以警察需要通過“十指比十指”來識別犯罪分子真實身份，從而查詢犯罪前科。

文章插圖
如果在犯罪現場發現了指紋，就可以將它放到以往的數據庫里面去比對，也就是“現場比十指” 。這個難度要比查犯罪前科要大很多。

文章插圖
此外，指紋識別在各種身份證件里面也有較為廣泛的應用，我們國家從2012年開始在生物特征護照以及港澳通行證里面錄入指紋。目前，北京首都機場、深圳羅湖口岸等地已經啟用基于生物特征（核驗指紋以及人像）的自助通關。
2013年，身份證也開始錄入指紋，目前應該超過5億人的身份證里面有指紋了。身份證的生物特征驗證系統已經在一些重要場所應用，比如一些敏感場所的出入驗證，以及很多地方的高考考生身份核查。

文章插圖
第三類的應用種類就特別多。指紋、人臉考勤機，很早就開始應用。還有迪斯尼樂園指紋驗票的例子：由于園區特別大，迪斯尼樂園就允許購買了通票的游客中間進出。但是怎樣防止通票轉讓多人使用呢？它就要求游客第一次入園時錄入指紋，將指紋與票綁定；以后再進就要通過指紋識別來驗票。此外還有很多，比如指紋鎖雖然出現很早，但也就是這幾年普及越來越高。生活中常見的還有iphone率先引領的指紋解鎖和指紋支付，等等。
02 指紋識別系統的一般原理
接下來，我就給大家講一下各種類型的指紋識別系統一個比較共性的原理。我們把指紋識別流程進行簡化，大概有以下三步，采集、特征提取和匹配——

文章插圖
接下來，我就按照這三步來給大家分別介紹一下。

文章插圖
第一步是指紋采集。雖然用相機拍照的指紋圖像（左圖）跟大家肉眼看到的手指一致，但其實不太適合做指紋識別，因為對比度比較低。指紋識別系統希望用到的指紋是右圖這樣的，脊線和谷線黑白分明。
那么，怎樣采集怎樣的圖像呢？

文章插圖
在非常非常古老的時候，人們就發現用油墨可以采集到質量非常好的指紋。所以從100多年前，警方就大規模使用油墨來采集有犯罪前科人員的指紋。他們會讓犯人將每根手指都在平面紙上轉一圈（rolled fingerprints），盡可能把邊邊角角全都采集到。此外，還會采集除大拇指外的四根手指并攏的圖像（plain fingerprints）。

文章插圖
油墨采集指紋的方法，現在幾乎不用了，取而代之的是電子化的采集設備。
基于超聲波的采集設備雖然應用比較少；但目前高通公司推廣的一項技術可能會改善現狀：把手機放到顯示屏下面，正面就全是屏了，一點邊框都沒有。
基于光學的采集設備非常多，警方用的基本上都是屬于這一類。它的原理是：一個倒立的三棱鏡，上面是手指，左下角射來光源，右下角設置一個集成了相機的透鏡（左圖）。發出的光線以特定角度進入棱鏡時，如果沒有接觸到凸起（放置手指會形成突起），就會發生全反射；而如果接觸到凸起，就會被吸收，不會全反射，所以就得到了一個黑白分明的、類似油墨采集的指紋圖像。
第三種就是基于電路的采集設備，現在的手機和電腦筆記本，都是采用這一類。它主要靠指紋凸起和凹陷的地方在電學上特征的不同來識別。
所以，聲、光、電都有指紋采集技術。
采集圖像之后，需要從上面要提取一些特征。什么特征呢？我們可以由從宏觀到細節的三個層次來看看。

文章插圖
第一層，反映的是指紋上面的流線的方向場和奇異點。我們一般人說，指紋是斗型還是箕形？實際上就是第一層特征。
第三層。如果我們把圖像放大，還會看到有很細節的特征，不同的人是不一樣的。脊線實際上不是一條黑線，上面有很多白色的孔——也就是出汗的地方，汗孔。另外，線周圍的輪廓也不是很直，有各種形狀。這些特別細節的特征，對于識別也是有用的。
在實際中，大部分指紋識別系統都是采用這一層，也就是細節點的特征，因為信息量非常多，而且比較穩定，也非常緊湊。

文章插圖
這是一個示意圖，展示的是怎么樣從一幅圖像通過提取圖像處理算法，提取出脊線、細節點、方向場和奇異點等等特征。

文章插圖
有了這些點，將來提供兩個指紋，我們就不是在對比圖像，而是在對比兩組點：通過某種方法，按照這些點的坐標把它編號在一起，然后就可以找到對應的點，最后根據點的匹配程度和數量計算出一個分數。
當然，如果平時用指紋識別的話，你肯定會發現有時候會識別就失敗。也就是說，模式識別系統不是完美的，有時候會出錯。我們假設系統最后會出一個分數，比如說0分就表示非常不像，100分就表示非常像。

文章插圖
真匹配，就是同一個人的手指之間的匹配，分數一般比較高；但有時候也會因為各種原因比較低。它的分數分布如圖中所示，特別高和特別低的分數比較少。
假匹配，就是不同手指之間的匹配，分數一般比較低。但是它也是一個正態分布，從低到高都有。那么，對于一個系統來說，必須要出閾值——如果超過閾值，就認為這兩根手指是同一個人的手指，否則就認為是不同的。
但是，不管閾值怎么選擇，總會發生兩種錯誤：一種是“錯誤不匹配”——本來是同一根手指，但是認為不匹配的；另外一種是“錯誤匹配”——不同手指的分數超過了閾值。

文章插圖
這是一些比較典型的“錯誤不匹配”的例子。什么情況下，會發生不匹配呢？一般來說，手指皮膚干燥（首行左）、手指磨損嚴重（首行中）、手指大量出汗（首行右）會導致識別失敗。
還有一些其他的情景，也會導致錯誤不匹配。比如左下角這張是犯罪現場的指紋，它是從一本書上掃描出來的，干擾特別嚴重。手機上采集到的指紋圖像（次行中），傳感器太小導致得到的圖像特別小，也容易出現失誤。右下角是一個變形特別厲害的指紋，我們的手是軟的，所以采集時如果角度或者力度非常夸張，就會形成這樣比較難識別的圖像。
接下來，我想介紹一些特殊的指紋識別系統的案例。
03 手機指紋識別
首先，就是手機指紋識別。其實，把指紋植入手機的想法，很早就出現了，但當時銷量比較少；真正把指紋識別變成手機的標配是從這個iphone開始的——在iphone之前，全世界每年手機指紋傳感器的出貨量其實不過百萬量級，但是有了iphone之后，達到了上億量級。這樣一個量級，就使得指紋識別技術往前推進了一步。
那么，從傳感器技術到成像識別技術，手機指紋識別相比其它的指紋識別，有什么特殊性呢？

文章插圖
手機傳感器非常小，中間這張圖就是手機指紋傳感器采集到的；而右邊這張是比較常見的考勤機和公安用的采集設備采集到的圖像。這么小的圖像，信息量肯定也比較少，有點像設置密碼，兩位數的密碼和八位數的密碼肯定不一樣。
那么，該怎么提高識別率？目前有三方面的技術可以解決這個困境。

文章插圖
第一點，多次注冊。大家首次使用手機注冊指紋的時候，它一般會要求你反復地摁，還要不停地更換手指的位置。這樣，手機就會存儲手指各個角度的圖像，就用一個比較小的傳感器采集到了盡可能多的信息。

文章插圖
第二點，充分利用指紋特征。雖然可以注冊多次，但使用的時候圖像還是很小，所以要從這個很小的圖片里面提取盡可能多的信息。如果我們還用傳統的信息特征的話（比如細節點），那閾值就太低了（質量很好的圖像可能只有兩個細節點），錯誤匹配就會非常高。所以，現在手機指紋識別普遍采用的技術，是希望能夠把指紋里面那些不如細節點穩定和顯著的特征也都用上。手機的指紋識別屬于高頻應用，一天會用很多次，所以這個時刻采集，然后隔個幾分鐘再采，就還是比較穩定的。

文章插圖
第三點，模板更新。我們把這個注冊的指紋信息叫做模板指紋，會隨著使用不斷更新——它會學習在各種皮膚狀況下手指的狀態，這項技術很重要。如果指紋識別成功，它就會認為是同一個人手指，就會把信息更新進去。所以，用得越多，識別也會越順利。
但是去年出了一個漏洞：有一個人的蘋果手機的指紋傳感器摔碎了，然后他就發現其他人的手指也能解鎖。后來，用橘子皮也能解鎖手機，事實上任何東西只要碰一下就開了。
為什么會出現這樣的事？就是因為模板更新。當傳感器有裂縫的時候，手機會把裂縫本身也當成一個模板存進去；而裂縫一直存在的，所以隨便拿一個東西去摁，它就會發現新圖像和剛才存的那個模板一致，所以誰都能解開。
04 刑偵指紋識別
接下來，我想介紹一下刑偵指紋識別。

文章插圖
所謂刑偵指紋識別，是指從犯罪現場提取一個很臟的一個指紋，然后到十指指紋數據庫里去檢索。大家可能也會注意到，有時候新聞上會說一個指紋破獲了幾十年的一起命案，這樣的案例非常非常多——少部分案件因為社會影響太大，所以會上新聞，實際上指紋破案數量非常驚人。我們國家，每年靠指紋偵破的案件就超過10萬起，也是因為這個原因，指紋被稱為“物證之首” 。
指紋有三個特性：唯一、終身不變、觸物留痕。其中，第三點對破案非常重要。
那刑偵指紋識別的難題是什么？
遺留的現場指紋非常不清晰，而且數據庫非常龐大。
這樣的技術難題，該怎樣解決呢？
這個視頻介紹了怎樣提取現場指紋。白色的板子曾被手指摸過，開始什么都看不見；但是工作人員用一個沾了黑色磁粉的刷子在上面刷，刷著刷著，指紋就顯現出來了。

文章插圖
提取出來的指紋圖像質量比較差（特別是相比傳統的光學采集儀采集到的指紋），這時候就需要一種指紋圖像增強技術，能夠盡可能地把特征還原出來。圖中所示的是一種增強技術，是將指紋上面每個位置，都用濾波器進行處理，有點像把噪音去掉、只保留指紋本身的信息。

文章插圖
嫌疑人的識別需要在一個很大的數據庫里面比對查找，也就是1對N識別技術。N代表的數字非常龐大，我國犯罪前科人員數據庫里面的指紋數量已經好幾億了。所以，將一個指紋放到好幾億個指紋里面去查誰跟它最像，難度非常大。這些年雖然技術一直在提升，但是確實太難了。
那么，現在公安怎么去查犯罪嫌疑人呢？人機融合。自動指紋識別系統會返回一個可能的列表（可能有，也有可能沒有；可能在第一名，也有可能在第幾十名），經過訓練的公安指紋專家，在一套工具的幫助下一個一個去找。
05 掌紋識別
最后，我想簡要介紹一下掌紋識別。

文章插圖
掌紋其實跟指紋非常類似，相機直接拍攝到的掌紋圖像也不適合做識別。掌紋識別需要的掌紋主要用光學采集儀，利用的原理就是全反射，能夠采集到這種黑白分明的掌紋圖像。

文章插圖
掌紋的特征，其實跟指紋基本對應（脊線、細節點、汗孔、奇異點），唯一的區別就是掌紋上的皺褶特別多，比如說圖中藍色線條就表示了三個主要皺褶，算命上也叫生命線、事業線、愛情線。除此之外，還有一些細一點、但是數量特別大的次要褶皺，特別是大拇指下面這塊。掌紋上的褶皺跟年齡沒有關系，小孩子的皺褶也很多。

文章插圖
掌紋識別，大家可能平常都沒接觸過，因為它主要應用在刑偵破案上面：警方抓到一個犯罪分子之后，會把他這個掌紋和指紋都會錄上去，將來如果在犯罪現場發現掌紋，就可以通過掌紋識別去破案了。
有一項統計數據指出，犯罪現場有30%的手紋是掌紋，70%是指紋，量還是很大的。實際上掌紋識別技術跟指紋非常類似，主要的區別就是掌紋的奇異點數量非常多，圖像又很大，所以運算采集的成本比較高。因此，這項技術進入實際應用的時間要比指紋要晚一些，范圍也比較窄。
以上就是我的分享，謝謝大家。