人臉的特征有一定的不變性和唯一性，人臉識別是在進行身份確認時的一種方式，可以提供一個人的性別、年齡、民族等等相關信息。在人臉識別中展現出來的技術是令人驚異的，但通過計算去識別人臉，卻是非常難實現的問題，面臨諸多挑戰。

　　這些往往都由于人臉表情復雜，具有多樣變化能力，造成人臉特征的顯著改變。隨年齡改變，人臉皺紋的出現和面部肌肉的松弛使得人臉的結構和紋理都將發生改變。還有人臉特征遮掩，人臉全部、部分遮掩將會造成錯誤識別。同時，人臉圖像畸變，由于光照、視角、攝取角度不同，可能會造成圖像的灰度畸變、角度旋轉等，這些極大地增大了識別難度。

　　人臉識別屬于3D生物識別，是生物模式識別的研究領域，生物識別驗證未來極有可能取代現在的密碼驗證，所需要的技術，充滿挑戰性。

　　越客科技：新科技——刷臉支付逐漸“融入”融生活，刷臉支付代理加盟迎來歷史新機遇！

　　人臉識別 抓取面部 幾百個特征點  識別率 達到99.99% 基本不會出錯 估計最大的挑戰是整容  和老化吧

　　人臉識別技術應用在提升身份認證便捷度和效率的同時，也給個人隱私和數據保護帶來了巨大的挑戰。僅在2019年，媒體就報道了多起人臉識別技術使用不當的相關事件：

　　問題場景一——數據泄露隱患：6月6日，微軟公司疑似因隱私保護和授權瑕疵方面的原因刪除了曾為全球最大的人臉識別數據庫MS Celeb。據悉，MS Celeb數據庫于2016年發布，擁有超過1000萬張圖像以及將近10萬人的面部信息，用于培訓全球科技公司和軍事研究人員的面部識別系統。而在微軟刪除該數據庫前，IBM、松下電氣、阿里巴巴、輝達、日立、商湯科技、曠視科技等多個商業組織都曾使用過MS Celeb數據庫。

　　問題場景二——使用必要性存疑：8月21日，瑞典北斯部蓋樂夫提市的一所高中因使用面部識別技術來監控學生的出勤情況，被瑞典數據監管機構（The Swedish Data Inspection Authority，DPA）處以20萬瑞典克朗（人民幣14.8萬元）的罰款。這是歐盟的《通用數據保護條例》（General Data Protection Regulation，簡稱GDPR）生效以來，瑞典數據監管機構公布的首張罰單。瑞典數據監管機構認為，該學校使用面部識別技術來監控學生的出勤情況，事先未向瑞典DPA尋求咨詢，在日常環境中對學生進行攝像監控等行為侵犯了學生的隱私，違反了GDPR關于處理敏感生物特征數據的規定。

　　問題場景三——濫用數據風險：此前，伊利諾伊州的一起集體訴訟案指控臉書公司濫用面部識別數據，并要求賠償350億美元，臉書要求美國一家法院駁回此案。10月18日，舊金山第九巡回法院的三名法官組成的小組駁回了臉書的請求。此案涉及700萬用戶，臉書可能會面臨向每個用戶賠償1000至5000美元的罰款，總罰款金額最高可能達到350億美元。法庭文件說：“臉書的面部識別技術違反了伊利諾伊州的生物特征信息隱私法（BIPA）。違反BIPA的規定實際上損害了用戶的隱私，或會對他們的隱私構成實質性的威脅。”

　　問題場景四——安全隱憂：12月12日，美國人工智能公司Kneron測試團隊在荷蘭最大的機場史基浦機場用手機屏幕上的一張照片騙過了自助登機終端，再次引起了人們對人臉識別準確性和安全性的關注。此外，該團隊還用一個特制的3D面具成功蒙騙了微信和支付寶等人臉識別支付系統。同樣引起了人們對人臉識別支付安全性的擔憂。

　　上述事件報道不僅引起了公眾的對人臉識別技術應用邊界與個人隱私保護的高度關注，也促使業界和監管者對一路高歌猛進的人臉識別應用進行深刻反思。

　　第一，嚴重侵犯個人隱私。首先，大部分公共場所在采集人臉信息時并未明確告知，使得被動采集成為常態；其次，在機場、火車站、公園、銀行、學校、公司（小區）門禁或考勤等人臉識別的應用中用戶幾乎完全沒有選擇權利，只能被動接受；再次，人臉識別技術濫用，隱私安全風險高筑，面相分析、換臉、換裝、試妝、測膚質等娛樂小程序，以及刷臉支付售貨機等隨處可見，毫無邊界的人臉識別技術應用，正肆無忌憚地收集著用戶的人臉數據及個人隱私。

　　第二，數據安全保障機制缺失。數據采集、存儲與使用等規范缺失，導致數據泄漏風險極高。首先，當前關于人臉識別技術產品生產企業資質、產品的安全標準和市場準入標準，數據的存儲資質和時限，以及對已獲取數據的使用權限等缺少明確規定。其次，生產企業和提供應用服務的企業在數據存儲和使用中缺乏透明度。再次，網絡安全生態環境持續惡化，人臉數據庫泄漏事件也時有發生。

　　第三，識別技術有待進一步完善。目前，人臉識別應用還達不到百分之百的準確。尤其是針對不同種族和民族群體識別的錯誤率差異比較大。例如，麻省理工媒體實驗室和微軟的一項合作研究曾顯示，人臉識別的準確率與膚色高度相關。當被識別的圖像中為白人時，正確率超過90%；而對于膚色較深的女性，準確率僅為65%。因此，用于比對的基礎數據庫不僅需要考慮種族和民族樣本平衡性，也需要盡可能確保樣本數量的有效性。此外，姿勢、裝飾（帽子、眼鏡、口罩等）和光線等變量均會對識別結果產生影響。

　　第四，部分不當應用可能導致歧視。現今，人臉識別技術在招聘、交友、婚戀、教育等領域也屢見不鮮。通過對人臉數據的分析，對個體的性格、心理、能力、情商等進行評定，給出相應建議。然而，限于技術水平、原始數據精準度、算法隱含的價值判斷，以及數據庫樣本量的有效性等諸多因素，使得這類應用可能擴大某種偏見，引發歧視。

　　此外，作為身份驗證手段，人臉識別技術存在先天缺陷。相對于指紋、虹膜、聲音、聲紋、基因等其他用于身份識別的生物信息，人臉暴露度較高，更容易實現被動采集。這也同時意味著人臉信息的數據更容易被竊取，不僅可能侵犯個人隱私，還會帶來財產損失，甚至大規模的數據庫泄露還會對一個族群或國家帶來安全風險。

　　針對上述問題，有必要對人臉識別技術的無限制推廣和擴張及時“剎車”，并盡快采取相應措施防范和規制人臉識別技術的應用。

　　在回答題主的問題的時候，我覺得應該注意做『科研』和做『產品』之間的區別。論文中匯報的人臉識別技術是屬于科研的行列。比如在 LFW 上 99.7%，這種數字的意義更多是讓搞研究的那個圈子里面的人更加直觀的了解到一些情況，你也知道，通常來說這個準確率是非常高的了，所以我們可以說『人臉識別技術在 上已經很成熟了』，但是一模一樣的技術，拿到真實環境下得到的準確率可能只有75%……也許會有些人覺得這是很可笑的，不，請不要笑，這是科研圈里朋友的普遍做法，不是沒有苦衷的。

　　搗騰過 LFW 的朋友其實心里都清楚，這并不是一個很好的數據庫。圖片都是從網上下載的，人臉的質量也是千差萬別，有人說這樣才接近真實情況……但實際上距離大部分的實際應用場景還是太遠了。

　　目前評價科研中算法的優劣的唯一方法就是找一個數據集，然后大家一起對比，數據集的不同算法得到的結果也會不同，然而……論文上通常是有報喜不報憂的惡習的，所以常常會有不公平的對比存在，隨著越來越多更大的人臉數據集的慢慢增加，對于算法的評價會可能會變得稍微公平一些……即便是這樣，論文里所謂的人臉識別技術，跟可用的『產品』之間的差距仍然很大。

　　這并不是說論文的算法不好，而是『產品』的天性。大部分產品都是針對性的解決一類或幾類問題，產品講究是速度，穩定性，成本，等等，不同的產品通常可以加入不同的先驗甚至額外的硬件來提升產品的可用性。這是做『產品』和做『科研』的區別。

　　舉兩個容易理解的例子：

　　某著名手機廠商想開發一個自己的人臉解鎖功能，在第一次使用手機的時候，經過一個人臉注冊的過程，記錄下手機主人的樣子，在之后的使用中如果被觸發，就進行人臉驗證，解鎖。這里你如果上來一個幾十層網絡的卷積網絡，這個是不行的……因為速度很重要，內存也重要，如果你一個網絡模型一上來就已經幾十兆幾百兆了，產品經理會瘋的。做產品的往往是想在保證用戶體驗的情況下，使用最少的資源。所以最后的產品可能是……下面是我瞎掰的……檢測到人臉，檢測五官的基本 landmark，然后通過幾何關系約束來縮小識別范圍，再用簡單的特征比如 LBP，在一個一千張主人人臉的數據庫進行驗證，驗證里可能有各種 trick，并且這個一千張人臉的數據庫也是實時更新的，比如當前識別正確了，那么就加入進去，如果識別錯了，就把這個數據提取特征作為反例存起來……一個可用的產品總是包含了很多看似沒有道理的 trick 的，但是就是這些構成了產品的核心技術。

　　另外一個例子，做人臉識別，但是是做煤礦工的……請自行腦補一臉煤的辛苦礦工。在這個場景下面，你連人臉檢測都沒法弄啊……加上光照和臉上煤的干擾，論文上的算法基本上是沒辦法用的。如果是你，你怎么去做識別？

　　做一個產品的時候，思路是需要很開闊的。比如人臉的檢測實際上是可以通過雙目視覺來做的，兩個廉價攝像頭，簡單的算法通過三角化得到一個稀疏的深度圖，利用深度信息來做人臉的檢測，然后基于眼睛和嘴唇來做識別，眼睛和嘴的識別可以用卷積網絡來做，但是真是的產品里面可能還會考慮身高信息，當然，在洞里還需要考慮補光的問題……

　　說完了這兩個例子之后，再回到題主的問題上來吧：

　　『請問目前業內人臉識別技術的挑戰和難點是什么。為什么沒有成熟可靠的商業應用。但是論文中已經接近 99.7%了。實踐和論文的差距是什么。是不是人臉識別的研究沒得搞了。』如果題主這里說的『業內』指的是科研行業，挑戰和難點其實都不好說……有些問題是可解決的，有些問題是不可解決的，比如化妝和雙胞胎的問題，其實長得像也是很普遍的例子。人臉識別這個行業存在一個由大佬們吹出來的硬傷，就是它在真實環境下總是無法達到 100%的可靠，但是總被吹成是極其可靠……以至于領域外的人瞪大眼睛激動地要往里砸錢要項目上線……所以人臉識別在產業界總會給土老板們帶去失望。

　　稍微有點偏，別回來。

　　我假設這里的業內并不是『科研界』，而是工業界，產業界，『產品』界，那么有很多地方其實都有成熟應用了，比如海關的過關人臉識別系統，當然人家會加上身份證或者指紋來雙重驗證，比如人臉識別的門禁系統，這個作為產品已經有了，雖然發生了『司機賣掉趙薇豪宅那個事』，但我還是相信在這個應用場景下，這個產品是可以達到可用的程度的。人臉識別技術最大的一個客戶可能就是政府了，這個是讓我有些傷感的事情，同時我也覺得這個東西在公安系統里面也是『采購了，但是極少用到，領導來了，我們就演示一下 Demo，真辦案了，還是要靠人來篩選一下以防疏漏』。

　　另外最近那些銀行推出一些自動服務機器，里面有人臉識別功能，道理其實跟過海關一樣，你需要的是身份證，人臉，密碼甚至指紋……即便是把人臉識別關掉了……也是可以正常運作的……我常常好奇，為什么有些公司，不遺余力地去集中做一個產品落地很難的人臉識別技術……并且其做法仍然是按照學術那樣，收集大量的數據集，然后交給科研人員，然后搞幾個算法，提高準確率，然后把代碼交給碼農去優化，碼農優化完，產品經理覺得仍然沒法上線，但是上線壓力太大，于是給科研和碼農施壓，科研人員也煩躁，只能過來給碼農施壓，碼農無處訴苦，開始自我懷疑，失去自信，變得煩躁，更年期早到……

　　這可能是做科研出身的人，突然跑去做產品的通病。

　　論文和實踐的差別在于數據和方法。針對數據選擇方法，是用很多種方法融合，針對不同的情況調試不同的參數，使用不同的 trick，甚至使用外圍的硬件輔助，最終的目的是提升產品的綜合體驗。人臉識別，實際的產品里面，最深奧的算法復雜程度也不會超過那些開源出來的已有算法，理解那些通用的算法，再去一線做產品應該足夠了。但是注意，這些算法也許根本不會構成你產品的核心技術，真正的核心技術是你做產品的時候處理各種情況，各種數據的經驗公式和方法。

　　在科研里，人臉識別技術還是有很多可以去研究的東西的，比如怎么用更小的數據更小的模型得到更好的準確率。比如怎么克服光照的影響，比如怎么通過局部特征來完成準確識別……。

　　但是如果是去做產品的話，我認為不需要遲疑，不要仰望科研成果。貼近一線的數據和場景，花時間分析數據鉆研工程方法，也許就做出來了。

　　人臉識別目前面臨的挑戰主要分成兩個部分：

　　第一是國內法律法規不完善。

　　實際上，目前國內針對個人信息的法規并不少。

　　1. 《民法總則》第111條規定，任何組織和個人需要獲取他人個人信息的，應當依法取得并確保信息安全，不得非法收集、使用、加工、傳輸他人個人信息，不得非法買賣、提供或者公開他人個人信息。2. 《網絡安全法》第41條規定，網絡運營者收集、使用個人信息，應當遵循合法、正當、必要的原則；第76條規定，個人信息包括但不限于自然人的姓名、出生日期、身份證件號碼、個人生物識別信息、住址、電話號碼等。3. 于今年10月1日實施的《信息安全技術個人信息安全規范》則規定，在收集個人生物識別信息前，應單獨向個人信息主體告知并征得個人信息主體的明示同意；該《規范》同時還對收集人臉識別信息的收集、存儲、使用等方面作出了明確的規定。但這個《規范》只是推薦性的標準，沒有法律強制約束力。這意味著，現有的法律法規只規范到“個人信息”，但對更細分的“人臉”信息誰能用、如何用沒有明確的規定。

　　備注為“浙江京衡律師事務所高級合伙人李迎春博士律師”的知乎作者對“人臉識別第一案”的結果進行解讀時也稱，該案的宣判，也是從“合同法”的角度認定“動物世界”違背合同約定的。

　　第二是市場的逐利性。這不是人臉識別技術本身的問題，而是經濟規律使然——變的是武器，不變的是逐利。

　　在法律不完善的情況下，一旦有商業利益的驅使，人臉識別就很容易滑過隱私侵犯的邊界。

　　比如今年9月人臉識別頭部企業曠視科技就曾身陷“交易用戶隱私數據”的漩渦。起因是創新工場李開復在一次演講中稱，創新工場曾經幫助曠視從美圖、螞蟻金服（現改為“螞蟻集團”）拿到大量人臉數據。事后，三方也對這一提法進行回應和澄清，但大眾對人臉識別公司為了完善產品或技術而購買、使用隱私數據的關注和擔憂卻并未停止。

　　包括前文提到的“人臉識別進課堂”事件中，該人臉識別系統的開發者正是曠視科技。在事件引起大眾關注后，曠視發布聲明回應稱，這是技術場景化概念演示，曠視在教育領域的產品專注于校園安全。

　　此舉背后，不排除有商業壓力的推動。彼時曠視已成立7年，落地場景主要集中在安防、金融、物聯、零售等行業，但其在商業化上仍面臨壓力，從財報中仍可見一斑——2019年8月其在港交所提交的招股書中列出過去三年半的經營數據：2016年、2017年、2018年及2019上半年的凈虧損分別是3.42億、7.59億、33.52億、52億[1]。

　　更進一步，在沒有法律約束和商業壓力下，如果人臉識別被不法商業機構隨意使用、買賣，其后果將是個人安全受到極大威脅，隨之帶來一連串的社會隱患。

　　實際上，這種情況是新技術出現時的普遍現象，因為法律很難對新技術的應用做事前的規定。而在不加規范、沒有監管的情況下，新技術越自由競爭，越容易被濫用。