用AI使蒙娜麗莎動起來，甚至是跟著你的表情一起運(yùn)動，隨著技術(shù)的發(fā)展，這些都已經(jīng)不是什么新鮮事了。

這些面部追蹤系統(tǒng)，往往都需要一定精度的攝像頭。

但是，如果文摘菌告訴你，這些攝像頭其實(shí)全都可以撤掉呢？

別急著反駁，這已經(jīng)被康奈爾大學(xué)的研究人員實(shí)現(xiàn)了，整個過程他們沒有用到過一個面對用戶正臉的攝像頭，就成功地實(shí)現(xiàn)了面部追蹤，至于效果，好像也沒有差到哪兒去。

按照慣例，我們還是先看看追蹤效果如何：

既然沒有用到攝像頭，那我們來試試戴上口罩的效果：

這時候可能有人想問了，不用攝像頭，怎么追蹤到的面部表情？

文摘菌給一個提示，看到他們戴在耳朵上的儀器了嗎？是的，他們主要使用的，其實(shí)就是那副耳機(jī)，用戶的表情就能被實(shí)時轉(zhuǎn)換為表情。

這種方法比用攝像頭的“傳統(tǒng)方法”更好的一點(diǎn)在于，即使戴著口罩，系統(tǒng)也可以追蹤用戶的面部表情，這樣的話人們就不用專門取下口罩了。

這個系統(tǒng)被取名為C－Face（Contour－Face）。

康奈爾大學(xué)SciFi實(shí)驗(yàn)室主任、C－Face論文的高級作者張鋮在一份聲明中說：“該設(shè)備比任何現(xiàn)有的耳掛式可穿戴技術(shù)都更簡單、更引人注目，功能也會更強(qiáng)大�！�

“在以前的旨在識別面部表情的可穿戴技術(shù)中，大多數(shù)解決方案都需要在面部上安裝傳感器，但即使用了如此多的傳感器，不少系統(tǒng)最終也只能識別有限的一組離散面部表情�！�

抓取42個特征點(diǎn)，C－Face還支持無聲命令和聊天表情發(fā)送 在這個項(xiàng)目中，研究人員也不是完全沒有用到攝像頭，只不過他們用得及其隱蔽。 可能已經(jīng)有“陳獨(dú)秀”想要搶答了，注意觀察使用者的耳朵下方，左右分別配備了一個RGB攝像頭，這些攝像頭能夠在使用者移動面部肌肉時，記錄下臉頰輪廓的變化。        

除了入耳式耳機(jī)，頭戴式耳機(jī)也同樣可以安裝攝像頭，進(jìn)行面部識別工作。        

在使用計(jì)算機(jī)視覺和深度學(xué)習(xí)模型重建圖像后，卷積神經(jīng)網(wǎng)絡(luò)能夠分析2D圖像，將面部特征轉(zhuǎn)換為42個面部特征點(diǎn)，這些特征點(diǎn)分別代表了使用者的嘴巴、眼睛和眉毛的位置和形狀。  有了詳細(xì)的臉部追蹤數(shù)據(jù)，C－Face可以將這些數(shù)據(jù)轉(zhuǎn)換成八種不同表情，包括中立或憤怒。 不僅如此，C－Face還支持使用面部表情控制音樂應(yīng)用程序上的播放選項(xiàng)。 手機(jī)在桌上充電，但是現(xiàn)在只想攤在沙發(fā)上不想動，你甚至不用說出聲音，就能播放歌曲：        

或者，你在聊天的時候想要發(fā)送表情，但是死活找不到表情包了，怎么辦？ 這個時候，你可以直接做出相關(guān)表情，系統(tǒng)就能識別并直接發(fā)送出去，簡直不要太方便：        

      不過，由于受到新冠疫情的影響，研究人員目前只在9名參與者的情況下測試了C－Face。盡管數(shù)量不大，但表情識別的準(zhǔn)確度超過了88％，面部提示的準(zhǔn)確度超過了85％。 同時，研究人員發(fā)現(xiàn)，耳機(jī)的電池容量限制了該系統(tǒng)的持續(xù)作用，他們正在計(jì)劃開發(fā)功耗更低的傳感技術(shù)。 深耕于人機(jī)交互領(lǐng)域的華人教授張鋮
在這個項(xiàng)目的研發(fā)團(tuán)隊(duì)中，文摘菌發(fā)現(xiàn)了一位華人教授的身影——張鋮，他也是這個研發(fā)團(tuán)隊(duì)的負(fù)責(zé)人。 根據(jù)張鋮個人網(wǎng)站介紹，他目前是康奈爾大學(xué)計(jì)算機(jī)和信息科學(xué)的助理教授，同時也是未來交互智能計(jì)算機(jī)接口（Smart Computer Interfaces for Future Interaction，SciFi）實(shí)驗(yàn)室主任。        

 從南開大學(xué)的本科，到以中國科學(xué)院軟件研究所的優(yōu)秀畢業(yè)生身份畢業(yè)，再到前往美國佐治亞理工學(xué)院Ubicomp實(shí)驗(yàn)室繼續(xù)深造，張鋮始終對普適計(jì)算（ubiquitous computing）和人機(jī)交互（HCI）懷有濃厚的興趣。 在中國科學(xué)院期間，他就針對有形用戶界面、兒童人機(jī)交互、音樂界面等進(jìn)行了初步研究，獲得了第一手的研究經(jīng)驗(yàn)。 在張鋮的博士論文中，他介紹了10種用于可穿戴設(shè)備的新型輸入技術(shù)，有些利用了商用設(shè)備，有些采用了新的硬件。與大多數(shù)人不同，張鋮習(xí)慣于從頭到尾建造傳感系統(tǒng)，包括理解物理現(xiàn)象、構(gòu)建硬件原型、設(shè)計(jì)形式因素、處理數(shù)據(jù)和設(shè)計(jì)算法（機(jī)器學(xué)習(xí)或基于物理的建模）。 截至目前，張鋮在人機(jī)交互和普適計(jì)算領(lǐng)域的頂級會議和期刊上發(fā)表了十多篇論文，還獲得了兩項(xiàng)最佳論文獎，同時他還身懷超過10項(xiàng)美國和國際專利。 如果有同學(xué)對人機(jī)交互感興趣，可以多逛逛SciFi實(shí)驗(yàn)室主頁，他們還有好多有意思的項(xiàng)目～