隨著近幾年人工智能的快速發(fā)展，人臉識別、視頻結構化和大數(shù)據分析等技術不斷完善，原本用途單一的安防產品功能逐步走向多元化。同時，安防產業(yè)開始與交通、社區(qū)、港務等多領域進行融合，安防的邊界越來越模糊，安防產業(yè)已經進入一個全新的泛安防時代。

據IDC Global DataSphere預測，2020全球視頻監(jiān)控產生的數(shù)據約18．1PB （1PB＝1024TB），占同期物聯(lián)網總數(shù)據量83．1％，構成了物聯(lián)網數(shù)據的主體。安防領域視頻攝像頭的分辨率越來越高，部署場景也越發(fā)廣泛，從而導致數(shù)據規(guī)模高速增長，這給傳輸帶寬及存儲帶來了很大的壓力，也提出了更高的要求。

然而在實際應用中，出于各種人力和技術條件的限制，這些數(shù)據的利用效率很低。由于視頻數(shù)據是非結構化數(shù)據，在缺乏以AI為代表的結構化手段時，視頻數(shù)據利用率非常低�；�于AI的智慧安防系統(tǒng)能夠實現(xiàn)獲取、存儲和分析大量的監(jiān)控視頻數(shù)據，并通過復雜的深度學習算法來執(zhí)行視頻分析，給應用領域帶來顯著的經濟效益和業(yè)務增長。

如果將AI直接部署到監(jiān)控攝像機，人工智能可以對視頻數(shù)據進行結構化處理和分析，提取對我們有用的信息，從而激活數(shù)據，提高安防效率。然而，在落地實施的過程中，存在諸多挑戰(zhàn)。一方面是應用場景碎片化，各行各業(yè)的AI需求不同，很難對算法進行標準化。另一方面，將AI部署到前端攝像機，需要具備端側算力的AI芯片，行業(yè)內可以提供這類芯片的廠商還不多。

智能安防的“智能”主要表現(xiàn)在哪些方面？

傳統(tǒng)的安防是解決＂看得見＂、＂看得清＂的問題，而智能安防要解決＂看得懂＂的問題。以往靠人工方式去查看視頻，現(xiàn)在智能安防會把＂車水馬龍＂類的有用信息記錄下來，而把＂風吹草動＂類的無用信息過濾掉。例如，針對在電梯里的火情識別、社區(qū)的高空拋物監(jiān)控，依靠人力監(jiān)控難免有疏忽或延時，但是AI具有＂關注車水馬龍，忽略風吹草動＂的能力，可以馬上識別并預警公共安全風險，提高安全管理效率。

安防“智能化”就是將原有依靠人來分析、查看的數(shù)據通過AI算法實現(xiàn)自動識別分析，將海量數(shù)據轉化為有分析結果的有效信息。以視頻分析為例，智能安防系統(tǒng)通過對視頻圖像的自動分析和處理，可以識別不同的人、物體、環(huán)境狀態(tài)，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，實時警報和反饋信息。對目前的視頻監(jiān)控系統(tǒng)實現(xiàn)智能化升級，提升對數(shù)據的有效利用，這是其智能化的最大價值。從更廣的層面上來說，智能安防盤活了已有的視頻監(jiān)控數(shù)據，發(fā)揮了數(shù)據的潛力，并且一定程度上替代和減少了人力作業(yè)。

智能安防的成像性能不斷提升，例如服務于大場景中人臉及車牌等關鍵信息識別的智能化功能時，攝像頭圖像傳感器（CIS）分辨率的提升必不可少，現(xiàn)已從原先的幾十萬像素提升到當下主流的幾百萬像素，分辨率也一再提高至4K乃至8K，為的就是看得更高清與更全面。而低照度成像、高動態(tài)范圍、高溫適用性，以及色彩呈現(xiàn)力等性能的精進也將進一步為智能化升級添翼。

從應用層面看，邊緣計算與5G技術的加持使安防產業(yè)正逐步向包括智能交通以及智能港務等智能化應用場景延展與滲透，無論是本地還是云端處理數(shù)據，都讓安防攝像頭從原來的僅僅“看得見”逐步向高動態(tài)范圍、低功耗等性能方向延展。同時，隨著人臉識別及車牌識別等大數(shù)據識別應用的出現(xiàn)，安防將從原來的“事后發(fā)現(xiàn)”逐漸進化到能夠進行“預判、預警”等功能，這也是智能化的一個重要體現(xiàn)。

實現(xiàn)智能安防的三大硬核技術

智能安防系統(tǒng)主要有三個關鍵部分組成：智能感知、視覺／視頻處理、AI計算。由于軟件和算法與特定應用場景有關，我們只討論硬件部分。

智能安防系統(tǒng)流程圖。（來源：Yole）

攝像頭的圖像傳感器（CIS）主要完成智能感知功能，有些廠商開始為其CIS芯片增加本地處理和計算能力，讓攝像頭更為智能。這一細分領域的廠商主要有豪威科技、安森美和索尼等，國內初創(chuàng)公司思特威在智能安防領域也開始暫露頭角。

傳感器與邊緣AI的融合讓攝像頭更智能

伴隨AI的不斷普及，安防監(jiān)控行業(yè)對CMOS圖像傳感器成像的清晰度以及場景覆蓋率的要求將會持續(xù)提升，隨之驅動了從720P－1080P－2K／4K的分辨率升級。此外，圖像傳感器的暗光成像、產品性能、色彩表現(xiàn)力以及近紅外成像性能也為泛安防化的落地發(fā)展助力。

思特威副總經理歐陽堅認為，安防場景除需要CIS提供更高清的圖像之外，還需要應對各種復雜光線下的挑戰(zhàn)，除了在光照良好的白天需要提供細節(jié)清晰、色彩逼真的圖像信息外，晨昏及夜間等光線復雜的應用場景則對CIS夜視性能的要求更為嚴苛。為此，思特威開發(fā)的SFCPixel技術可有效提升CIS的感光度，從而達到更好的夜視效果。

此外產品性能與近紅外成像性能也是智能安防時代CIS的發(fā)展重點。除了安防產品的升級迭代外，安防CIS的像素尺寸也逐漸提升至2．0μm以實現(xiàn)更好的感光性能，而對于超低照環(huán)境中的成像，思特威近期推出了第二代近紅外感度NIR＋技術，相較第一代NIR＋技術在感度方面顯著提升，在超低照度850／940nm紅外光補光下可達到可見光下的清晰度，即使在微弱星光場景下也能清晰獲取4K高清影像畫面。

以前圖像傳感器主要為人眼服務，而在AI進一步發(fā)展的現(xiàn)階段，圖像傳感器的服務對象逐漸轉變?yōu)闄C器與智能后端平臺，其成像要求也從看得見轉變?yōu)榭焖俨蹲剑ǜ邘�率）、無形變（全局快門）和非可見光下成像（近紅外感度NIR＋技術）來提供更加可靠精細的影像基礎。思特威的SmartGS技術將BSI像素設計工藝與全局快門圖像傳感器設計巧妙結合在一起，可提供信噪比更佳、靈敏度更高與動態(tài)范圍更大的成像性能，通過全局快門的曝光方式，保障圖像不會因物體高速運動產生失真，可進一步為智能交通系統(tǒng)（ITS）、人臉檢測以及生物識別等需要邊緣AI計算的新興應用提供更優(yōu)質的影像信息。

為給后續(xù)圖像傳感器的智能化升級打下扎實的基礎，思特威還開發(fā)了集成人工智能算法的“AI智能傳感器平臺”，該平臺可以在圖像傳感器上集成邊緣AI計算，能有效地提高關鍵區(qū)域（如人臉或車牌）的分辨率，降低延時，并擁有高幀率及超低功耗，可為人臉識別、高級駕駛輔助系統(tǒng)、無人駕駛、機器人等先進的人工智能應用解決因幀率不夠高、分辨率不足而導致的響應慢、延時高及識別率低等問題，提升整個人工智能系統(tǒng)的能效比。

“數(shù)據就地處理”需要更智能的視覺／視頻處理器

從視覺AI分析的過程來看，對于需要實時／近實時處理，或者涉及數(shù)據隱私的場景往往在智能邊緣平臺進行AI推理和識別。需要傳輸至云端或服務器進行集中處理和計算的數(shù)據一般有兩類：監(jiān)管或者其他法規(guī)要求；需要利用數(shù)據進行重復訓練，模型迭代。以人臉識別為例，人臉檢測和抓拍是在本地通過設備端實時進行的。而對抓拍到的人臉進行識別的工作，可能涉及十萬級或以上的數(shù)據庫比對，則可交給云端，通過更大的算力去快速完成運算。

“數(shù)據就地處理”的需求讓邊緣計算成為增長最為迅速的市場。除了云端和前端AI芯片市場，邊緣端已成為很多AI芯片創(chuàng)企的突破點。目前市場上的邊緣計算大多面向的是4－16路的視頻分析處理（車路協(xié)同、加油站等為典型應用場景），或支持200路左右的小型數(shù)據中心（采油廠、變電站等為典型應用場景）。在這些場景中，用戶的需求明確，市場對低延遲、數(shù)據隱私以及低成本和超節(jié)能的可用性日益關注。對于工業(yè)、車路協(xié)同這些有大量數(shù)據并要求低延時響應的應用場景，芯片的算力性價比成為核心的考量因素。

億智電子安防產品副總裁魏唯認為，圖像／視覺處理器和視頻處理器芯片要實現(xiàn)“數(shù)據就地處理”，就需要各模塊之間的協(xié)同運行，有效數(shù)據首先要經過ISP獲得清晰的圖像數(shù)據，再讓NPU（神經網絡處理器）對數(shù)據進行實時計算。端側算力1．5T可以滿足同時運行3－5種算法的需求，例如同時進行人臉檢測、識別、跟蹤。要在端側部署AI算力，在性能上需要SoC有很強的集成能力，包括ISP、NPU、視頻編解碼等模塊。

億智針對安防應用開發(fā)的AI SoC芯片SV826和SV823主要面向視頻編解碼AI攝像機產品，采用智能H．265＋編碼技術，支持最高4K超高清視頻錄像；集成專業(yè)安防級別的ISP，支持2～3幀寬動態(tài)融合和自適應降噪，在逆光和低照度環(huán)境下表現(xiàn)出色。此外，這兩款芯片還搭載了億智第二代自研NPU，具有1．5T／0．8T算力，可高效支持人臉識別／檢測、人形識別、車牌識別、車型識別、視頻結構化，以及智能行為分析等智能應用場景。

相較傳統(tǒng)的圖像／視頻處理器，AI視覺SoC芯片集成了NPU，這是SoC中的AI計算單元。由于是專門為AI加速而設計的處理單元，在計算的速度和準確率都會有大幅的提升。據Yole預測，到2025年安防芯片市場規(guī)模將超過40億美元，其中三分之二是具有AI功能的芯片。

最近安霸針對安防市場發(fā)布了兩款AI視覺芯片：CV5S和CV52S。這兩款SoC基于CVflow架構，采用5nm工藝，擁有超低功耗，可同時支持4K編碼和強大的AI處理。CV5S適合覆蓋更大范圍、更遠距離的安防攝像機系統(tǒng)應用，如城市戶外環(huán)境或大型建筑，這里場景需要多個視覺傳感器進行360度全景監(jiān)控。而CV52S則是為具有強大AI性能的單目安防攝像機而設計，這類攝像機需要更清晰識別場景中的人或物體，包括遠距離識別人臉和車牌號碼，比如智能交通攝像機。

安霸CV5S模塊框圖。（來源：Ambarella）

由清華大學可重構計算研究團隊創(chuàng)辦的北京清微智能開發(fā)的可重構計算芯片TX510，可以依據應用和算法重構執(zhí)行計算的硬件資源，具有按需即時重構、高能效、低功耗等特點。清微智能創(chuàng)始人兼CEO王博大致介紹了基于TX510的人臉識別系統(tǒng)產品流程。首先，紅外傳感器自動感應人體，激活TX510 系統(tǒng)。然后，開啟3D 圖像采集、近紅外圖像采集和可見光圖像采集（進入ISP 引擎）。接著進行人臉檢測、活體聯(lián)合檢測，最后完成人臉識別和特征比對。

基于TX510的人臉識別系統(tǒng)產品流程。（來源：清微智能）

可重構芯片應用于圖像信號處理有如下優(yōu)勢：快速在芯片上實現(xiàn)最新的圖像算法、更加強大的圖像處理性能、為客戶提供自己定制ISP算法的可能，并可延長產品的生命周期。

在產品形態(tài)上，添加AI能力的邊緣計算載體包括智能安防攝像頭、智能網關、盒子、微型數(shù)據中心等。這些設備和應用對于多種連接和數(shù)據移動性、實時決策、本地化計算能力、高效存儲這些功能和技術指標都有比較高的要求。

智能安防AI計算需要提高算力性價比

AI視覺芯片做的是領域專用計算，相比于通用計算芯片如CPU／GPU，可以定制化運行AI領域的視覺分析應用，從而提供更高的計算效率，用更低的成本、更低的功耗提供更高的計算性能。AI計算的優(yōu)勢在于：在恒定的算力需求下，例如數(shù)據中心場景下的100臺AI服務器，可以以更低成本、更優(yōu)的計算性能、更低功耗滿足AI算力需求，所需的芯片數(shù)量越少或者芯片成本更低，從而大幅降低人工智能應用落地所需的總成本。

鯤云科技王少軍博士認為，提升芯片利用率是提供高算力性價比最根本的方式，在這方面鯤云科技基于自主研發(fā)的定制數(shù)據流架構，打破傳統(tǒng)底層架構下的算力瓶頸，在芯片利用率上實現(xiàn)了十倍以上的提升。

鯤云AI視頻分析結構圖。（來源：鯤云科技）

以一個具體場景為例，在一個使用100臺AI服務器來處理25000路視頻分析的數(shù)據中心場景中，如果采用AI專用且更高算力性價比的數(shù)據流AI芯片（如鯤云CAISA芯片），能在實測算力上高出4．12倍的性能，那么對應地每臺AI服務器的處理能力也提升了4．12倍，也就是說處理的視頻路數(shù)更多了。同樣一個應用達到同樣的性能，從原來需要100臺AI服務器減少到只需要25臺AI服務器，這個4．12倍的性能提升意味著對于數(shù)據中心這個場景有70％以上的成本降低，這是人工智能視覺芯片為安防等視頻處理應用帶來的價值。

那么，在為安防監(jiān)控應用選擇AI芯片時，應考慮哪些因素？

1． 計算精度：AI訓練基本都是FP32的模型，在推理階段，客戶越來越愿意使用低精度如INT8，應考慮特別在深度學習模型中精度損失和算力、內存帶寬使用、模型參數(shù)存儲之間的平衡；

2． 實測性能：理論峰值算力需要結合芯片利用率來判斷，實測算力才是算力真正發(fā)揮到應用上的性能。比如以指令集芯片和數(shù)據流芯片的對比來看，數(shù)據流芯片采用計算流和數(shù)據流重疊運行方式消除空閑計算單元，突破指令集技術對于芯片算力的限制，在芯片利用率上提升了10倍；

3． 視頻解碼和圖像解碼能力：解碼能力的強弱也是決定分析視頻路數(shù)、圖像張數(shù)的吞吐能力的重要決定因素；

4． 算力和工具鏈的軟件易用性：需要關注AI芯片是否可以完整支持Caffe，Tensorflow，PyTorch等AI框架，如典型CNN模型中的常見算子，甚至是自研算子，需要芯片配套的端到端編譯工具鏈；

5． 算力算法一體化：在落地應用的過程中，所有的深度學習算法最終都需要附著在芯片上，完成最后部署。AI芯片除了自身性能，更需要適配場景。針對安防領域不同的應用場景，算力算法一體化的端到端解決方案才真正實現(xiàn)了軟硬件的深度融合。

智能安防值得關注的未來新興技術及應用

安防作為一個大的領域，除了人臉識別外，在針對人、車、物及行為的識別領域也涌現(xiàn)出了很多的應用需求。智能安防在向垂直領域不斷拓展，基于視頻圖像應用的智慧能源、智慧工地、智慧園區(qū)、智慧港口等將迎來高速發(fā)展的時期。除了傳統(tǒng)的交通、公安、社區(qū)等領域，視頻監(jiān)控未來在一些新興領域會有更大發(fā)揮。例如，工業(yè)中的產品缺陷監(jiān)測、安規(guī)測試；農業(yè)中的農作物病害檢測、農產品無損檢測等；線下零售行業(yè)的柜臺監(jiān)控等。而隨著智能安防應用的拓展，AI算法方案將不斷迭代和推陳出新，軟硬件一體化的整體方案將會成為行業(yè)的剛需。

智能安防為安防監(jiān)控攝像頭廣泛覆蓋及深入落地營造了良好的成長環(huán)境。未來3－5年，安防監(jiān)控將朝著“智能、精確、高效”的方向發(fā)展，而智能安防也將不僅限于安防行業(yè)，將會衍生出諸如人臉識別、物品檢測、車牌識別、智能卡口、智能家居、智慧城市以及ITS智能交通系統(tǒng)等更多的泛安防細分領域，而暗光成像性能、近紅外成像性能、色彩表現(xiàn)力、低功耗以及高溫適用性等成像性能也將隨著視頻影像需求標準的提升而發(fā)展。

億智電子的魏唯認為，智能化的前端IPC攝像機在未來3－5年內將替代現(xiàn)有的IPC，那時將不再有不具備AI功能的IPC攝像機，這需要帶端側算力的AI SoC芯片去推動實現(xiàn)。目前，搭載億智電子AI芯片的攝像機已經可以實現(xiàn)人臉人形識別、越界檢測與預警（如翻墻識別）、人員闖入檢測與預警（如人員進入配電箱等危險區(qū)域的檢測與預警）、客流識別等智能應用。已經安裝了IPC攝像機的位置都有監(jiān)控需求，未來可以深挖更多的應用場景。

在技術方面，隨著NPU等AI加速器技術和傳感器技術的發(fā)展，以紅外熱成像技術的應用為例，這類不可見光同樣蘊含著很多對人類有用的信息，同時也需要NPU來支持相關算法的計算處理，才能真正解決實際問題。熱成像設備收集到平面的溫度數(shù)據，而利用AI算法，可以計算得到三維立體的數(shù)據。這樣一來，我們不使用可見光形成的圖像，僅利用處理過的數(shù)據信息，來做老人和小孩看護，既能解決用戶隱私問題，又能達到更有效的監(jiān)護效果。在未來，對端側算力的需求會越來越大。

責編：Amy Guan

免責聲明：本文系網絡轉載，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請第一時間告知，我們將立即刪除內容！本文內容為原作者觀點，并不代表本公眾號贊同其觀點和對其真實性負責。