“‘維科杯’·OFweek 2020（第五屆）人工智能行業(yè)年度評(píng)選”活動(dòng)由高科技行業(yè)門(mén)戶OFweek維科網(wǎng)主辦，OFweek人工智能網(wǎng)承辦，活動(dòng)旨在表彰人工智能領(lǐng)域具有突出貢獻(xiàn)的優(yōu)秀產(chǎn)品、技術(shù)及企業(yè)，鼓勵(lì)更多企業(yè)投入技術(shù)創(chuàng)新；同時(shí)為行業(yè)輸送更多創(chuàng)新產(chǎn)品、前沿技術(shù)，一同暢享人工智能的未來(lái)。

2020人工智能行業(yè)年度評(píng)選“OFweek （5th．）  AI Awards 2020”將于2020年9月21日－10月10日進(jìn)入網(wǎng)絡(luò)投票階段，頒獎(jiǎng)典禮將于10月28日在深圳舉辦。

目前，活動(dòng)正處于火熱的報(bào)名評(píng)審階段，業(yè)內(nèi)企業(yè)積極響應(yīng)。瑞萊智慧已正式參評(píng)“維科杯·OFweek2020（第五屆）人工智能行業(yè)優(yōu)秀產(chǎn)品應(yīng)用獎(jiǎng)”。

瑞萊智慧RealAI是依托清華大學(xué)人工智能研究院設(shè)立的人工智能企業(yè)，是國(guó)內(nèi)首家安全可控人工智能技術(shù)及行業(yè)解決方案提供商，先后推出RealBox魯棒機(jī)器學(xué)習(xí)平臺(tái)、RealSafe人工智能安全平臺(tái)等自研平臺(tái)以及更加安全可靠的行業(yè)解決方案，致力于建設(shè)安全可控人工智能應(yīng)用新生態(tài)。

參賽產(chǎn)品／項(xiàng)目名稱：RealSafe人工智能安全平臺(tái)

推出年份：2020／04

開(kāi)發(fā)背景：近年來(lái)，以機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)為代表的人工智能技術(shù)的取得了快速發(fā)展與廣泛應(yīng)用。然而，當(dāng)前以數(shù)據(jù)驅(qū)動(dòng)為代表的第二代人工智能技術(shù)還存在著巨大的安全風(fēng)險(xiǎn)，當(dāng)前人工智能系統(tǒng)被入侵的風(fēng)險(xiǎn)主要是對(duì)抗樣本攻擊與模型攻擊。

（1）對(duì)抗樣本攻擊

對(duì)抗樣本（Adversarial Examples）是指在數(shù)據(jù)集中故意添加細(xì)微的干擾所形成的輸入樣本，會(huì)導(dǎo)致模型以高置信度給出錯(cuò)誤的輸出，從而導(dǎo)致AI系統(tǒng)判斷失準(zhǔn)。如圖1所示，通過(guò)對(duì)圖像添加微小的擾動(dòng)，構(gòu)造對(duì)抗樣本，從而欺騙在正常樣本上工作良好的深度學(xué)習(xí)圖像分類模型，被攻擊過(guò)的熊貓圖像被深度學(xué)習(xí)模型以高置信度認(rèn)為是長(zhǎng)臂猿。

圖1：對(duì)抗樣本

（2）模型攻擊

通過(guò)在訓(xùn)練數(shù)據(jù)中添加少量投毒數(shù)據(jù)的方式在模型中埋藏后門(mén)，埋藏好的后門(mén)通過(guò)攻擊者預(yù)先設(shè)定的觸發(fā)器激發(fā)。在后門(mén)未被激發(fā)時(shí)，被攻擊的模型具有和正常模型類似的表現(xiàn)；當(dāng)模型中埋藏的后門(mén)被攻擊者激活時(shí)，模型給出錯(cuò)誤的輸出。如圖2所示，通過(guò)事先修改訓(xùn)練數(shù)據(jù)在模型中埋藏后門(mén)，模型在正常樣本上表現(xiàn)正常，一旦遇到黃色像素塊、炸彈、花朵圖案作為觸發(fā)器后門(mén)被激發(fā)，就會(huì)將停車標(biāo)志錯(cuò)認(rèn)為減速標(biāo)志。

圖2：模型攻擊

為了提升人工智能系統(tǒng)的安全性，有效抵御對(duì)抗樣本攻擊、模型攻擊等風(fēng)險(xiǎn)，RealAI推出RealSafe 人工智能安全平臺(tái)，通過(guò)集成主流及獨(dú)有世界領(lǐng)先對(duì)抗樣本攻擊與防御、模型后門(mén)檢測(cè)算法，提供業(yè)界首個(gè)可視化零編碼模型安全測(cè)評(píng)及防御升級(jí)升級(jí)平臺(tái)。

核心技術(shù)介紹：

RealSafe人工智能安全平臺(tái)包括大功能模塊：模型安全評(píng)測(cè)、防御解決方案，支持用戶創(chuàng)建和管理自定義的數(shù)據(jù)集用于模型安全測(cè)評(píng)與防御升級(jí)。

模型安全評(píng)測(cè)模塊提供對(duì)抗樣本風(fēng)險(xiǎn)檢測(cè)與模型后門(mén)檢測(cè)兩大功能，在進(jìn)行對(duì)抗樣本安全風(fēng)險(xiǎn)測(cè)評(píng)時(shí)，平臺(tái)將基于多種算法生成對(duì)抗樣本模擬攻擊，并綜合在不同算法、迭代次數(shù)、擾動(dòng)量大小的攻擊下模型效果的變化，給出被測(cè)AI模型的安全評(píng)分及詳細(xì)的測(cè)評(píng)報(bào)告；在進(jìn)行模型后門(mén)檢測(cè)時(shí)，平臺(tái)將通過(guò)高維空間搜索的方式，檢查模型是否存在后門(mén)，若存在后門(mén)，還支持還原出模型學(xué)習(xí)到的觸發(fā)器信息。

模型安全評(píng)測(cè)結(jié)果，用戶可自行選擇合適的防御方案，一鍵提升模型安全性。目前RealSafe平臺(tái)支持五種去除對(duì)抗樣本噪聲的通用防御方法，可實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的自動(dòng)去噪處理，破壞攻擊者惡意添加的對(duì)抗噪聲。

RealSafe平臺(tái)提供從安全測(cè)評(píng)到防御加固整體解決方案，目前可用于發(fā)現(xiàn)包括人臉比對(duì)、圖像分類、目標(biāo)檢測(cè)等應(yīng)用場(chǎng)景下常用算法模型可能出錯(cuò)的極端情形，同時(shí)也能預(yù)防潛在的對(duì)抗攻擊、模型惡意攻擊。

參評(píng)述說(shuō)／理由：

在人工智能技術(shù)快速發(fā)展與廣泛應(yīng)用的當(dāng)下，人工智能安全問(wèn)題變得尤為緊迫。雖然AI安全仍是一個(gè)新興領(lǐng)域，但對(duì)抗樣本、數(shù)據(jù)投毒等攻擊手段在開(kāi)源社區(qū)、工具包的加持下變得愈發(fā)可實(shí)現(xiàn)，甚至于實(shí)質(zhì)性的危害已經(jīng)開(kāi)始產(chǎn)生，但與之相對(duì)的，相關(guān)防御手段的普及和推廣卻一直沒(méi)有跟上，主要原因在于對(duì)抗樣本等安全攻防技術(shù)存在較高的技術(shù)壁壘，只有極少部分的頂尖算法人才掌握這部分的能力。在這一背景下，RealSafe平臺(tái)作為一款自動(dòng)化檢測(cè)工具，大大降低了模型安全檢測(cè)與防御升級(jí)的技術(shù)難度，能夠幫助大部分不具備該領(lǐng)域?qū)�業(yè)技能的企業(yè)與組織高效應(yīng)對(duì)日益增長(zhǎng)的惡意攻擊，有效提升人工智能系統(tǒng)的安全性、可靠性。從這一角度來(lái)看，RealSafe平臺(tái)可以說(shuō)是劃時(shí)代的顛覆性產(chǎn)品。

本屆“‘維科杯’·OFweek 2020（第五屆）人工智能行業(yè)年度評(píng)選”活動(dòng)將于9月21日進(jìn)入網(wǎng)絡(luò)投票階段，歡迎各位踴躍投票！