侵權(quán)投訴
訂閱
糾錯
加入自媒體

“深度學習輔助決策醫(yī)療器械軟件審評要點”發(fā)布!AI要拿三類證,這幾點做好了嗎?

動脈網(wǎng)獲悉,2019年6月29日,國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心發(fā)布了《深度學習輔助決策醫(yī)療器械軟件審批要點》,為相應(yīng)醫(yī)療器械軟件注冊申報提供專業(yè)建議。(下簡稱《要點》)

據(jù)動脈網(wǎng)了解,《要點》主要由五部分組成:

一、適用范圍;

二、審批關(guān)注要點;

三、軟件更新;

四、相關(guān)技術(shù)考量;

五、注冊申報資料說明。

以下為動脈網(wǎng)整理的《要點》中的關(guān)鍵詞:

關(guān)鍵詞一:適用范圍

深度學習輔助決策醫(yī)療器械軟件即基于醫(yī)療器械數(shù)據(jù)(醫(yī)療器械所生成的醫(yī)學圖像、醫(yī)學數(shù)據(jù),以下統(tǒng)稱數(shù)據(jù)),使用深度學習技術(shù)進行輔助決策的軟件。

使用深度學習技術(shù)進行前處理(如成像質(zhì)量改善、成像速度提升、圖像重建)、流程優(yōu)化(如一鍵操作)、常規(guī)后處理(如圖像分割、數(shù)據(jù)測量)等非輔助決策的軟件可參考使用本審評要點。

這里以是否“輔助決策”對產(chǎn)品進行了劃分,強調(diào)了產(chǎn)品的“輔助”功能;同時,也明確表示非輔助決策軟件也將以類似手段進入審批流程。

關(guān)鍵詞二:審批重點

《要點》中提到,本審評要點重點關(guān)注軟件的數(shù)據(jù)質(zhì)量控制、算法泛化能力、臨床使用風險,臨床使用風險應(yīng)當考慮數(shù)據(jù)質(zhì)量控制、算法泛化能力的直接影響,以及算力所用計算資源(即運行環(huán)境)失效的間接影響。

基于風險的全生命周期管理是此類軟件監(jiān)管的基本方法,軟件風險管理活動應(yīng)當基于軟件的預(yù)期用途(目標疾病、臨床用途、重要程度、緊迫程度)、使用場景(適用人群、目標用戶、使用場所、臨床流程)、核心功能(處理對象、數(shù)據(jù)兼容性、功能類型)予以實施,并貫穿于軟件全生命周期過程。

軟件臨床使用風險主要包括假陰性和假陽性,其中假陰性即漏診,可能導致后續(xù)診療活動延誤,特別是要考慮快速進展疾病的診療活動延誤風險;假陽性即誤診,可能導致后續(xù)不必要的診療活動。

進口軟件除考慮假陽性和假陰性風險外,還應(yīng)當考慮中外人種、流行病學特征、臨床診療規(guī)范等方面差異的影響及其風險。生產(chǎn)企業(yè)應(yīng)當采取充分的、適宜的、有效的風險控制措施以保證軟件的安全性和有效性。

關(guān)鍵詞三:數(shù)據(jù)來源

《要點》中提到,數(shù)據(jù)收集應(yīng)當考慮數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標注、數(shù)據(jù)集構(gòu)建等活動的質(zhì)控要求,以保證數(shù)據(jù)質(zhì)量和算法設(shè)計質(zhì)量。此外,應(yīng)當考慮采集設(shè)備、采集過程以及數(shù)據(jù)脫敏的質(zhì)控要求;脫敏數(shù)據(jù)由臨床機構(gòu)轉(zhuǎn)移至生產(chǎn)企業(yè)形成原始數(shù)據(jù)庫,不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫中應(yīng)當加以區(qū)分;數(shù)據(jù)標注應(yīng)當考慮標注資源管理、標注過程質(zhì)控、標注質(zhì)量評估等要求。

關(guān)鍵詞四:算法設(shè)計

《要點》中提到,應(yīng)當考慮算法選擇、算法訓練、網(wǎng)絡(luò)安全防護、算法性能評估等活動的質(zhì)控要求。建議數(shù)據(jù)驅(qū)動與知識驅(qū)動相結(jié)合進行算法設(shè)計,以提升算法可解釋性。

在原文中,《要點》對具體算法的選擇、訓練方式、網(wǎng)絡(luò)安全都進行了明確的要求。

關(guān)鍵詞五:以臨床評價為主的軟件確認方式

根據(jù)軟件指導原則要求,軟件應(yīng)當提交基于臨床試驗的臨床評價資料,即提交申報產(chǎn)品的臨床試驗資料,或者與申報產(chǎn)品核心算法具有實質(zhì)等同性的同品種產(chǎn)品或同類軟件功能的臨床試驗資料。

進口軟件應(yīng)當提供中外人種、流行病學特征、臨床診療規(guī)范等方面差異影響的臨床評價資料,若不足以證實申報產(chǎn)品在中國使用的安全性和有效性,應(yīng)當在中國開展臨床試驗。使用境外臨床試驗數(shù)據(jù)應(yīng)當滿足《接受醫(yī)療器械境外臨床試驗數(shù)據(jù)技術(shù)指導原則》要求。

而臨床試驗應(yīng)當符合《醫(yī)療器械臨床試驗質(zhì)量管理規(guī)范》要求。建議優(yōu)先選擇同品種產(chǎn)品或臨床參考標準(即臨床金標準)進行非劣效對照設(shè)計;建議臨床試驗結(jié)果由第三方獨立評價;臨床評價可采用基于現(xiàn)有歷史數(shù)據(jù)的回顧性研究。

關(guān)鍵詞六:注冊申報資料說明

《要點》中提到,申報的軟件名稱需符合獨立軟件通用名稱命名規(guī)范要求,體現(xiàn)處理對象(如CT圖像、眼底照片)、目標疾。ê∽儭⒓膊傩裕、臨床用途(如輔助篩查、輔助識別)等特征詞。

輔助決策獨立軟件適用范圍應(yīng)當明確預(yù)期用途、使用場景和核心功能,包括但不限于處理對象、目標疾病、臨床用途、適用人群、目標用戶、使用場所、采集設(shè)備要求、臨床使用限制。

企業(yè)必須提供:一、軟件描述文檔核心算法部分應(yīng)當結(jié)合本審評要點提供相應(yīng)算法研究資料;二、包括數(shù)據(jù)來源合規(guī)性聲明;三、算法性能影響因素分析資料以及各類測試場景下算法性能評估結(jié)果比較分析資料。

說明書應(yīng)當符合《醫(yī)療器械說明書和標簽管理規(guī)定》要求。

除了上述六個關(guān)鍵點外,《要點》還明確了非輔助決策軟件、傳統(tǒng)人工智能軟件的要求以及第三方數(shù)據(jù)庫、移動與云計算等考量。在此之中提出了“前處理軟件功能原則上應(yīng)當開展算法性能評估、臨床評價;流程優(yōu)化軟件功能開展算法性能評估即可,無需開展臨床評價;常規(guī)后處理軟件功能原則上開展算法性能評估即可,全新功能應(yīng)當開展臨床評價”的評價要求。

以下為《深度學習輔助巨冊醫(yī)療器械軟件審批要點》全文。

一、適用范圍

本審評要點適用于深度學習輔助決策醫(yī)療器械軟件(含獨立軟件、軟件組件)的注冊申報。深度學習輔助決策醫(yī)療器械軟件(以下簡稱軟件)即基于醫(yī)療器械數(shù)據(jù)(醫(yī)療器械所生成的醫(yī)學圖像、醫(yī)學數(shù)據(jù),以下統(tǒng)稱數(shù)據(jù)),使用深度學習技術(shù)進行輔助決策的軟件。其中,“基于醫(yī)療器械數(shù)據(jù)”是指單獨使用醫(yī)療器械數(shù)據(jù),或者聯(lián)合使用醫(yī)療器械數(shù)據(jù)與非醫(yī)療器械數(shù)據(jù);“輔助決策”是指通過提供診療活動建議輔助醫(yī)務(wù)人員進行臨床決策。

使用深度學習技術(shù)進行前處理(如成像質(zhì)量改善、成像速度提升、圖像重建)、流程優(yōu)化(如一鍵操作)、常規(guī)后處理(如圖像分割、數(shù)據(jù)測量)等非輔助決策的軟件可參考使用本審評要點。使用傳統(tǒng)機器學習技術(shù)的軟件亦可參考使用本審評要點。

本審評要點遵循《醫(yī)療器械軟件注冊技術(shù)審查指導原則》(以下簡稱軟件指導原則)、《醫(yī)療器械網(wǎng)絡(luò)安全注冊技術(shù)審查指導原則》(以下簡稱網(wǎng)絡(luò)安全指導原則)、《移動醫(yī)療器械注冊技術(shù)審查指導原則》(以下簡稱移動器械指導原則)等相關(guān)指導原則要求。

本審評要點不含人工智能倫理、數(shù)據(jù)產(chǎn)權(quán)等法律法規(guī)層面要求,但生產(chǎn)企業(yè)應(yīng)當在軟件全生命周期過程中考慮相關(guān)規(guī)定。

二、審評關(guān)注重點

從發(fā)展驅(qū)動要素角度講,深度學習實為基于海量數(shù)據(jù)和高算力的黑盒算法。本審評要點重點關(guān)注軟件的數(shù)據(jù)質(zhì)量控制、算法泛化能力、臨床使用風險,臨床使用風險應(yīng)當考慮數(shù)據(jù)質(zhì)量控制、算法泛化能力的直接影響,以及算力所用計算資源(即運行環(huán)境)失效的間接影響。

基于風險的全生命周期管理是此類軟件監(jiān)管的基本方法,相關(guān)考量詳見軟件指導原則、網(wǎng)絡(luò)安全指導原則、移動器械指導原則以及醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨立軟件附錄。下面結(jié)合審評關(guān)注重點分別闡述軟件風險管理、軟件設(shè)計開發(fā)、軟件更新等方面考量。

軟件風險管理活動應(yīng)當基于軟件的預(yù)期用途(目標疾病、臨床用途、重要程度、緊迫程度)、使用場景(適用人群、目標用戶、使用場所、臨床流程)、核心功能(處理對象、數(shù)據(jù)兼容性、功能類型)予以實施,并貫穿于軟件全生命周期過程。軟件臨床使用風險主要包括假陰性和假陽性,其中假陰性即漏診,可能導致后續(xù)診療活動延誤,特別是要考慮快速進展疾病的診療活動延誤風險;假陽性即誤診,可能導致后續(xù)不必要的診療活動。進口軟件除考慮假陽性和假陰性風險外,還應(yīng)當考慮中外人種、流行病學特征、臨床診療規(guī)范等方面差異的影響及其風險。生產(chǎn)企業(yè)應(yīng)當采取充分的、適宜的、有效的風險控制措施以保證軟件的安全性和有效性。

軟件典型設(shè)計開發(fā)過程通?煞譃樾枨蠓治、數(shù)據(jù)收集、算法設(shè)計、驗證與確認等階段。

1

需求分析

需求分析應(yīng)當以軟件的臨床需求與使用風險為導向,結(jié)合軟件的預(yù)期用途、使用場景和核心功能,綜合考慮法規(guī)、標準、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等方面需求,重點考慮數(shù)據(jù)收集、算法性能、臨床使用限制等方面要求。

數(shù)據(jù)收集應(yīng)當考慮數(shù)據(jù)來源的合規(guī)性和多樣性、目標疾病流行病學特征、數(shù)據(jù)質(zhì)量控制要求(詳見下節(jié))。數(shù)據(jù)來源應(yīng)當在合規(guī)性基礎(chǔ)上保證數(shù)據(jù)多樣性,以提高算法泛化能力,如盡可能來自多家、不同地域、不同層級的代表性臨床機構(gòu),盡可能來自多種、不同采集參數(shù)的采集設(shè)備。目標疾病流行病學特征包括但不限于疾病構(gòu)成(如分型、分級、分期)、人群分布(如健康、患者,性別、年齡、職業(yè)、地域、生活方式)、統(tǒng)計指標(如發(fā)病率、患病率、治愈率、死亡率、生存率)等情況,以及目標疾病并發(fā)癥與類似疾病的影響情況。

算法性能應(yīng)當考慮假陰性與假陽性(指標、關(guān)系)、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等要求。

臨床使用限制應(yīng)當考慮臨床禁用、慎用等場景。

2

數(shù)據(jù)收集

數(shù)據(jù)收集應(yīng)當考慮數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標注、數(shù)據(jù)集構(gòu)建等活動的質(zhì)控要求,以保證數(shù)據(jù)質(zhì)量和算法設(shè)計質(zhì)量。

1. 數(shù)據(jù)采集

數(shù)據(jù)采集主要由臨床機構(gòu)實施,應(yīng)當考慮采集設(shè)備、采集過程以及數(shù)據(jù)脫敏的質(zhì)控要求。

采集設(shè)備質(zhì)控應(yīng)當明確采集設(shè)備的兼容性要求和采集要求。兼容性要求應(yīng)當基于數(shù)據(jù)生成方式(直接生成、間接生成)提供采集設(shè)備兼容性列表或技術(shù)要求,明確采集設(shè)備的制造商、型號規(guī)格、性能指標等要求,若對采集設(shè)備無具體要求應(yīng)當提供相應(yīng)支持資料。采集要求應(yīng)當明確采集設(shè)備的采集方式(如常規(guī)成像、增強成像)、采集協(xié)議(如MRI成像序列)、采集參數(shù)(如CT加載電壓、加載電流、加載時間、層厚)、采集精度(如分辨率、采樣率)等要求。

采集過程質(zhì)控應(yīng)當建立數(shù)據(jù)采集操作規(guī)范,明確采集人員要求和采集過程要求。采集人員要求包括人員的選拔、培訓、考核。采集過程要求包括人員職責、采集流程(如采集步驟、操作要求)。

若使用現(xiàn)有歷史數(shù)據(jù),應(yīng)當明確采集設(shè)備要求、數(shù)據(jù)采集質(zhì)量評估要求(如人員、方法、指標、通過準則)。

采集的數(shù)據(jù)應(yīng)當進行數(shù)據(jù)脫敏以保護患者隱私。數(shù)據(jù)脫敏應(yīng)當明確脫敏的類型(靜態(tài)、動態(tài))、規(guī)則、程度、方法。

2. 數(shù)據(jù)預(yù)處理

脫敏數(shù)據(jù)由臨床機構(gòu)轉(zhuǎn)移至生產(chǎn)企業(yè)形成原始數(shù)據(jù)庫,不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫中應(yīng)當加以區(qū)分(下同)。

數(shù)據(jù)預(yù)處理應(yīng)當基于原始數(shù)據(jù)庫考慮數(shù)據(jù)處理、數(shù)據(jù)清洗的質(zhì)控要求。數(shù)據(jù)處理應(yīng)當明確處理的方法,如濾波、增強、重采樣、尺寸裁剪、均一化等。數(shù)據(jù)清洗應(yīng)當明確清洗的規(guī)則、方法。

數(shù)據(jù)處理和清洗應(yīng)當明確選用軟件工具的名稱、型號規(guī)格、完整版本、供應(yīng)商、運行環(huán)境、確認等要求,同時考慮數(shù)據(jù)處理選用方法對軟件的影響及其風險。

數(shù)據(jù)經(jīng)預(yù)處理后形成基礎(chǔ)數(shù)據(jù)庫,應(yīng)當明確樣本類型、樣本量、樣本分布等信息。樣本類型以適用人群為單位可分為數(shù)據(jù)序列(由多個單一數(shù)據(jù)組成,如結(jié)構(gòu)序列、功能序列、時間序列)、單一數(shù)據(jù)。樣本量應(yīng)當明確樣本規(guī)模及確定依據(jù),需要考慮樣本量不足對軟件的影響及其風險。樣本分布應(yīng)當依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來源機構(gòu)、采集設(shè)備、樣本類型等因素明確數(shù)據(jù)分布情況,需要考慮數(shù)據(jù)偏性對軟件的影響及其風險。

3. 數(shù)據(jù)標注

數(shù)據(jù)標注應(yīng)當考慮標注資源管理、標注過程質(zhì)控、標注質(zhì)量評估等要求。

標注資源管理包括人員管理和基礎(chǔ)設(shè)施管理。人員管理應(yīng)當明確標注人員和仲裁人員的選拔(如職稱、工作年限、工作經(jīng)驗、所在機構(gòu),若有國外人員應(yīng)當明確其資質(zhì)要求)、培訓、考核(如方法、頻次、指標、通過準則,其中指標應(yīng)當包括重復(fù)性、再現(xiàn)性)等要求;A(chǔ)設(shè)施管理應(yīng)當明確標注場所(真實或模擬,環(huán)境、照明條件)、標注軟件(名稱、型號規(guī)格、完整版本、供應(yīng)商、運行環(huán)境、確認)等要求。

標注過程質(zhì)控應(yīng)當建立數(shù)據(jù)標注操作規(guī)范,明確標注人員(如資質(zhì)、數(shù)量、職責)、標注流程(如標注對象、標注形式、標注輪次、標注步驟、操作要求)、臨床診療規(guī)范(如臨床指南、專家共識)、分歧處理(如仲裁人員、仲裁方式)、可追溯性(如數(shù)據(jù)、操作)等要求。

標注質(zhì)量評估應(yīng)當明確人員、方法、指標、通過準則等要求。

數(shù)據(jù)經(jīng)標注后形成標注數(shù)據(jù)庫,其樣本類型可分為數(shù)據(jù)序列、單一數(shù)據(jù)(由多個數(shù)據(jù)塊組成)、數(shù)據(jù)塊(圖像區(qū)域、數(shù)據(jù)片段)。樣本量、樣本分布等要求及風險考量與基礎(chǔ)數(shù)據(jù)庫相同。

4.數(shù)據(jù)集構(gòu)建

基于標注數(shù)據(jù)庫構(gòu)建訓練集(用于算法訓練)、調(diào)優(yōu)集(若有,用于算法超參數(shù)調(diào)優(yōu))、測試集(用于算法性能評估),明確訓練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓練集應(yīng)當保證樣本分布具有均衡性,測試集、調(diào)優(yōu)集應(yīng)當保證樣本分布符合臨床實際情況,訓練集、調(diào)優(yōu)集、測試集的樣本應(yīng)當兩兩無交集。

為解決數(shù)據(jù)樣本分布不滿足預(yù)期目標的問題,可對訓練集、調(diào)優(yōu)集小樣本量數(shù)據(jù)進行擴增;測試集不宜進行數(shù)據(jù)擴增,若擴增應(yīng)當分析對軟件的影響及其風險。數(shù)據(jù)擴增應(yīng)當明確擴增的方式(離線、在線)、方法(如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波等)、倍數(shù),并考慮擴增方法選用以及擴增倍數(shù)過大對軟件的影響及其風險。

數(shù)據(jù)經(jīng)擴增后形成擴增數(shù)據(jù)庫,應(yīng)當列表對比擴增數(shù)據(jù)庫與標注數(shù)據(jù)庫在樣本量、樣本分布(注明擴增倍數(shù))等方面的差異,以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。

1  2  3  下一頁>  
聲明: 本文系OFweek根據(jù)授權(quán)轉(zhuǎn)載自其它媒體或授權(quán)刊載,目的在于信息傳遞,并不代表本站贊同其觀點和對其真實性負責,如有新聞稿件和圖片作品的內(nèi)容、版權(quán)以及其它問題的,請聯(lián)系我們。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    文章糾錯
    x
    *文字標題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號