IBM Watson 爆出致命 Bug:開錯藥給病人,醫死人算誰的責任?

【我們為什麼挑選這篇文章】AI 發展當道,來自 IBM 的 AI 系統 Watson(華生)也試圖在醫療界當個稱職的 AI 醫生,然而現在一份機密報告顯示,這位「華生醫生」的技術很可能會醫死人。

令人擔憂的是,這套系統並非停留於開發中階段,而是已實際應用到世界各地的醫院當中。Watson 的案例告訴了我們,AI 目前還有待改善的地方,以及讓我們思索,到底我們願不願意,讓 AI 治療我們的生命。(責任編輯:林厚勳)

作者:量子位/郭一璞  問耕

IBM 的 AI 系統 Watson(華生)捅了一個天大的簍子:給患者開錯了藥。

剛被曝光的 IBM 內部文件顯示,許多醫生在使用 Watson 時,發現 AI 給出了「多個不安全、不正確的治療意見」,甚至在極端的診斷案例中,Watson 給有出血症狀的癌症病人開了容易導致出血的藥品,嚴重時可致患者死亡。

去年,在美國臨床腫瘤學會年會上發表的研究表明,IBM Watson 非常擅長為癌症患者制定治療計畫。然而,事實證明人工智慧仍然遠非完美。

可能你還不知道,明顯存在 bug 的 Watson 系統並不是一個實驗室中樣品,這個可能會治死人的 Watson 已被全球超過 230 家醫院使用,其中包括中國北大腫瘤醫院、宣武醫院等 67 家醫院,分佈在全中國 22 個省份。

IBM 內部文件曝光,華生的「醫死人」醫囑

掀起熱議的「Watson 開錯藥」消息,最早來自美國醫學媒體 STAT。

STAT 拿到了 IBM 公司內部的機密文件,來自時任 IBM Watson Health 副首席健康官的 Andrew Norden,只有 IBM 的管理層有權限查看。

Norden 在 2017 年 6、7 月間給出的報告顯示,正在使用 Watson for Oncology(Watson 腫瘤解決方案)的醫生們對它提出了強烈的批評:數個例子表明,Watson 經常提出不準確的醫療建議,「在給出意見的過程和底層技術上存在嚴重的問題」。

文件中一個嚴重的例子是:

一名 65 歲的男性被診斷出患有肺癌,而同時,該患者也似乎有嚴重的出血症狀。Watson 給這名患者的診療建議是:

1、接受化療;
2、使用治療癌症的藥物貝伐單抗(Bevacizumab,商品名 Avastin 阿瓦斯汀)。

而貝伐單抗這種藥物可能導致的副作用之一,正是容易導致出血。在美國衛生系統藥劑師協會對該藥物的描述中,這種藥物有時會發生嚴重乃至致命的出血事件,所以該協會建議不要給嚴重出血的患者服用。

貝伐單抗可能導致致命出血。
貝伐單抗可能導致致命出血。

Watson 系統給出的診療意見忽視了這個可能導致該患者死亡的問題,開了錯誤的藥品。

不過,好在這個「65 歲男性肺癌患者」並非真實存在,並沒有人因此而吃錯藥。負責訓練 Watson 腫瘤系統的紀念斯隆-凱特琳癌症中心對此回應道,這名「65 歲男性肺癌患者」是癌症中心的醫生在訓練 Watson 時給出的虛構病例,只是為了訓練Watson 的診斷能力。

這家醫院還發出聲明說,在實際運用中,醫生們會接受該癌症中心的醫生給出的指導建議,而不是完全聽信 Watson 系統的診療判斷。

給 Watson 一個負評,「這玩意兒什麼都做不了!」

雖然紀念斯隆-凱特琳癌症中心認為醫生們給人看病的時候不傻,不會完全聽信Watson,但醫生們的懷疑和抱怨卻並不會因此消減。

首先這個案例說明:Watson 的訓練,是通過假設性的癌症病例,而不是真實的患者數據來進行。而此前 IBM 的高管一再告訴客戶:「Watson for Oncology 的建議是基於真實的患者數據,全世界的醫生都喜歡這種工具」。

這讓外界對 Watson 的有效性進一步產生了質疑。

佛羅里達州的邱比特醫院就是憤憤不滿的客戶之一。在這份 IBM 的機密文件中,邱比特醫院的一位醫生憤怒的說:「這玩意簡直就是一坨屎!我們買 Watson 來,是因為它的營銷搞的很厲害,讓我們覺得能靠它來實現一些願景。結果買來之後呢?這玩意兒什麼都做不了!」

事件曝光後,科技媒體 Gizmodo 採訪了邱比特醫院的腫瘤科醫生 Sujal Shah。這位醫生表示,只有當邱比特醫院的醫生們對兩種不同的治療方案無法達成一致的時候,醫生們才會看看 Watson 站哪邊——大概就是「現在 5:5 平手,Watson 你來投個票吧」。

STAT 此前的一項調查顯示,Watson for Oncology 其實沒有達到 IBM 的預期,而這次曝光的文件表明,IBM 的高管們知道自家產品給出的治療建議與國家治療指南相衝突,以及醫生認為這套系統作用不大。

當然,一直以來 IBM 高管都對 Watson 讚譽有加。

被曝光的文件中還顯示,有幾位 IBM 員工對 Norden 直言,Watson 這套產品的能力「非常有限」。

在給 STAT 的聲明中,IBM 表示已經根據客戶反饋、新的科學進展、新的癌症治療方案等,學習和改進了 Watson Health。

動盪中的Watson

這已經不是 Watson 今年第一次遭遇危機了。

Watson 最早進入公眾視野是在 2011 年,它當時在電視智力節目《危險邊緣》中擊敗了人類。之所以實現這一創舉是因為這套系統具備強大的自然語言處理能力,因而可以理解現場的複雜問題,然後對龐大的數據庫進行掃瞄,最終給出答案。

兩年之後,IBM 宣佈 Watson 將在醫療領域找到第一個殺手級應用。這似乎是理所當然的:隨著醫院和醫生逐步採用電子病歷瞭解病人的狀況,Watson 這樣的機器也可以提供數據檢索服務。

2016 年 8 月,在與日本東京大學醫學院的合作中,Watson 通過醫生上傳的 DNA 數據,在不到 10 分鐘的時間內給一個 50 多歲的女性做出了繼發性白血病的正確診斷。

去年 2 月,Watson 在中國天津市第三中心醫院出診,在不到 10 秒鐘的時間,給一名胃癌局部晚期的患者開出了診療方案,跟腫瘤科主任的判斷一致。

當然,質疑的聲音一直存在。

除了上面提過的 STAT 批評,IEEE Spectrum 也曾報導稱,IBM 向 Watson業務投入數十億美元,但「Watson醫生」尚未給醫療行業帶來革命。

今年 5 月底,Watson 醫療健康部門發生了一次震動行業的裁員,估計有 300 人離開了 IBM。一位被掃地出門的工程師表示,IBM 針對「認知計算」平台的推廣,掩蓋了他們在利用人工智能盈利的過程中遇到的真正困境。

「IBM 華生擁有了不起的人工智慧技術。」這位匿名的工程師說,「這就像有一雙好鞋,但卻不知道怎麼走路 —— 你必須搞清楚怎麼使用它。」

來自華爾街的分析師們,也並不是都對 IBM Watson 持有積極看法。Jefferies 去年 7 月發佈的研報認為,儘管 IBM 對 Watson 展開大舉投資(該分析師估計 2010 至 2015年間的投資總額為 150 億美元,約為台幣 4500 億元),但這個部門卻很難盈利。

即使 IBM Watson「仍是市場上最有競爭力的現成人工智慧平台之一」,但用戶在把Watson 與現有的數據和分析系統整合的過程中仍然面臨嚴重困難。他舉了德克薩斯州(德州) MD Anderson 癌症中心的例子,該中心投入了 6200 萬美元(約為台幣 18.9 億元)之後卻取消了他們的 Watson 項目。

Watson 也進入諸多中國醫院

令人擔憂的是,這個被爆出會開錯致命藥的醫療 AI,已經投入使用,被不少醫院運用在對真實病人的診斷治療中。

IBM 發言人說,Watson 腫瘤系統受過訓練,可幫助腫瘤科醫生治療 13 種癌症,並被全球 230 家醫院使用,「支持超過 84000 名患者的護理」。

而這 230 家醫院中,至少有 67 家中國醫院(截至 2018 年 7 月 5 日)。

根據 IBM Watson在中國的代理官網信息,及中國信息產業網-人民郵電報、比特網等媒體的報導,量子位粗略的整理了部分已經引入 Watson 腫瘤系統的醫院。

中山大學附屬腫瘤防治中心
中國醫科大學附屬第四醫院
無錫市人民醫院
浙江省中醫院
天津第三中心醫院
復旦大學附屬腫瘤醫院
宣武醫院
上海市浦南醫院
廣州婦女兒童醫療中心
番禺何賢醫院
番禺中心醫院
廣東省中醫院
廣州軍區總醫院
廣州中醫藥大學第一附屬醫院
廈門大學附屬中山醫院
福州市第二醫院
福建省立醫院
寧波市第四醫院
大連大學附屬中山醫院
昆明醫學院第二附屬醫院
浙江省立同德醫院
茂名市人民醫院
新疆維吾爾自治區人民醫院
台州市腫瘤醫院
上海交通大學醫學院附屬瑞金醫院北院
中國醫科大學附屬第一醫院
中山大學附屬第六醫院
成都西華腫瘤專科醫院
廣東醫科大學附屬醫院
徐州市腫瘤醫院
山東齊魯醫院
無錫市人民醫院
常州市腫瘤醫院
杭州市第一人民醫院
南京醫科大學附屬淮安第一醫院
安徽濟民腫瘤醫院
江門市中心醫院
新會區人民醫院
新會區中醫院
開平市中心醫院
開平市中醫院
台山市人民醫院
台山市中醫院
鶴山市人民醫院
恩平市人民醫院
廣東祈福醫院
瀋陽軍區總醫院
天津市第三中心醫院
郴州市第一人民醫院
江蘇省人民醫院
蘇州市立醫院
常州市腫瘤醫院
蘇北人民醫院領銜的蘇北醫療集團和揚州泰州地區醫聯體醫院
杭州沃森智能診所
青島市立醫院
青島大學附屬醫院
中山人民醫院
天津海濱人民醫院
南京市第一醫院
安徽省腫瘤醫院
平安好醫生平台

患者到這 67 家醫療機構找 Watson 看病似乎也不便宜。根據億歐報導,IBM 代理商百洋董事長付鋼在去年 10 月表示:「目前,Watson for Oncology 的服務多為患者自付費,平均每人 5000 元左右。」

參與訓練 Watson 的紀念斯隆-凱特琳癌症中心回應此事稱:「雖然 Watson 腫瘤系統提供安全的治療選擇,但治療決策最終需要主治醫生的參與和臨床判斷,沒有任何技術可以取代醫生的工作,也沒有任何技術可以取代醫生對自己病人的瞭解。」

─ ─

推薦閱讀:

台灣填鴨教育製造太多考試機器,關於長大後的生活孩子一無所知

(本文經 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈 IBM 沃森錯開致命藥!國內 67 家醫院也在用,秘密文件曝光嚴重 bug 〉。)

AD