【我們為什麼挑選這篇文章】Google 簡單結合了 AR 和 AI，開發出了一個低成本工具，卻可以大大的幫助醫生診斷癌症，這社會很需要這種低成本的高價值創新啊（責任編輯：林子鈞）

大家都聽說過 AR（增強現實）、VR（虛擬現實），電影《一級玩家》也展示了未來 VR 遊戲的巨大潛力。但是如果把 AR 和機器學習相結合呢？

今天，谷歌 Research 團隊在 AI+AR+醫療相結合的領域又邁出了一步：他們在普通的光學顯微鏡上裝了一個 AR 組件。

工作原理是這樣的：用機器學習的方法實時分析顯微鏡視野下的圖像，並實時輸出模型的結果，通過 AR 組件，在原本的圖像上繪製出潛在腫瘤的邊緣。

也就是說，醫生在看顯微鏡的時候，看到的不僅僅是細胞組織，還有機器學習建模的結果：一條「癌症輪廓線」。

最令人激動的地方在於，這個組件的成本非常低，可以直接被安裝到普通的光學顯微鏡上，這將讓全世界各地的醫生、病理學家都有機會接觸到深度學習。

點擊觀看 AR 顯微鏡的介紹視頻?

深度學習在眼科，皮膚科，放射科和病理學等醫學學科的應用，大大提高了醫療保健的準確性與可用性，給世界各地的患者帶來了福音。比如，谷歌的最新研究表明卷積神經網絡在檢測乳腺癌轉移方面，擁有與專業病理學家相媲美的準確度。

然而，利用復合光顯微鏡直接探測是否存在病變組織仍然是病理學家診斷疾病的主要手段。因此，在病理學中廣泛採用深度學習的一個關鍵障礙是對微觀組織進行數字化表示。

在 4 月 17 號舉辦的美國癌症研究協會年度會議上，谷歌的科學家公佈了這篇名為「An Augmented Reality Microscope for Real-time Automated Detection of Cancer」的論文，描述了增強現實顯微鏡（Augmented Reality Microscope，ARM）平台。

ARM 增強現實顯微鏡平台由改進的光學顯微鏡組成，支持實時圖像分析，並且能將機器學習算法的結果直接渲染。重要的是，谷歌的 ARM 平台組件可以直接被裝入各個醫院和診所中現有的光學顯微鏡中，成本低且易於使用。

通過現代計算組件和深度學習模型，例如建立在 TensorFlow上的模型，人們將能在此平台上運行大量預訓練模型。使用方式和傳統的顯微鏡類似，用戶通過目鏡觀察樣本，機器學習算法將其實時輸出投影到顯微鏡的光路中。

這種數字投影被疊加在樣本的原始圖像上，以幫助觀看者定位或量化感興趣的特徵。重要的是，計算和視覺反饋更新迅速——目前，模型以每秒約 10 幀的速度運行，因此當用戶在顯微鏡載玻片上移動或改變放大率時，模型輸出可以無縫更新。

左圖：ARM 的示意圖。數碼相機捕獲與用戶相同的視場（FoV），並將圖像傳送到能夠運行機器學習模型的實時推斷的附加計算單元。結果被反饋到一個自定義的 AR 顯示屏中，該顯示屏與目鏡齊平，並將模型輸出投影到玻片所在的平面上。

右圖：原型圖，由典型的臨床級光學顯微鏡改裝。

ARM可以提供多種視覺反饋，包括文本、箭頭、輪廓、熱圖或動畫，並且能夠運行多種類型的機器學習算法，旨在解決不同的問題，如目標檢測，量化或分類。

為了展示 ARM 的潛在用途，谷歌在其上運行了兩種不同的癌症檢測算法：一種檢測淋巴結標本中的乳腺癌轉移，另一種檢測前列腺切除標本中的前列腺癌。這些模型可以在 4-40 倍的放大倍數下運行。下圖中的綠色輪廓是檢測到的腫瘤區域，也就是模型輸出的結果。這些輪廓有助於將病理學家的注意力吸引到感興趣的區域，而不會掩蓋潛在的腫瘤細胞外觀。

ARM鏡頭的示例視圖：4x、10x、20x和40x顯微鏡下的淋巴結轉移模型（綠色輪廓的區域是模型識別出的腫瘤區域）

雖然這兩種癌症模型最初都是在掃瞄儀的圖像之上訓練，且掃瞄儀的光學配置明顯不同，但這些模型在 ARM 上執行得非常好，無需額外重新訓練。

例如，淋巴結轉移模型的曲線下面積（AUC）為 0.98，而在 ARM 上運行時，前列腺癌模型在視場中的癌症檢測（FoV）的 AUC 為 0.96，性能僅略低於 WSI。通過直接從 ARM 本身獲取的數字圖像中訓練可以進一步提高這些模型的性能。

谷歌認為，增強現實顯微鏡有潛力對全球健康產生重大影響，且在醫療保健、生命科學研究和材料科學等領域有著廣泛的應用，特別是對發展中國家傳染病（包括肺結核和瘧疾）的診斷。此外，即使在即將採用數字病理工作流程的醫院中，ARM 也可以與數字工作流程結合使用，處理掃瞄儀需要快速周轉或者不能很好地檢測問題的情況（如細胞學、螢光成像或手術中的冷凍部分）。

原文鏈接

–

Google AI 萬種應用

Google AI 大神李飛飛新論文：只要說出需求，AI 自動把圖畫出來

賭海明燈來了！Google 用 AI 即時預測 NCAA 決賽，投進幾個三分球都要猜

影片合成免麻煩，Google AI 讓你實況一秒去背換佈景！

（本文經合作夥伴 大數據文摘 授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為 〈 谷歌這個AI+AR插件能在顯微鏡中畫出腫瘤輪廓，全世界醫生都能用 〉。）