keyhole

【為什麼我們要挑選這篇文章】近期麻省理工學院(MIT)研究鎖孔成像技術,只要將雷射光透過小孔照進房間,就能利用光反射推算出房間的物體,看到整個房間的樣貌。這個黑科技是為了滿足偷窺狂的慾望,還是它其實有重要的產業應用?(責任編輯:郭家宏)

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請連繫出處
作者:量子位

對每個合格的「社畜」來說,摸魚可說是一項必備技能了。俗話說,知己知彼才能百戰百勝。如果能清楚地看見坐在辦公室裡的上司在幹什麼,準備什麼時候出來巡視,那簡直就是如虎添翼。

現在還真有這麼一項技術,能幫助「看」清房間裡的一切。這就是非視線(NLOS)成像方法。多年來,研究人員不斷完善這項技術,為了創造出能夠清晰看到角落的相機,由此生成不在視野內的物體圖像,或者被障礙物擋住的物體圖像。

如今,史丹佛大學計算成像實驗室的研究人員對該技術進行了擴展,現在,只需讓一個雷射光點進入房間,就可以看到裡面可能有哪些實物。

不過這可不是拿來摸魚用的。未來,該技術可以與自動駕駛等技術綁定,這樣司機就能提前發現隱藏在轉角處的潛在危險,提高安全性和避障能力。

論文傳送門

MIT 開發鎖孔成像技術,用雷射光的反射算出房間內的物體

其實非視線成像由來已久了,但無法否認,這的確是一項聰明的技術。

以前,該技術已經利用了像地板或牆壁這樣的平面,這些平面一般處於相機和被遮擋物體的視線範圍內。然後,一系列來自相機的雷射光脈衝,在這些平面的表面上反彈,然後在隱藏的物體上反彈,最終回到相機的感測器上。演算法利用光反射的時間,生成相機看不到的物體圖像。

遺憾的是,這些物體圖像的解析度不高。儘管如此,還是能一下子確認物體是什麼。

這次,MIT 的研究人員對其改善後提出了鎖孔成像(keyhole imaging)的方法。從命名上我們也可以猜到,要「看」清封閉房間內的物體,我們只需要一個小孔,比如鑰匙孔或窺視孔,讓雷射光束穿過,在裡面的牆上形成一個光點。

與上述過程類似,雷射光會在牆上、房間物體上反彈,無數的光子最終透過小孔反射回相機,相機利用一個單光子雪崩光電探測器測量它們返回的時間。

如果隱藏物體是靜態的,鎖孔成像無法得到足夠的資訊。為了繞過這個問題,研究人員發現,他們可以用雷射光脈衝成像一個移動的物體,這種雷射光能夠在較長的曝光時間內產生足夠的可行數據,從而為演算法建構物體的圖像提供足夠的資訊。

如下圖所示,木製人體模型看起來像幽靈一樣,但當與經過適當訓練的圖像識別人工智慧相配時,確定房間裡有一個人(或人形物體)倒是非常可行的。

除了自動駕駛技術外,該項研究未來還可以協助警方偵破案件。比如,要在破門而入前評估某個房間的風險,只需利用牆上的一個小裂縫或窗戶。

同時,這項新技術還可以為自主導航系統提供新的思路。在以前的無損檢測技術不實用的情況下,在威脅之前就發現隱藏的危險因素。

相機視野之外的物體與動作也可以重現

相關技術在 MIT 中也已有先例。

2019 年,MIT 電腦科學與人工智慧實驗室提出,他們能透過細微的陰影和反射重現被遮擋的動作。也就是說,打開相機之後,即使是相機視野之外的物體或動作,也可以進行再現。

MIT 的研究員們基於視域外的影片投射在附近物體上的陰影,預測出視域外的內容。上面一行顯示的是研究員使用這種方法重現的視覺元素,下面一行則是原始物體。

透過觀察陰影和幾何圖形之間的相互作用,新的演算法可以預測光在場景中的傳播方式,即「光傳輸」。然後,再利用這種傳播方式,從觀察到的陰影中估計被隱藏的內容,甚至可以建構真人表演的大致輪廓。

該技術是「被動的」,這意味著對場景沒有雷射光或其他干預,整個過程需要大約 2 個小時的處理時間。研究人員表示,該技術最終有助於重現視線之外的場景,包括但不限於上述應用。

「透過使用非視距成像設備(例如雷射光器)可以完成許多任務,但是在我們的方法中,只能使用自然到達相機的光線,並嘗試充分利用這些稀缺的資訊,」前 CSAIL 博士後、NVIDIA 現任研究科學家,新技術首席研究員 Miika Aittala 表示,「鑒於神經網絡的最新進展,這似乎是一個很好的時機,可以解決在這個領域以前被認為是無法解決的一些挑戰。」

為了捕獲這些看不見的資訊,團隊使用了細微的間接照明提示,例如被觀察區域雜亂的陰影和高光。在某種程度上,一堆雜物的行為有點像針孔照相機,類似於在小學自然課中可能會製作的東西:它阻擋了一些光線,但允許其他光線通過,並且無論在何處,它們都描繪出周圍環境的圖像。

但如果針孔相機被設計為僅允許通過足以形成可讀圖像的光線,那麼一堆雜亂的雜物會產生無法識別的的圖像、(透過光傳輸)被擾亂的陰影的複雜運動。

可以將雜物想像成一面鏡子,使我們可以看到周圍的環境,尤其是在無法直接看到的角落。這個演算法所解決的挑戰是要弄清並理解這些照明的提示。

種種跡象表明,或許,我們離擁有「透視眼」的那天真的不遠了。

(本文經 AI 新媒體量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為〈MIT开发激光“锁眼成像”技术:给我一个钥匙孔,不进门我就能“看”到房间内的一切〉。首圖來源:Leon Brooks/PIXINO)