【你是我的眼】微軟APP「講」給盲人看世界,超進化識別鈔票和人臉表情

【我們為什麼挑選這篇文章】手機App功能無遠弗屆,但對盲人在使用操作上,能夠感到友善的卻是少之又少。微軟新推出的「Seeing AI」突破過去許多App僅能提供「聲音回饋」的限制,讓雙眼看不見的人士能夠感知周遭人事物。我在想如果我看不見,在對方沒有發出任何聲音的情況下,要怎麼辨別他的反應?假設Seeing AI的技術是純熟的,這是很令人開心的發明。〈責任編輯:陳思寧〉

微軟發布了一款基於計算機視覺技術的手機APP 「Seeing AI」(視覺AI) ,能為有視力缺陷的殘障人士描述周圍的世界。

安裝該APP 之後,用戶若把手機攝像頭對準某人,它就會說出這個人是誰,以及他的情緒(表情)。把手機攝像頭對準某個物體,Seeing AI 會說出這是個什麼東西。這通過在手機本地運行的AI 算法實現。

Seeing AI 人臉識別示例:「戴著眼鏡的28 歲女士,看起來很開心。」

去年三月的 Build 大會上,微軟展示了這款APP 的原型。今天,它終於發布。美國iOS 用戶已可免費下載。至於Seeing AI 何時會登陸安卓、進入中國市場,雷鋒網尚沒收到任何消息。

核心功能

作為一款面向殘障人士的生活輔助軟件,微軟把Seeing AI設計為能滿足一系列不同的生活場景需求。比如上面提到的,進行面部識別,猜測對方的年齡和情緒。它還能通過掃描二維碼識別家居物品,讀取、識別文件,識別美元鈔票。識別鈔票的功能是一個實用性極強的功能。所有美元紙幣都是相同大小、同樣顏色。對部分殘障人士,區分不同面值的鈔票可能會十分困難,Seeing AI這樣的APP則能解決該問題。

Seeing AI 文件識別示例

Seeing AI 的物體識別能力基於神經網絡來實現,其基本原理與自動駕駛汽車、無人機並無不同。它最基本的功能在本地實現。這有兩個好處:

  1. 網絡不穩定的情況下仍可使用;
  2. 反饋速度更快。

但是,Seeing AI的試驗性功能,比如描述整個周圍環境,以及識別手寫文字,則需要連接到雲端。

人性化設計

Seeing AI 的技術帶頭人 Saqib Shaikh,向媒體透露了一個很有意思的細節:

Seeing AI能夠指示用戶如何上下左右移動手機攝像頭,以看清楚目標物體。這是一個相當人性化的功能,尤其考慮到視力有缺陷的殘障用戶,讓它們拿手機攝像頭“對準”某個物體本身就存在相當的難度。很顯然,對於Seeing AI來講,雖然光學物體識別技術是根本,但若沒有這類人性化功能設計,它究竟有多少實用價值就變得十分模糊。

Saqib Shaikh

從Saqib Shaikh 他自己的使用經歷來講(他是一名盲人),他最經常把 Seeing AI 用來識別符號和菜單。至於Seeing AI 和其他同類APP 之間的差異,他表示,最大的區別神經網絡的運行速度:

「我們做到了在本地運行人臉識別,幾微秒的時間內你就能聽到結果。速度就是一切,我們試圖壓榨出在設備本地所能達到的極限。」

(本文經合作夥伴雷鋒網授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈“你是我的眼”,微軟計算機視覺APP 讓盲人用手機看世界〉。)

延伸閱讀

新科技替盲人打造「藝術之眼」,紐約盲人體驗公司推出可觸摸的藝術品!
感人肺腑小故事》三位 Maker 動腦救地球,打敗伊波拉、為盲人造福
【reBuzz 專欄】幫我的盲人朋友設計手錶:現在人人搶著買,集資近 1800 萬台幣!

 

 

AD