【TensorFlow 也想吃宵夜】日本工程師研發炸雞圖像辨識系統,能從一鍋炸雞中單獨識別雞塊

【為什麼我們要挑選這篇文章】日本人真的沒極限!近期日本公司使用 TensorFlow,開發炸雞辨識機器人 Foodly,它能夠從一堆炸雞中辨識出獨立的炸雞塊,並自動排放在便當裡面,不但節省便當工廠人力,也能避免食物被細菌汙染。

台灣的鹹酥雞攤要不要用用看?(責任編輯:郭家宏)

在韓國最受歡迎的外送食品是什麼?

答案毋庸置疑,一定是炸雞!

根據韓國外送訂購軟體公佈的的統計數據顯示,炸雞今年再次當選韓國「最受歡迎的外送食品」,從 2014 年起就一直霸佔著冠軍寶座,簡直是小吃界難以踰越的高峰。

無獨有偶,在美國,炸雞文化也長盛不衰,肯德基雙層炸雞堡唯一不限供應的地區就是美國。根據前德州監獄後廚 Brian D.Price 回憶,「70% 的囚犯最後一餐都會要求吃油炸食品。」

那麼,炸雞和 TensorFlow 兩者結合,你又能想到什麼?

最近,日本一個機器人公司 RT CORPORATION 開發了一個叫 Foodly 的機器人,機器人上配置的圖像識別系統就是用的 TensorFlow,Foodly 不僅能準確識別單塊和多塊炸雞,還能將剛出鍋隨意擺放的炸雞塊整齊地放在便當盒內。

為了完成這個識別功能,研究團隊也很拚,每天在實驗室現炸雞塊,炸累了就點炸雞外送,簡直就是炸雞加盟店!

Foodly 的開發也很好地契合了疫情當下,便當工廠不能大範圍復工的現狀,從下圖中可以看到,Foodly 的大小和與成人類似,能在便當工廠的生產線上與人一起工作。

能看不能吃,TensorFlow 都要哭了!

說到這,掐指算算,已經有多久沒吃過炸雞了?不妨嚥下口水,先和文摘菌(本文作者)一起就這篇文章「畫餅充饑」一下,中午再去激情下單炸雞外賣吧!

炸雞塊的形狀相似,是圖像識別界難以逾越的障礙

雖然好吃又饞人,但是炸雞塊在圖像識別界可沒那麼招人待見。

炸雞愛好者們都知道,你徒手拿起的每塊炸雞形狀是何其相似,更別說要在炸雞堆中準確區分每塊炸雞的邊界,這些都是圖像識別研究者們內心拒絶炸雞的原因。

據聞,坊間流傳著這麼一個說法:炸雞塊是圖像識別最難踰越的高峰。

但是現在有了 Foodly,再難的炸雞識別都是小菜一碟!識別效果如下圖所示:

整堆炸雞塊被識別成一個整體
每一塊炸雞塊被單獨識別

據研究者透露,之前嘗試過其他的機器學習框架,但看到有人利用 TensorFlow 成功對貓的照片進行分類後,就按捺不住內心的躁動了。

光想不做可不行,緊接著,研究團隊對 CNN 的相關論文進行了閲讀和學習,併進行了進一步的物體檢測。

那時正好是初代 Foodly 發佈初期,在對系統前期表現相當滿意的情況下,研究者們拿出究極武器:炸雞,可以看到,初代系統能夠將圖像的一部分切成矩形,然後以矩形為單位對炸雞塊進行識別。

雖然初代系統的表現就已經很不錯了,但是研究團隊表示還存在很多不足,例如識別時間太慢,識別一塊炸雞要一分鐘左右,一分鐘炸雞骨頭都被吸乾了還識別個啥!再比如,初代系統還只能識別單塊炸雞,成堆的炸雞識別還有待進一步地改進。

同時,為了養活這麼一個系統,可真是「難哭」了研究團隊,那個時期他們在公司現炸雞塊,炸累了就點炸雞外送,簡直就是把公司當成了炸雞加盟店!

當然這都不是最難的,最難的是要在下嘴之前先把圖像數據儲存下來。這麼下來,他們最終收集到了大概 400 到 500 張規範的炸雞照片,700 多張不那麼規範的照片。

在那些不規範的照片中,有一些還故意拍到了人手,這也是有研究考量的。因為人手和炸雞成色很像,形狀也像,如果系統錯誤地對人手進行識別的話那可就大事不妙了。

Foodly 進化史:從 R-CNN 起家,連炸雞塊表面的紋路也能辨識

可以想見,開發 Foodly 可不是這麼簡單的事。

其實 Foodly 的前身還不叫 Foodly,而是 NEKONOTE,由一個扶手和安裝在頂部的照相機組成,雖然看上去像是工業用機器人的形狀,但是即使加上照相機用的框架,大小也能控制在一個人的樣子。

2016 年 6 月,NEKONOTE 在「TensorFlow 學習會」上發表,在德國 CEBIT 2017 上公開亮相。出道舞台雖然足夠有份量,但還是出師不利,當場就有不少人對 NEKONOTE 提出質疑,有人認為 NEKONOTE 只使用一隻手,太可怕了,有人認為在食材正上方放置鏡頭,可能會污染食物,還有人針對 NEKONOTE 的照相機和手臂的位置關係,指出手臂的擺動可能會影響到視線和識別效果。

CEBIT 2017 上展出的 NEKONOTE

綜合了這些提議之後,研究者認為,或許應該把它設計成人型,於是 NEKONOTE 就搖身一變,變成了現在的 Foodly。

當然這個過程可不只是外觀的變化,升級歸來的 Foodly 不僅能識別單塊炸雞,還能從堆積的炸雞中檢測出每一塊炸雞。

識別效果的提高也是多方面促成的,首先識別標準從矩形識別變成了輪廓識別,這其中主要用到的就是從 R-CNN 發展而來的 Mask R-CNN 技術;其次,Foodly 使用了可以識別炸雞紋路的深度相機,炸雞塊表面的凹凸紋路也作為特徵被引入了深度學習,提高了識別精度。

根據深度相機提供的影像學習凹凸特徵

幾代系統迭代發展下來,研究者總結了用 TensorFlow 進行炸雞識別的心得,彙總成了下面這張從理論學習到推論的流程圖:

首先是製作監督數據集的階段。用位於 Foodly 頭部的深淺相機拍攝顏色和深淺的圖像(RGB-D 圖像),然後將其放入個人電腦進行標註,指定炸雞塊的位置。在標註上,團隊也製作了專門的工具使其盡可能的自動化。

在接下來的學習階段,以既有的公開訓練成果模型為基礎,透過 TensorFlow 進行轉移學習,製作食材檢測用的模型。轉移學習的引入也讓幾百張的圖像工作量鋭減到了幾十張。

但是,既有的訓練成果的模型只能輸入 RGB 的 3 個通道,為了能夠對應 RGB-D 圖像,需要將輸入層變更為 4 個通道才能進行再學習。

最後,把做好的模型轉移到機器人上,就可以檢測出炸雞塊。在搭載壓縮 GPU 的邊緣的 AI 板 Jetson TX2 上執行推理過程。

順便一提,Foodly 的目標是可以直接拿到便當工廠的生產線上使用。因此,根據工廠的不同,照明的程度也不同,增加了識別的難度。常見的對策通常是準備專用的光源,不過,Foodly 在訓練階段就適用了多樣的光度,因此即使沒有專用的光源也能能穩定的進行識別。

以上就是關於識別炸雞塊的整個流程,以實用的速度檢測炸雞塊,然後將其放入便當盒的操作現在已經很穩定了。公司現在也把目光對準了其他的食物,比如番茄,相比於炸雞,要讓機器人把番茄放入便當盒而不讓其碎掉,還必須調整機器人的力度,這就是另一個需要解決的問題了。

RT 公司:開發 Foodly,是為了填補餐廳的人力缺口

可別再說 Foodly 是日本人民的腦洞發明了。

Foodly 可是瞄準了當下便當工廠人手不足的現狀,尤其是疫情之下,為了降低感染風險,Foodly 可以代替人加入生產線,而且表現不比人差。

考慮到大多數便當工廠的工作場所都是在 60 到 90 cm 的空間內,目前工業機器人還有幾方面問題需要重點考慮:硬體上,希望即使有人不小心撞到 Foodly 也不會擦傷;軟體上,即使在沒有預設的情況下,也能正常識別。除此之外,便當工廠流水線的菜單每小時會改變 2 到 3 次,便當盒尺寸存在差異,流動速度也有不同等等。

這些不確定因素在 Foodly 面前全都迎刃而解,而且 Foodly 操作也十分簡單,不需要專家進行任何複雜的安裝和調整,馬上就能上工,可以說是工廠福音了。

好奇之下,文摘菌還去查了查開發 Foodly 的公司到底是什麼來頭,結果發現,這家叫做 RT CORPORATION 的公司完全就是一個機器人迷公司嘛!

先不說公司的理念是「life with robot」,公司名字 RT 是 Robot Technology 的縮寫,公司的兔子 logo 來源參考了《愛麗絲夢遊仙境》,官網介紹道,在小說中,兔子是愛麗絲抵達仙境的引路人,與此相對應的,在現實中,機器人就是未來生活的引導者。

官網 傳送門

除了實用機器人如 Foodly 的開發,RT 公司也對機器人工程的教育事業十分關注。

公司認為,在現在和未來,培養優秀的機器人工程師都將是重要的社會使命。RT 公司從硬體和軟體等多個角度提供產品和服務,為培養實用型機器人工程師做足了功課。

作為教育工作的一部分,公司將提供自主研發裝配的機器人用於學習和參考,同時,在這些機器人的幫助下,公司有能力舉辦研討會等學習活動,為更多的人提供學習機會。

如今,機器人在社會生活中扮演著越來越重要的角色,工廠流水線上運行的大型工業機器人不斷發展,家用小型機器人同樣不斷演變著,機器人已經到了能夠與人合作、並肩作戰的階段。

相信機器人引領我們前往的未來不會太遙遠。

相關報導 傳送門

(本文經合作夥伴 大數據文摘 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈研究室秒变后厨,TensorFlow 被馋哭!日本团队用深度学习识别炸鸡,救急便当工厂 〉。首圖來源: 大數據文摘

更多關於圖像識別的資訊

【什麼通靈之術都放馬過來】印度工程師學一年深度學習,秒開發火影結印 AI 辨識系統!
智慧零售獨角獸 Trax 收購 Survey.com,透過視覺辨識技術即時滿足零售場域銷售需求
一直被叮卻找不到蚊子?新創 Bzigo 研發捕蚊神器,用影像辨識、雷射光揪出「兇手」


科技報橘 LinkedIn 上線!

最新科技產業動態、技術新突破、專業職能技巧提升 ....... 鎖定 TO  LinkedIn 專業品牌,提升職能與產業 Know-how,躋身產業菁英之列 https://www.linkedin.com/showcase/techorange

點關鍵字看更多相關文章: