【線上就能玩】OpenAI 最新圖像辨認模型,用小學生的詞彙也能精準搜圖

【我們為什麼挑選這篇文章】身處數位行銷的時代,除了準備好文字內容,有一張圖文符合且好看的圖片不僅是抓住民眾目光,更是提升 SEO 的關鍵,然而你也常常遇到:輸入多組關鍵字仍找不到想要圖片的困境嗎?現在 OpenAI 開發一款圖像辨識技術,只要簡單幾組白話詞彙,就能在線上找到圖片。(責任編輯:何泰霖)

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請連繫出處
作者:量子位

別再怕圖片搜尋結果牛頭不對馬嘴了,你可以試試這個精準圖片搜尋工具,來自 OpenAI 最新的技術 CLIP

只需一句簡單的「白話描述」,便能給出想要的圖片。

例如輸入:The word love written on the wall,就會得到這樣的結果:

可以說是相當精準了!這就是近期在 Reddit 上爆紅的一個項目。

這個項目利用到的,便是 OpenAI 前不久新推的技術 DALL·E 中的核心模組—— CLIP,一個負責重新排序(rerank)的模型。

這個項目使用 Google Colab Notebook,而且在線、免費,包含 200 萬圖片數據資料庫,最重要的是效果還非常的精準,讓網友直呼 Amazing !

怎麼用白話文精準搜圖?

這個項目之所以如此,操作簡單是很重要的原因之一。

首先要做的,就是點開該項目在 Colab Notebook 中的網址,登入自己的帳號。

至於程式環境怎麼安裝、資源庫怎麼載入?這個網站非常貼心的已經做好了,只需要依次點擊 cell 左側的小三角,等待完成即可。

最後,來到以下程式碼的 cell,在雙引號之間輸入你想搜尋的內容,例如兩隻狗在雪地中玩耍,

search_query = “ Two dogs playing in the snow ”

再點擊三角按鈕,便可得到搜尋圖片的結果:

當然,這個程式似乎很懂人,若是輸入「當你的程式成功時的心情」(The feeling when your program finally works),結果會跑出:

得到的照片結果,和正常人想像中的應該是一致的!

為什麼 CLIP 搜圖能如此精準?

OpenAI 前不久推出的 DALL·E,主要能實現的功能就是可以按照文字描述、生成對應圖片。

而其呈現給我們的最終作品,其實是它生成大量圖片中的一部​​分,這之中其實也有排名、打分的篩選過程,這項任務,便由 CLIP 來完成:

只要圖片越是它看得懂、匹配度最高的作品,分數就會越高,排名也會越靠前。

這種結構,有點像是利用生成對抗網路,以合成圖像的 GAN 。

不過,與 GAN 利用擴大圖像分辨率、匹配圖像-特徵等方法相比, CLIP 則選擇直接對輸出進行排名。

據研究人員表示,CLIP 網路的最大意義在於,它克服了深度學習在視覺任務中,最大的兩個問題。

首先 它降低了深度學習需要的數據標註量

相比於手動在 ImageNet 上,用文字描述 1400 萬張圖像,CLIP 直接從網上已有的「文字描述圖像」的數據中進行學習。

此外,CLIP 還能「身兼多職」,在各種數據資料庫上的表現都很好(包括沒見過的數據資料庫)

但過去大部分的視覺神經網路,只能在訓練的數據資料庫上有不錯的表現。

例如,CLIP 與 ResNet101 相比,CLIP 在各項數據資料庫上都有不錯的檢測精準度,但是 ResNet101 除了在 ImageNet 以外,檢測精度都表現的不太好。

具體來說,CLIP 用到了零樣本學習(zero-shot learning)、自然語言理解和多模式學習等技術,來完成圖像的理解。

例如,描述一隻斑馬,可以用「馬的輪廓 + 虎的皮毛 + 熊貓的黑白」。這樣,網路就能從沒見過的數據資料中,找出「斑馬」的圖像。

最後,CLIP 將文字敘述和圖像理解結合起來,預測哪些圖像,與數據資料庫中的文字能完成最好的配對。

在驚嘆 CLIP 用「簡單的白話」就能搜尋圖片之餘,一位 Reddit 網友還發現了一個挺有意思的搜尋結果。

他在文字敘述的程式碼中輸入:「What image best represents how you feel right now?」

這句話在我們人類眼中,應當是詢問 AI 的語氣了,然後出來的圖片結果是這樣的:

嗯,看來是被「玩多了」,AI 寶寶有點小脾氣了。

最後附上:CLIP 傳送門

(本文經 AI 新媒體量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈用“大白話”精準搜圖,OpenAI 的 CLIP 驚艷了所有人| 在線可玩 〉,首圖來源:擷取自 Google Colab Notebook。)

你可能有興趣

【你敢說 AI 都能畫】OpenAI 新模型把文字變成超現實畫作,連「酪梨躺椅」都生出來!
文筆好到「太危險」!OpenAI 新自動寫作模型,將成假新聞製造產地?
OpenAI 用《Dota 2》示範血虐人類:砍瓜切菜偷推塔,職業選手被當菜打


提升工作效率,你需要一台高效電腦

一台高效能的電腦不只幫你省錢、省時,還會提升你的工作效率! 換電腦選擇軍規等級的 Lenovo 最划算 #好用 #耐摔 #高 CP>>>https://pse.is/3dqb66 只要點選連結並完成註冊,就能收到限定的「折扣碼」! 最高享市價 88 折

點關鍵字看更多相關文章: