Google 旗下的人工智慧公司 DeepMind 發佈了下一代最新的語言模型 Gopher,聲稱它擁有接近高中生的閱讀理解能力。研究人員在開發和研究更強大的語言模型時,也就是在致力預測和生成文本的系統,這對於建立先進的人工智慧會有巨大的開發潛力。

語言模型旨在接收詞彙後,可以預估接下來詞彙所出現的分佈機率,但若要讓它聰明且順利的運作,需要的是極為大量的數據資料,才會產出讓我們能瞭解的語法結構。

TO 延伸閱讀:看 Google 怎麼用 AI 語言模型和 Google Classroom 鞏固「智慧教育」地位!

語言模型相關技術的極限

當前的語言模型其實都還存在著一些邏輯推理能力較弱的問題,那我們是否可以通過添加更多的數據來改進?或者我們已經達到了語言模型相關技術的極限?

在 DeepMind 的研究當中,裡頭訓練了大大小小的 Transformer 語言模型,涵蓋了從 4,400 萬個參數到 2,800 億個參數的模型,而最大的模型被命名為 Gopher

這個名為 Gopher 的語言模型能夠通過大量文本資料庫而大幅提高閱讀理解能力,且 Gopher 能夠在高中生的閱讀考試當中獲得高分,甚至接近於一般人類水準的表現,不過它的數學和推理能力都還有待提升。

TO 延伸閱讀:AI 可能會讓工程師失業,為什麼工程師還那麼愛?

Gopher 是「超大型的語言模型」

DeepMind 表示,Gopher 是一個「超大型的語言模型」,在一次的測試研究中,Gopher 能夠與人類進行完整的對話,連貫以及通順性都讓研究人員感到非常驚訝。

人工智慧如何發展出像人類一樣具備邏輯、意識和推理的認知能力,是該研究一直在探索的方向,以目前來看,通過大規模資料去訓練巨量人工智慧模型,在目前被認為是主流實現通用人工智慧的一個重要方向。

而研究人員也能透過調查這些不同大小語言模型的優勢和缺點,找出能夠藉由增加規模,繼續提高效能的領域。

TO 延伸閱讀:OpenAI 推出機器學習工具 Codex,能直接將英文轉成程式碼!

本文開放合作夥伴轉載,資料參考:FuturismDeepMind,圖片來源:shutterstock