工程師實驗用 AI 互譯 C++、Java、Python 語言代碼,成功率高達 80.9%

【我們為什麼挑選這篇文章】前一陣子美國疫情一發不可收拾,上百萬美國民眾失業需靠保險金補助,大量需求突然湧入,讓美國政府系統瀕臨崩潰 ,但這些系統是用古老語言 COBOL 寫的,幾乎很難找到會這語言的工程師修理。

程式語言日新月異之下,學習的速度趕不上淘汰的速度,一個人能熟悉的語言也有限,這篇文章的作者嘗試語言「翻譯」,看看他嘗試的結果!(責任編輯:戴慈慧)

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請聯繫出處

作者:量子位/晓查

還記得美國前一陣要招聘 60 歲的老程序員嗎?都怪編程語言發展太快!

因為新冠疫情的緣故,美國一些地區的失業救濟系統不堪重負,而這些系統都是上古語言 COBOL 寫的。

然而,現在早已經是 C/C++、Java、Python 的天下了,把 COBOL 程序換成 Python,何其難也。

遠的不說,Python 2 剛剛淘汰,過去的老程序手工轉成 Python 3 也是個很大的工程。

既然 AI 能翻譯自然語言,那也應該能翻譯編程語言。

Facebook 也是這麼想的,所以他們最近提出了 TransCoder,一個翻譯編程語言的 AI,現在可以在 C++、Java、Python 語言之間互譯。

經翻譯後的程序,成功運行的通過率最高可以達到 80.9%。

而且 TransCoder 是一種無監督學習算法,意味著不需要大量成對的、標記的編程代碼數據集進行訓練。如果這項技術達到實用化程度,對廣大程序員來說真是巨大福音啊!

難怪論文作者之一 Guillaume Lample 在 Twitter 上宣佈了這篇論文後很快引起了熱議。

翻譯編程語言,什麼原理?

TransCoder 充分利用了編程語言的特點,比如像 for、while、if 這些關鍵詞以及通用的數學運算符。

下圖展示了關鍵字的嵌入。在相似的上下文中使用的不同編程語言的關鍵字在嵌入空間中非常接近。

例如,Python 中的 except 和 Java、C++ 中的 catch 都用於獲取異常,它們被映射到非常相似的嵌入空間位置。

對於映射的實現(map 和 dict)、用於將字符串轉換為字符數組(c_str 和 toCharArray)以及類似的變量類型 (例如 long、int 和 Integer),也可以觀察到相同的現象。

那麼以上這些關鍵詞的嵌入是如何獲得的?

Facebook 提出了實現無監督編程語言機器翻譯的三個原則。

首先,通過 跨語言掩碼語言模型(MLM) 預處理來初始化模型,這有些類似於自然語言的填空題。結果是表達相同指令的代碼片段被映射到與編程語言無關的相同表示。

其次是 去噪自動編碼 ,它能訓練解碼器始終生成有效序列,即使在輸入有噪聲的數據時也是如此,提高了編碼器對輸入噪聲的魯棒性(Robustness)。

最後是 反向翻譯 ,它允許模型生成可用於訓練的並行數據。每當 Python 轉 C++ 模型變得更好時,它就會為 C++ 轉 Python 模型生成更精確的數據,反之亦然。

通過以上步驟,TransCoder 在訓練後獲得了之前提到的跨語言嵌入。我們觀察到,TransCoder 成功地理解了每種語言特有的語法、數據結構、函數庫和方法。

在上面的圖中,展示了 Java 和 C++ 獨有的三元運算符 X ? A : B,翻譯到 Python 中就變成了 if X then A else B。

以下是一個從 Python 翻譯到 C++ 的實例。TransCoder 推斷變量和函數返回值的類型,將 Python 的 deque() 容器映射到 C++ 中類似的實現 deque<>,並使用 C++ 的 front、back、pop_back 和 push_back 方法來檢索和插入 deque 中的元素,而不是使用 Python 方括號、pop 和 append 方法。

實驗結果

為了訓練 TransCoder,Facebook 在 GitHub 上尋找了 280 萬個開源代碼庫進行訓練,其中包含數百億個 token。

然後去 GeeksforGeeks 平台去驗證翻譯成果,該平台是收集各類編碼問題,並以多種編程語言提供解決方案。

和自然語言不同的是,代碼翻譯並不太要求逐字逐句的對照,因此翻譯後的代碼和參考代碼的重合度其實很低,比如 C++ 轉 Java 的代碼和 Ground Truth 僅有 3.1% 匹配。

另外 NLP 翻譯中的 BLEU 也不宜作為代碼翻譯的衡量標準,因為這只能表示實際代碼和參考代碼之間的語法差異。

因此需要一個新的度量標準——計算正確率,它表示翻譯後的代碼測試後是否能與參考代碼有相同的輸出。

以此為標準,C++ 轉 Java 的代碼的計算正確率為 60.9%,而 Java 轉 C++ 的計算正確率為 80.9%。

Facebook 不是唯一開發 AI 代碼生成系統的公司。前不久微軟 Build 大會上,OpenAI 就演示了一個在 GitHub 數據上訓練的模型,僅根據注釋內容即可生成對應功能的代碼。

TransCoder 沒那麼智能,但是在計算機技術飛速發展的今天,誰知道下一個流行的語音是什麼,有了 TransCoder,至少讓我們在移植代碼的時候沒那麼難了。

也許美國社保系統的 COBOL 就靠它解決了。

論文地址 點這裡

(本文經 AI 新媒體 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈用 AI 实现 C++、Java、Python 代码互译,运行成功率最高达 80.9%〉,首圖來源:pexels.com, CC Licensed。)

你可能感興趣

點關鍵字看更多相關文章: