解密 LinkedIn 職位推薦演算法:用 GLMix 模型打造全球最大求職社交平台

【為什麼我們要挑選這篇文章】LinkedIn 是全球最大的求職社交平台,企業與求職者都會在上面尋找適合的人才與工作機會。不同於 Google 搜尋引擎,只需要提供最符合搜尋的內容;因為求職是雙向關係,除了提供最符合搜尋的結果,LinkedIn 的搜尋引擎還需要考慮被推薦者的意願。LinkedIn 如何導入 AI,透過機器學習優化這段雙向過程?

還有,如果是 AI 負責推薦我們的履歷給企業,並參與審核工作,我們該如何寫履歷?(責任編輯:郭家宏)

「《科技報橘》徵才中!跟我們一起定位台灣產業創新力 >> 詳細職缺訊息
快將你的履歷自傳寄至 [email protected]

作為全球最大的職業社交網路,創建於 2003 年的 LinkedIn 在過去 6 年間,從一個 7000 萬美元(約 22 億新台幣)左右年營收的企業,增長至 30 億美元(約 950 億新台幣)營業額的企業。五年間 LinkedIn 業務成長超過 40 倍,這種成長速度在企業服務領域是驚人的。

LinkedIn 改變了傳統的先由企業發佈職缺訊息,然後求職者投履歷,接著企業篩選履歷和面試。求職者單向資訊不對稱、主動性不對稱的流程,讓企業可以主動對中高端人才進行邀約,人才可以享受到被動的求職服務。

LinkedIn 讓企業可以透過資訊工具,主動挖掘到更多符合自身特點的人才,結合社交關係、檔案資料、人脈評價等比履歷更立體的資訊,對候選人進行考核甄別,再進行邀約面試的考核。

但是人力資源管理中的場景非常複雜,並且常常面對數據不對稱、有偏見的各種問題。6 月 20 日,在北京召開的 O’Reilly AI Conference 上,LinkedIn 的工程副總裁張仁輝作了題為《人工智能對未來招聘和人才市場的影響》的演講,並在會後向大數據文摘介紹了 LinkedIn 在訓練自己的演算法模型中遇到的各種難題及應對之道。

人力資源管理中使用數據科學技術的挑戰

曾擔任雅虎工程副總裁、Tinder 首席技術官,張仁輝對於傳統的搜尋和推薦系統非常瞭解。她告訴大數據文摘,與傳統的搜尋和推薦系統只關注如何評估一條內容和給定查詢的相關度不同,人才搜尋領域需要招募人員和求職者都互相對彼此感興趣。

換句話說,不僅需要所顯示的求職者必須與招募人員的查詢相契合,而且需要招募人員聯繫的求職者必須對職位機會表現出興趣。因此,使用適當的指標來優化模型以及在線的 A/B 測試至關重要。

此外,人才搜尋系統的底層查詢可能非常複雜,它結合了一些結構化欄位(如規範化頭銜、規範化技能和公司名稱)和非結構化欄位(例如自由文本式關鍵字)。

最後,個性化對於人才搜尋系統而言非常重要,網站需要根據招募人員所尋找應徵者的類型來模擬他們的動機和偏好,這也是人力資源中人工智慧應用需要跨過的一道門檻。

愈來愈多企業將 AI 導入人才招募流程;AI 的下個十年趨勢,我們掌握了嗎?

8/10(六) 【科技報橘 2019 年度論壇】CONNECT 2030 What’s The Future,破解台灣 AI 小國大戰略的重要核心。

歷史數據的缺陷,導致 AI 解讀人力資源數據的偏見

除了這些未知的挑戰,在人力資源領域,人工智慧還出現了許多已經有的偏見。

最為人熟知的可能是亞馬遜被關閉的自動化招募演算法。據路透社報導,自 2014 年以來,亞馬遜就專門成立了團隊開發電腦程式以審查求職者的履歷,以將尋找頂尖人才的任務自動化。

這一試驗性招募工具使用 AI 給應徵者打分,分數從一星到五星不等,直到 2015 年,亞馬遜意識到其新系統對於軟體開發人員和其他技術職位求職者存在性別偏見判斷。這是因為,亞馬遜的電腦模型經過了培訓,通過觀察過去 10 年被提交給該公司的簡歷找出固有模式,並以此來審查應徵者。

亞馬遜立刻關閉了這一系統,但依然暴露了人工智慧的一大缺陷:基於歷史數據,算法會把人類世界無意識的偏見進一步擴大。

打造無偏見的個性化職位推薦系統

「在消除偏見方面,LinkedIn 一直在試圖在演算法中提升透明度、可建性和個人意識。」

張仁輝向大數據文摘介紹了 LinkedIn 透過相關產品 LinkedIn Talent Insights,把統計數據跟決策者、人力資源部和招募部門進行分享,讓他們瞭解團隊的薪酬水平和整體的市場情況,使情況更加透明,這樣大家可以瞭解到當前的 AI 系統和實際的差距所在,並儘量縮小這樣的差距。

此外,張仁輝表示,為了實現個性化服務,LinkedIn 採用了能夠從多角度理解內容的機器學習演算法。透過將機器學習與會員動機訊息、檔案數據和會員人脈網路資訊結合起來,實現會員推薦和搜尋結果的高度個性化。

LinkedIn 的職位推薦系統是世界級領先的,其基礎是透過大量用戶數據建立的知識圖譜和研發針對自然語言的標準化技術。LinkedIn 針對每位用戶的履歷,都使用基於深度學習模型的標準化技術來實現資訊抓取,例如 LSTM、CNN 等等。對於工作職位也做了同樣的事情。

捨棄線性模型,新建 AI 模型實現個性化職位推薦

六、七年前,LinkedIn 的職位推薦是一個線性模型,例如求職者是一個軟體工程師,系統就會推薦一個軟體工程師的職位。但後來使用中發現,根據用戶履歷和工作職位的描述來做推薦,不一定能夠完全實現個性化,LinkedIn 還希望根據用戶之前的職位申請,為他推薦更多類似的職位,即深度的個性化。之後又研發了 Generalized Linear Mixed Model(GLMix),針對每個用戶和每個職位建立一個單獨為他們服務的模型,這樣使得模型的參數量達到了上百億的規模。同時也成功地把職位申請的數量提高了 30%。LinkedIn 中國團隊把這個模型用在中國的數據上,又將職位申請的數量額外提高了 11%。

進一步地,LinkedIn 還建立了一個 Deep & Wide 的模型,其中整合了深度學習,樹狀結構模型,以及 GLMix,極大地提升了 LinkedIn 的用戶體驗。為了即時更新上百億的模型參數以及在毫秒級別內滿足用戶的職位推薦需求,LinkedIn 搭建了大規模運算平台來實現人工智慧模型的技術。這個平台包括線下和線上兩個模組——線下模組自動收集用戶的反饋、基於 Spark 自動訓練,之後把模型結果和參數上傳到線上。線上使用即時數據傳輸和搜尋引擎技術來實現低延遲的模型運算。

並且,LinkedIn 專門研發了一個叫做 Pro-ML 的人工智慧自動化系統,為所有工程團隊集中管理特徵和機器學習模型。這一系統為機器學習模型的整個開發、培訓、部署、測試提供單一化平台,已經極大加快了 LinkedIn 開發及上線新產品的速度。

就這樣一步步,LinkedIn 打造了如今的複雜高效的世界級推薦系統。

如果讓 AI 當「推薦人」,我們該如何寫履歷?

正如張仁輝在 6 月 20 日的演講《人工智能對未來招聘和人才市場的影響》中提到的,「我們擁有同理心、創造力、道德標準和倫理感,而人工智慧會從重複性的工作和危險的工作中解放我們,讓我們得以更好、更自由地表達並發展自己,讓我們更好地相互連接,從而讓世界更加美好。」

雖然現在人工智慧的演算法雖然非常的先進,可以下棋、打敗電競選手、玩視頻遊戲,但是人工智慧沒有同理心的能力,它沒有辦法瞭解另外一個人的情感。招募工具可以取代重複的工作,比如每天要重複看履歷來找候選人或者安排面試,但是這個工具永遠不會取代人。

我們可以透過握手,直視面試者並微笑,聽他們的故事,進而瞭解他們,但人工智慧不可以。所以人工智慧是不會取代我們,而是會讓招募人員可以有更多的時間來和候選人進行人與人之間的交流,進行彼此的瞭解。

各行各業向 AI 招募的轉變,創造了一個就業搜尋環境,而這種環境將會持續下去。對於應徵者來說也有啟示,企業將越來越多地使用基於 AI 的軟體來對求職者進行分類。這意味著:

求職者需要用直白的語言來描述他們的背景,使用通用的語言來展示相關的工作經歷。申請者還應準備進入招募程序,讓 AI 將他們理解為「人」,而不是作為一份成就清單。未來我們都應該學會如何與 AI 合作,如何與 AI 溝通。

(本文經合作夥伴 大數據文摘 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈专访领英工程副总裁张仁辉:如何驯服算法,打造世界级的职位推荐系统?〉。首圖來源:Flickr CC Licensed)

更多關於人工智慧的資訊

我的工作會被人工智慧取代?你更應該問:如何讓 AI 為我工作
一個「值得信賴 AI」長什麼樣子?歐盟發佈 7 條人工智慧的道德準則
Open AI 把人工智慧丟進荒地,看見了人類歷史演進的脈絡


我們正在找夥伴!

2019 年我們的團隊正在大舉擴張,需要你的加入跟我們一起找出台灣創新原動力! 我們正在徵 《採訪社群編輯》、《助理編輯》,詳細職缺與應徵辦法 請點我

點關鍵字看更多相關文章: