【科技巨頭的衛生紙之亂】GPU 嚴重短缺,OpenAI 執行長:使用 ChatGPT 的人少一些會更好!

SAM ALTMAN

當 ChatGPT app 多週稱霸 App Store 的下載排行榜之際,越來越多使用者正興奮的將其融入日常生活、工作中,但 OpenAI CEO Sam Altman 卻在上個月一場關於 AI 議題的參議院聽證會中表示,「如果使用 ChatGPT 的人少一些會更好。」

事實上,勢頭正旺的 OpenAI 現在正因 GPU 短缺而被箝制發展。5 月中,Sam Altman 在倫敦舉行一場約 20 人的私人閉門會議上,偷偷向一群軟體開發商、新創公司揭露公司內部營運狀況。

會議內容隨後走漏,據《Fortune》報導,一名與會人士將會議內容揭露在某篇網誌上,該篇文章火速被下架。文中披露 OpenAI 的痛中之痛:ChatGPT 快沒足夠的 GPU 支撐了

延伸閱讀:微軟急跟 NVIDIA 投資公司簽約——OpenAI 坦言 GPU 短缺造成 ChatGPT 性能暴降

OpenAI 執行長說溜嘴:GPU 短缺讓客戶頻頻投訴

Sam Altman 指出,由於 GPU 短缺,用戶在使用 OpenAI 的服務時明顯感受到反應遲緩、品質較不可靠,而這情況甚至嚴重到讓一些企業客戶退縮,不願意採用 OpenAI 的技術,來建立專屬自家企業的軟體服務。

據《華爾街日報》,一向為醫生開發 AI 助手的新創公司 Nabla 公開抱怨,OpenAI 的軟體需要長達兩分鐘的時間才能消化用戶的請求。這對使用 AI 幫醫生自動生成臨床建議、診斷筆記的 Nabla 來說,是無法接受的反應速度。

運算資源卡,ChatGPT 原定長篇功能受限

也因為算力資源不足,OpenAI 正在推遲多項原定計劃。其中最直接影響廣大用戶的是 ChatGPT 擴展長篇對話的能力。原本 GPT-4 的多數用戶都有一個約 8000 Token 長的對話額度。Token 指的是 AI 生成語言文本的基本單位,ChatGPT 每生成 75 個英文單字,約需耗費 100 Token。

據瞭解,OpenAI 在 3 月份為特定用戶發布了一個 32,000 個 Token 長的對話模式,但很少有用戶真的能使用到這等篇幅,因為大部分時候系統沒有足夠的運算資源能消化。此外,原本 OpenAI 還提供給有大量需求的客戶專用額度,一套額外的 GPT 模型私有副本來運行,客戶得為此服務預先支付 10 萬美元,但如今這一服務也因 GPU 不足而受限。

訂閱《AI TOgether》趨勢週報
每週幫你精選 AI 主題報導

感謝訂閱!隨時注意信箱的最新資訊

比毒品還難取得!馬斯克也急搶 GPU 資源

現在 GPU 到底有多缺?《華爾街日報》報導,有伺服器製造商與客戶表示,他們需要等待 6 個月以上才能獲得 NVIDIA 最新款 GPU。馬斯克甚至用「比毒品還難取得」來形容GPU。據瞭解,儘管 GPU 龍頭 NVIDIA 聲稱將盡最大努力拉高產能,但各科技巨頭早已為有限的 GPU 運算量能搶破頭。

有業內人士指出,前陣子一間新創公司試圖跟甲骨文購買更多雲端空間時,被甲骨文告知有其他買家買下公司大部分的備用空間,而背後買家正是馬斯克。外界推測此次出手,應是馬斯克為了佈局 OpenAI 競爭對手,也就是新創 AI 公司,「X.AI」 所做的準備。

延伸閱讀:【馬斯克到底是不是心機重】喊暫停 AI 競賽卻默默成立 AI 公司瘋狂追趕,OpenAI 執行長怎麽說?

《華爾街日報》以科技巨頭們的「衛生紙之亂」,來形容各家大廠爭搶 GPU 資源的窘態。

微軟欲與甲骨文結盟,要讓 OpenAI 有足夠糧草衝刺

展望 OpenAI 原先訂下的發展目標:今年要做出比 GPT-4 大 3~4 倍的模型;明年 GPT-4 要推出能輸入及輸出圖像的對話能力。作為 OpenAI 背後最大乾爹,微軟可能已開始汗顏。

微軟迄今為止已向 OpenAI 投資 130 億美元,OpenAI 多數的 AI 模型也仰賴微軟提供的雲端基礎設施來運行。Sam Altman 還曾向媒體誇讚 Azure 是最適合運行生成式 AI 的雲端服務商。

《The Information》報導指出,為了要讓旗下小金雞不因缺糧而餓肚子、長不大,微軟正與甲骨文討論結盟的可能性,透過交換運用雙方伺服器建設,好拓展可供客戶的運算資源,畢竟業界普遍認為 GPU 短缺的態勢,在近兩年內恐怕都很難緩解。

*本文開放合作夥伴轉載,資料來源:Fortune華爾街日報The InformationOpenAI,圖片來源:Sam Altman

(責任編輯:游絨絨)

TechOrange LINE 好友募集中
TechOrange 徵才