相關(guān)研究論文已于近日發(fā)布在預(yù)印本服務(wù)器arXiv上,指出學(xué)者難以接觸到最先進(jìn)的計(jì)算系統(tǒng),這可能阻礙他們開發(fā)大型語言模型(LLM)和其他AI研究的進(jìn)展。
(圖片來源:nature)
具體而言,學(xué)術(shù)研究者往往沒有資源獲取足夠強(qiáng)大的圖形處理器(GPU)——這些電腦芯片常用于訓(xùn)練AI模型,且價(jià)格昂貴,可達(dá)數(shù)千美元。相比之下,大型科技公司的研究者預(yù)算更高,可以在GPU上投入更多資金。“每增加一塊GPU,就能提升更多算力。”美國布朗大學(xué)計(jì)算機(jī)科學(xué)家、該研究的合著者Apoorv Khandelwal表示,“雖然行業(yè)巨頭可能擁有數(shù)千塊GPU,但學(xué)者可能只有幾塊。”
“學(xué)術(shù)界與行業(yè)界的模型差距巨大,但本可以小得多。”美國華盛頓特區(qū)非營利AI研究機(jī)構(gòu)EleutherAI的執(zhí)行董事Stella Biderman說。她表示,對這一差距的研究“至關(guān)重要”。
為了評估學(xué)者可用的計(jì)算資源,研究團(tuán)隊(duì)對35家機(jī)構(gòu)的50名科學(xué)家進(jìn)行了調(diào)查。受訪者中,66%對自己的算力滿意度打了3分及以下(滿分5分)。“他們根本不滿意。”Khandelwal說。
各大學(xué)在GPU訪問設(shè)置上有所不同。有些學(xué)校設(shè)有供各部門和學(xué)生共享的中央計(jì)算集群,研究人員可申請GPU使用時(shí)間。另一些機(jī)構(gòu)可能為實(shí)驗(yàn)室成員直接購買機(jī)器。
柱狀圖揭示了調(diào)查的結(jié)果:學(xué)者通常只能有限地訪問圖形處理器,這進(jìn)而限制了他們訓(xùn)練機(jī)器學(xué)習(xí)模型的能力。
一些科學(xué)家表示,他們不得不等待數(shù)天才能使用GPU,并指出在項(xiàng)目截止日期前后等待時(shí)間特別長。調(diào)查結(jié)果還凸顯了全球算力訪問的差異。例如,有受訪者提到在中東地區(qū)難以找到GPU。僅有10%的受訪者表示,他們可以使用英偉達(dá)的H100GPU,這是專為AI研究設(shè)計(jì)的高端芯片。
這一障礙極大地加劇了預(yù)訓(xùn)練過程的難度,即向大型語言模型(LLM)輸入海量數(shù)據(jù)集的過程變得尤為困難。“由于成本高昂,大多數(shù)學(xué)者甚至不敢涉足預(yù)訓(xùn)練領(lǐng)域的研究。”Khandelwal指出。他和同事堅(jiān)信,學(xué)者在人工智能研究中帶來了獨(dú)一無二的視角,而算力的匱乏可能會(huì)嚴(yán)重制約這一領(lǐng)域的未來發(fā)展。
“為了長期的增長和技術(shù)發(fā)展,擁有一個(gè)健康、有競爭力的學(xué)術(shù)研究環(huán)境至關(guān)重要。”美國布朗大學(xué)計(jì)算機(jī)科學(xué)和語言學(xué)學(xué)者、該研究的合著者Ellie Pavlick說,“相比之下,在行業(yè)研究中往往存在顯著的商業(yè)壓力,這有時(shí)會(huì)促使研究人員急于求成,減少了對未知領(lǐng)域的探索。”
研究人員還深入探究了學(xué)者如何在算力資源有限的情況下更高效地進(jìn)行利用。他們測算了在使用1至8塊GPU的低資源硬件環(huán)境下,預(yù)訓(xùn)練多個(gè)大型語言模型(LLM)所需的時(shí)間。盡管面臨資源限制,學(xué)者仍成功訓(xùn)練出多個(gè)模型,但這一過程耗時(shí)更長,并要求他們必須采用更為高效的方法。
“我們實(shí)際上可以延長現(xiàn)有GPU的使用時(shí)間,從而在一定程度上彌補(bǔ)與行業(yè)界的差距。”Khandelwal說。
“在有限的計(jì)算資源上竟然也能訓(xùn)練出比許多人預(yù)期中更大的模型,這確實(shí)令人驚嘆。”德國薩爾布呂肯薩爾蘭大學(xué)神經(jīng)顯式模型研究者Ji-Ung Lee表示。他進(jìn)一步指出,未來的研究可以聚焦小公司行業(yè)研究者的經(jīng)歷,因?yàn)樗麄兺瑯釉谟?jì)算資源獲取上面臨困境。“并非所有有能力獲取無限算力的人都能夠如愿以償。”他補(bǔ)充道。
關(guān)鍵詞:
凡注有"環(huán)球傳媒網(wǎng)"或電頭為"環(huán)球傳媒網(wǎng)"的稿件,均為環(huán)球傳媒網(wǎng)獨(dú)家版權(quán)所有,未經(jīng)許可不得轉(zhuǎn)載或鏡像;授權(quán)轉(zhuǎn)載必須注明來源為"環(huán)球傳媒網(wǎng)",并保留"環(huán)球傳媒網(wǎng)"的電頭。
- 算力不足限制AI創(chuàng)新 學(xué)者呼吁加強(qiáng)學(xué)術(shù)界算力支持
- 中國野生虎豹分布核心區(qū)強(qiáng)化科技巡護(hù)預(yù)防“人獸沖突”
- 上海11月二手房成交已突破兩萬套,中介:稅費(fèi)調(diào)整后大標(biāo)的成交可觀
- 31萬人報(bào)考,導(dǎo)游證好考嗎?一文了解關(guān)于導(dǎo)游的那些事兒
- 常州試點(diǎn)地下空間(鹽穴)開發(fā),創(chuàng)新資源利用模式
- “頭發(fā)油得快,每天要洗頭” 如何擺脫大油頭?
- 2024 年江蘇高等教育年會(huì)在徐州盛大舉行
- 金融活水潤澤邳州車輻山鎮(zhèn)任莊村
- 無錫:外貿(mào)增長,集成電路產(chǎn)業(yè)一馬當(dāng)先
- 以賽促教謀發(fā)展 ?百花齊放綻風(fēng)采——駐馬店市第十二小學(xué)舉行數(shù)學(xué)說課比賽
資訊
- “洮南辣味”端上多國餐桌 “東北辣心”出口忙
- 鎮(zhèn)江海關(guān)助力沃得農(nóng)機(jī)“駛”向海外
- 福建省民營中小微企業(yè)提質(zhì)爭效專項(xiàng)貸惠及企業(yè)9500家
- 民政部等24部門印發(fā)重要措施 促進(jìn)養(yǎng)老服務(wù)消費(fèi)
- 鄧州市金融服務(wù)助力實(shí)體經(jīng)濟(jì)發(fā)展
- 南陽市宛城區(qū)法院譜寫楓橋式人民法庭新篇章
- 江西邀跨國公司投資興業(yè) 共享重點(diǎn)產(chǎn)業(yè)發(fā)展機(jī)遇
- 南陽市臥龍區(qū)法院黨組理論學(xué)習(xí)中心組意識(shí)形態(tài)工作專題學(xué)習(xí)研討
- 我國提出到2027年底 全面實(shí)現(xiàn)5G規(guī)?;瘧?yīng)用
- 蘇州港:多舉措助力集裝箱吞吐量提前“達(dá)標(biāo)”
焦點(diǎn)
- 斯諾克英錦賽:丁俊暉憾負(fù)肖恩·墨菲無緣八強(qiáng)
- ?西平縣召開開辦餐飲店“一件事”工作專班聯(lián)席會(huì)議
- 燕京啤酒獲評“AAA級(全國級)知名商標(biāo)品牌”
- 淮安市公積金中心助力營商環(huán)境再升級
- 主力流出股價(jià)為什么上漲?為什么資金凈流入股價(jià)還是跌?
- 廣電總局要求加強(qiáng)對“霸總”微短劇管理:不以“霸總”之類的字眼作為片名吸睛引流
- 江蘇灌云:辦好校外教育 呵護(hù)“青苗”成長
- 秦灶街道:以“小”謀“大”,探索黨建引領(lǐng)基層治理新路徑
- 川渝火鍋“飄香”鏈博會(huì)
- 德勤:中國企業(yè)國際化加快 海外經(jīng)營質(zhì)量明顯提升