Datawhale干貨
作者:平凡@知乎,諾桑比亞大學(xué),在讀博士
今天晚上,花了一點(diǎn)兒時(shí)間看了兩篇文章:
(資料圖片)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior,即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象在機(jī)器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時(shí),由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素,出現(xiàn)了定性上的新能力和性質(zhì),這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。
第一篇文章舉了這個(gè)例子,每個(gè)圖都可以理解為一個(gè)任務(wù),橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模,而縱軸是準(zhǔn)確率,可以理解為模型的性能。
我們拿圖一來(lái)看,在10的22次方前,這些模型基本上的性能基本上都很穩(wěn)定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個(gè)任務(wù)上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的評(píng)論引用在這里:
作者發(fā)現(xiàn),當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計(jì)算同余加法 a+b = ? (mod c) 時(shí),網(wǎng)絡(luò)在某個(gè)時(shí)間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn),神經(jīng)網(wǎng)絡(luò)實(shí)際上“頓悟”了使用傅立葉變換來(lái)計(jì)算同余加法!這個(gè)算法可以證明是正確的, 反人類直覺(jué)的。
從這倆例子里面我的感受是,只要數(shù)據(jù)量足夠且真實(shí),且模型沒(méi)有硬錯(cuò)誤的前提下,不斷的訓(xùn)練說(shuō)不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺(jué)得人類現(xiàn)在積累的知識(shí)并不少,但是系統(tǒng)的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識(shí)進(jìn)行不斷學(xué)習(xí)的話,我覺(jué)得有很大概率會(huì)讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf關(guān)鍵詞:
凡注有"環(huán)球傳媒網(wǎng)"或電頭為"環(huán)球傳媒網(wǎng)"的稿件,均為環(huán)球傳媒網(wǎng)獨(dú)家版權(quán)所有,未經(jīng)許可不得轉(zhuǎn)載或鏡像;授權(quán)轉(zhuǎn)載必須注明來(lái)源為"環(huán)球傳媒網(wǎng)",并保留"環(huán)球傳媒網(wǎng)"的電頭。
- 學(xué)生營(yíng)養(yǎng)改善計(jì)劃 學(xué)生營(yíng)養(yǎng)改善計(jì)劃主要內(nèi)容是什么?
- 征信黑戶是什么 征信黑戶有什么影響?
- 深圳汽車(chē)限購(gòu)簡(jiǎn)介 深圳汽車(chē)限購(gòu)弊端又在哪里呢?
- 玫瑰價(jià)格暴漲咋回事 花卉市場(chǎng)的發(fā)展前景如何?
- 西昌市是什么 ?西昌旅游風(fēng)景有哪些?
- 電話車(chē)險(xiǎn)好嗎 電話車(chē)險(xiǎn)的利與弊?
- 布依族簡(jiǎn)介 ?布依族風(fēng)俗是什么?
- 個(gè)稅改革方案內(nèi)容 個(gè)稅改革方案內(nèi)容是什么?
- 世界八大建筑奇跡介紹 八大建筑奇跡還爭(zhēng)議有哪些?
- 兵馬俑的來(lái)歷 兵馬俑背后有什么故事?
資訊
- 大語(yǔ)言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)? 環(huán)球熱議
- 南通五一期間哪里有車(chē)展?(附地址)
- 教父下載 在線播放_(tái)教父1下載|世界聚看點(diǎn)
- 當(dāng)前觀點(diǎn):國(guó)家統(tǒng)計(jì)局:高等教育女生占比持續(xù)超過(guò)半數(shù)
- 2022年“瀾湄周”暨“瀾湄區(qū)域生態(tài)旅游合作論壇”在西寧舉辦 世界動(dòng)態(tài)
- 如何消除痛風(fēng)石呢,貴陽(yáng)手術(shù)去除痛風(fēng)石費(fèi)用大概多少錢(qián)
- 【世界獨(dú)家】江西宜黃縣工信局:三著力提三度 讓“夕陽(yáng)”更生輝
- 昭衍新藥(06127)股東左從林等擬合計(jì)減持不超過(guò)426.83萬(wàn)股_天天新要聞
- 環(huán)球要聞:玩游戲首選華碩主板 陪你EPIC快樂(lè)喜加二
- 世界鋼鐵協(xié)會(huì):預(yù)計(jì)2023年全球鋼鐵需求將增長(zhǎng)2.3% 前沿資訊
焦點(diǎn)
- 吉爾吉斯斯坦首都 吉爾吉斯首都比什凱克的經(jīng)濟(jì)發(fā)展如何?
- 全球金融危機(jī)原因 全球金融危機(jī)的原因介紹
- 土耳其屬于哪個(gè)洲 土耳其的首都是什么?
- 近地小行星是否會(huì)對(duì)地球造成威脅?近地小行星的蹤影匯總
- 油價(jià)或迎第八漲 油價(jià)的后市會(huì)是怎樣的發(fā)展?
- 最丑十大建筑 世界最丑十大建筑有哪些?
- 英國(guó)脫歐是什么 英國(guó)脫歐的原因介紹
- 油價(jià)一跌再跌 海外爆發(fā)對(duì)各國(guó)油氣行業(yè)有什么影響?
- 中國(guó)減持美債原因 減持美債會(huì)帶來(lái)哪些影響?
- 美國(guó)圣誕假期有幾天?除了圣誕還有哪些節(jié)假日?