智東西（公眾號：zhidxcom）
編譯 | ?王欣逸
編輯 | ?程茜
智東(dong)西(xi)10月27日消息，10月15日，德國(guo)農(nong)工大學、德克薩(sa)斯(si)大學奧斯(si)汀分(fen)校和普渡大學的(de)研究(jiu)團隊(dui)在arXiv上發表(biao)了(le)(le)一篇論文，提出并測(ce)試了(le)(le)“LLM腦腐假說(shuo)”（LLM Brain Rot Hypothesis）。研究(jiu)顯示，經垃圾(ji)數據訓練后，Llama 8B模型的(de)推理能力下降了(le)(le)23.6%，自戀和精(jing)神病態的(de)水平上升了(le)(le)兩倍(bei)多(duo)。
“腦(nao)腐”（brain rot）指人們長時間暴露(lu)于碎片(pian)化信(xin)息下(xia)(xia)可(ke)能(neng)導致腦(nao)功(gong)能(neng)損傷。研(yan)究人員提出(chu)，和人類“腦(nao)腐”現象相對應，大模(mo)型接(jie)觸大量垃(la)圾網(wang)絡文本可(ke)能(neng)會(hui)出(chu)現“大腦(nao)退化”、認知能(neng)力持(chi)續下(xia)(xia)降的(de)現象。
論文地址：
一、海量垃圾數據，讓大模型們認知退化
在(zai)研(yan)究(jiu)過程中(zhong)，研(yan)究(jiu)人員在(zai)社交(jiao)(jiao)平臺X的(de)(de)語料(liao)庫(ku)上(shang)進行了(le)受控實驗，從1億條的(de)(de)帖子中(zhong)確定了(le)兩種類型的(de)(de)垃(la)圾(ji)數(shu)據(ju)(ju)，并采用兩個(ge)正交(jiao)(jiao)操(cao)作(zuo)化(hua)方法構建了(le)垃(la)圾(ji)數(shu)據(ju)(ju)集(ji)M1、M2和反(fan)向(xiang)對照(zhao)數(shu)據(ju)(ju)集(ji)。
M1：參與度(du)(du)——衡量帖子的受(shou)歡迎程度(du)(du)和簡短程度(du)(du)。點贊、轉發(fa)和評論量高的內(nei)容，特(te)別是淺薄且吸引人的內(nei)容，這些被(bei)標記為(wei)垃圾數據。同(tong)時，篇幅更長、傳播(bo)性(xing)不強的帖子則成為(wei)對照組。
M2：語(yu)義質量——評估文本的(de)聳(song)人聽聞程(cheng)度和(he)膚淺(qian)程(cheng)度。帶引(yin)誘性(xing)質的(de)語(yu)言（如“哇”、“看”、“僅限(xian)今天”）或(huo)夸(kua)大其詞的(de)帖子被(bei)標記(ji)為垃圾數據。同時，基于事實、有教育(yu)性(xing)或(huo)說(shuo)理性(xing)的(de)帖子被(bei)選擇作為對照(zhao)組。
研(yan)究人(ren)員將這(zhe)兩(liang)類垃圾數據混合高質量(liang)數據，對Llama3-8B、Qwen-2.5-7B/0.5B、Qwen3-4B這(zhe)四個(ge)已經預訓(xun)練(lian)并經過微(wei)調的(de)大模型進行訓(xun)練(lian)，并觀(guan)測其四個(ge)方面的(de)認知能(neng)力：推理(li)能(neng)力、長期(qi)記憶能(neng)力、倫理(li)道(dao)德規(gui)范和表現(xian)出的(de)個(ge)性風格。
通過測量(liang)4個大模(mo)型(xing)的Hedges’g（效應量(liang)）可得，垃圾數據(ju)明顯(xian)影(ying)響了大模(mo)型(xing)的推理能力和長時間記憶(yi)能力（Hedges’g>0.3）。
在其他訓練中(zhong)，垃圾數據對大模(mo)型(xing)對影(ying)響還(huan)存在更復雜(za)的情況。
不同比(bi)例的(de)(de)垃(la)圾數據不僅會(hui)讓(rang)大(da)模型(xing)在(zai)思(si)維上(shang)變得更(geng)(geng)笨，還會(hui)導致(zhi)模型(xing)“個性(xing)”的(de)(de)負面指標(biao)發生(sheng)變化。例如，Llama 8B模型(xing)表現(xian)出了(le)明顯(xian)更(geng)(geng)高的(de)(de)自戀水平，在(zai)精神病態指標(biao)上(shang)還從幾乎沒有的(de)(de)數值增長到了(le)極高的(de)(de)行為發生(sheng)率。
此外，Llama 8B模型使用垃(la)(la)圾數據(ju)和對照數據(ju)各占50%的混合數據(ju)進行訓(xun)練(lian)(lian)，在道德規范、高(gao)開放(fang)性(xing)等(deng)基準訓(xun)練(lian)(lian)中(zhong)產生(sheng)的分數比“全垃(la)(la)圾”或“全對照”訓(xun)練(lian)(lian)數據(ju)都要(yao)高(gao)。
從圖表結果可知(zhi)，M1和M2這(zhe)兩種(zhong)干預的(de)效(xiao)果出現了分歧，這(zhe)意味著參與度（M1）并(bing)非語義質量（M2）的(de)代(dai)理(li)指(zhi)標，而是代(dai)表了不同維度的(de)數據質量。
在劑量反(fan)應(ying)測試(shi)中(zhong)，參與度（M1）干預(yu)對推理和長上(shang)下文(wen)能(neng)力的(de)影(ying)響比語義質(zhi)量（M2）干預(yu)更(geng)為顯著和漸進(jin)，即簡(jian)短、高互動的(de)內(nei)容對AI的(de)負(fu)面(mian)影(ying)響可能(neng)比低質(zhi)量內(nei)容的(de)更(geng)大(da)。
二、患上“腦腐”的大模型，幾乎難以恢復
研究人員還聚焦ARC-Challenge（常(chang)識(shi)推理(li)）中的(de)推理(li)失敗案(an)例，分(fen)析不同的(de)失敗模(mo)式。
他們識別出五種基本(ben)的失敗模式，分別是：無思(si)考(kao)、無計劃(hua)、計劃(hua)跳步、邏(luo)輯(ji)錯(cuo)誤(wu)(wu)、事實(shi)錯(cuo)誤(wu)(wu)，其(qi)中(zhong)無思(si)考(kao)占比(bi)最高，且大多數失敗與“思(si)維跳躍”有關，例(li)如，模型無法生成中(zhong)間推理步驟。
除此之外，研究人員還(huan)試(shi)圖探究腦腐造成的認知影響是(shi)否可以(yi)恢復。
研究表明，即使在“腦腐”后進(jin)行大量的(de)指令微調或(huo)者利用高(gao)質(zhi)量數據(ju)模型(xing)進(jin)行再訓練(lian)，模型(xing)仍會受垃圾數據(ju)揮之不去的(de)影響。一旦模型(xing)的(de)性能開始下降，即使想要恢復原有性能，也只能是實現(xian)部分(fen)的(de)恢復。
因此，為大模型抓取(qu)海量(liang)互聯網數據(ju)不(bu)一定是(shi)件好事(shi)。
結語：AI開發者需重新審視數據策略，警惕大模型“腦腐”
研究人員指出(chu)，過度依賴互聯(lian)網數據可能會(hui)導致大模(mo)型預(yu)訓練受到污染，這也意味著，人們(men)應當重新審(shen)視當前從互聯(lian)網收集(ji)數據的方式以(yi)及持續的預(yu)訓練實(shi)踐。
除此之(zhi)外，當下的(de)(de)互聯網(wang)上越來越多的(de)(de)內容由(you)AI生成(cheng)，如果(guo)用這(zhe)些內容來訓練(lian)模型，可能會導致“模型崩潰”。
研究人員建議：AI公司需(xu)要關注訓練大模(mo)型的數據質量(liang)，而非僅僅囤(dun)積海(hai)量(liang)數據。此外(wai)，他們可能還需(xu)要對模(mo)型進行“認知健康檢查”。
來源：Ars Technica、arXiv
