智東西（公眾號：zhidxcom）
編譯 | 陳家陽
編輯 | 漠影
智東西4月17日報道，近日，Nature雜志對21世紀以來引用次數最多的25篇論文進行了分析，揭示出一個有趣的現象：在科學界，講述方法和軟件的論文比著名的科學發現更常被引用，這些論文主要集中在人工智能（AI）、研究方法或綜述、癌癥統計和軟件研究等領域。
特別值得關注的是，于2016年發表的《應用于圖像識別中的深度殘差學習（Deep Residual Learning for Image Recognition）》成為21世紀被引用次數最多的論文，何愷明是該文第一作者，當時正在北京的微軟亞洲研究院工作。
此外，Nature在這篇分析中還討論了其他高被引論文，包括改進的圖像處理網絡架構“U-net”，開源的“隨機森林”（random forest）機器學習算法，谷歌研究人員發表的有關Transformer模型的論文等。
▲Nature統計的21世紀10篇被引用量最高的論文
一、ResNet研究位居榜首，何愷明是第一作者
作為計算機視覺和AI領域的頂級科學家，何愷明在學術生涯早期便展現出了非凡的研究才能，在微軟亞洲研究院工作期間，因提出深度殘差網絡（ResNet）而名聲大噪。
ResNet解決了深度神經網絡訓練中的梯度消失問題（即隨著網絡層數的增加，網絡的性能反而可能下降），使得研究人員能夠訓練約150層的神經網絡，比以往使用的神經網絡層數多5 倍以上。
該論文在2015年底作為預印本發布，2016年正式發表，隨后于ImageNet競賽中得到驗證，并促進各種圖像識別任務取得了突破性進展。
ResNet的影響力不僅限于計算機視覺領域，其思想也被廣泛應用于現代深度學習模型中。能夠下棋的AlphaGo、預測蛋白質結構的AlphaFold以及大語言模型GPT等AI工具的出現，都離不開ResNet，它使神經網絡能夠達到前所未有的深度，重新定義了深度學習的潛力邊界。
“在ResNet之前，‘深度學習’并沒有那么深入，”目前在麻省理工學院工作的何愷明說。
作為“深度學習三巨頭”之一的楊立昆，曾在采訪中對ResNet研究取得的成就表示贊賞，“這顯示了全球范圍內都存在著杰出的科學家，并且創新的靈感可以源自世界的任何一個角落。”
二、21世紀，AI領域論文的黃金時代
“AI教父”杰弗里·辛頓（Geoff Hinton）表示，AI領域的論文在引用方面具有天然優勢，這些領域的論文與許多學科相關，特別是在21世紀AI行業實現快速發展。
不少人把深度學習革命歸功于辛頓在2012年合著的一篇論文，其中提到的名為“AlexNet”的網絡，在識別和標記圖像時以壓倒性優勢擊敗了其他方法。這篇論文在此次排名中位列第八，而辛頓另一篇關于深度學習的綜述論文排名第十六。
在提出AlexNet三年后，一篇有影響力的論文介紹了名為“U-net”的網絡，可以用更少的訓練數據來處理圖像。該論文現在排名第十二位。其合著者之一奧拉夫·倫內伯格（Olaf Ronneberger）因該論文被DeepMind招募。
2017年，谷歌研究人員在發表的《“注意力就是你所需要的（Attension is All You Need）”》 一文中首次提出了Transformer神經網絡架構，通過自注意力機制（self-attention）來提升大型語言模型的性能。這篇論文在本世紀高被引論文中排名第七。
在機器學習領域，許多早期的學術論文是開源的，這也提高了其引用次數。《隨機森林（Random forest）》得益于提出開源、免費且易于使用的機器學習算法，而引用量激增，在此次排名中位列第六。
結語：科學方法與軟件是影響論文引用量的重要因素
引用，是作者在文獻中核實知識來源的方式，是衡量論文影響力的重要標準之一。
Nature通過研究分析表明，被引用次數最多的論文，通常不是介紹著名的科學發現，而是傾向于描述科學方法或軟件，即科學家所依賴的基礎工具。
“科學家們說他們重視方法、理論和經驗發現，但實際上方法被引用得更多，”密歇根大學安娜堡分校的社會學家米沙·特普利茨基（Misha Teplitskiy）指出。這些高引用論文，不僅展示了它們在學術界的影響力，也反映了科學界對方法的廣泛認可和應用。
來源：Nature、澎湃新聞
