自然指數(Nature Index,NI)于2014年首次發布,該指數通過計算發表在《科學》《自然》《細胞》等一系列自然科學領域全球知名期刊上的科研論文數量和貢獻份額,對全球主要國家(地區)、城市、機構的科研能力進行排名。這些期刊因其嚴格的審稿流程、高水準的研究成果被視為科學界的風向標,自然指數也因此成為評估科研影響力與成果質量的關鍵指標之一。然而,自然指數在衡量一個國家(機構)的科研實力、創新能力以及科研活動的多樣性和長期影響力方面,仍存在局限性。本文基于2024年6月發布的《自然指數—研究者領袖》報告,在深入分析自然指數計算方法和指標的基礎上,探討自然指數的局限性及潛在的問題,并據此提出如何正確理解和看待自然指數的思考。
一
自然指數計算方法及評價結果
自然指數是英國自然出版集團發布的衡量科研產出能力的指標,通過追蹤國家(地區)、城市、機構在特定學術期刊上發表的論文情況,反映全球范圍內高質量科研產出與合作態勢。
1.1 期刊選擇
自然指數由獨立專家組遴選期刊,涵蓋范圍包括自然科學和健康科學領域。2014年11月起,自然指數收錄68種期刊;2018年6月,收錄期刊數增至82種;2023年,自然指數新增健康科學類期刊,收錄期刊數增至145種。其自然指數追蹤的學科領域也擴展為化學、地球與環境科學、生命科學、物理科學和健康科學五大類。對于綜合性期刊,如《科學》《自然》等,其刊載文章可能涉及多個學科,自然指數在統計時根據文章內容和研究領域確定其歸屬于某個或某幾個學科領域。
1.2 指標選取
自然指數最初以發文數(AC)、分數式計量數(FC)和加權分數式計量數(WFC)3個指標進行統計分析,以12個月作為統計時長,每月進行一次滾動更新。2018年,自然指數對統計指標進行了修訂,剔除了加權分數式計量數指標,保留絕對數和相對份額兩個指標,更名發文數指標為論文計數(Count)、FC指標為貢獻份額(Share)。在排名時,自然指數以貢獻份額作為國家(地區)、機構的排序依據。
1.3 計算方法
自然指數關于論文計數和貢獻份額的計算方法如下:論文計數是根據全計數法統計出的論文數,即一篇論文無論有幾位作者,每位作者所屬國家(地區)或機構可獲得1分;貢獻份額即論文總分數按作者占比的貢獻程度,每位作者的貢獻程度相等,分值在所有作者中平均分配,同時對于n個國家作者合著的論文,屬于同一國家的作者只能計算為發表1/n篇論文。例如,兩位中國作者與一位美國作者合著的論文,中、美兩國的論文計數值分別為1,貢獻份額值均為1/2。
二
自然指數的評價結果分析
2.1 排名前列的國家保持基本穩定
2014—2024年自然指數報告顯示,排名前20位的國家總體保持穩定,美國、中國和德國一直占據排行榜前3位(表1)。10年間,連續保持前10位的國家達到9個,分別為美國、中國、德國、英國、日本、法國、加拿大、韓國、瑞士,展現其在自然科學領域的絕對優勢。從變化幅度看,中國和印度是所有國家中論文產出份額增幅最大的國家,2024年中國調整后份額提升了13.6%,印度調整后份額提升14.5%,同期發達國家,如美國、英國、德國和法國則分別下降7.1%、8.2%、6.8%和4.8%。
2.2 全球主要科研城市排名有所波動
2023年《自然指數—科研城市》報告顯示,排名前100位的科研城市中,有31個城市分布在北美、29個城市分布在歐洲、25個城市分布在中國(含港澳臺)。其中,中國城市的表現尤為突出,北京、上海、南京、廣州和武漢進入了前10強,合肥、杭州、天津、深圳和西安躋身全球排名前20位。2018—2023年,廣州貢獻份額增幅達187.9%,排名上升了17位,至第8位;南京、武漢和上海貢獻份額增幅均超過80%,排名分別上升6位、9位和4位。而美國和日本主要城市的論文產出呈緩慢下降趨勢,東京降幅最為明顯,5年間份額減少了14.8%,排名下降了3位。
2.3 各國國際科研合作程度差異化明顯
通過分析“平均貢獻份額”的變化情況,能夠了解一國的科研產出方式。該數值越小,表明該國論文的國際合作程度越高;反之,表明該國國際科研合作程度越低;若該數值等于100%,則表明該國所有論文均由本國研究人員完成,沒有開展國際合作。基于這一指標,可以發現,近年來中國的國際合作研究比例有所下降,呈現出與歐美發達國家不同的變化趨勢。2016—2022年,中國“平均貢獻份額”從72%上升至78%,表明與國外合作的論文比例在下降,僅由中國國內作者撰寫的論文數量快速增長;同期美國“平均貢獻份額”從75%下降至70%,德國、英國和法國等主要國家的內部合作論文比例也有相近幅度的下降,表明其國際科研合作規模在持續擴大(見圖1)。城市層面也表現出相似的特征,2023年北京、上海“平均貢獻份額”為47.6%和46.1%,而紐約、波士頓、舊金山、華盛頓等城市這一數值在35%~40%之間。
2.4 高質量論文產出機構高度集聚
全球自然科學領域的科研產出機構呈現高度集聚的特征,中國科學院、美國哈佛大學、德國普朗克研究院、法國國家科學研究中心和美國斯坦福大學等機構長期位居自然指數排行榜前列。2023年,美國有137家研究機構進入自然指數機構排名前500位,占比為27.4%;中國有130家,占比為26.0%;德國有37家,占比為7.4%。中美兩國科研機構占據主導地位,其論文產出占全球總產出的51%。在學科領域層面,科研產出集聚的特征更加突出。例如,美國在生物科學和健康科學領域居全球首位,2023年美國健康科學的貢獻份額為5019,是排名第二位的中國份額的3倍以上,遙遙領先其他國家。
三
自然指數的局限性
自然指數在國內有著廣泛影響,但其在期刊選擇、統計方法等方面的局限性較強,缺少對論文質量和學者貢獻度等問題的考量,導致利用自然指數作為評價標準并不完全可靠。
3.1 《自然》子刊占比過高,限制了自然指數評價的公允性
《自然》子刊占比過高已成為限制自然指數評價公允性的重要因素,導致其排名結果受到相關學者的質疑。自然指數是基于一定范圍內期刊發表的論文數量進行評價,期刊的選擇成為影響結果的決定性因素之一。2018年之前,自然指數統計范圍覆蓋68種期刊,其中包含《自然》子刊16種,占比為25.0%;2018—2022年,統計期刊數量增至82種,子刊19種,占比為23.2%;2023年,統計期刊數增至145種,子刊占比為14.5%。自然指數雖經過多次調整,然而其子刊占比一直保持在較高水平,這種持續過高的子刊占比一定程度上削弱了自然指數作為學術評價工具的公信力和客觀性,未來需要盡快在期刊選擇和權重分配方面做出調整。
3.2 缺少對期刊質量的評價分級,易導致排名出現系統性偏差
自然指數在評價科研產出時的一個顯著不足是未對期刊進行等級區分,從而無法反映論文質量和影響力。在學術評價體系中,期刊的等級往往與論文的質量、創新性和影響力密切相關。例如,《自然-通訊》(Nature Communications)于2010年創刊,是一本刊文量近7000篇的“巨型期刊”,其刊文量為《自然》的6.7倍,但影響因子不足《自然》的25%。自然指數將所有期刊論文計為同一分值、不區分期刊等級的計算方法忽視了不同期刊之間在學術質量、影響力等方面的顯著差異,由此導致的一個顯著問題是過高地估計了中國科研機構排名。例如,2024自然指數年度榜單顯示,南開大學排名超過康奈爾大學,四川大學排名超過牛津大學、劍橋大學,而這一系統性偏差正是忽略期刊等級所造成的。
3.3 對核心作者的貢獻估計偏低,多國家多機構的計數估計偏高
自然指數在統計方法上存在一定的局限性,主要體現在以下幾個方面:一是自然指數對合作研究的處理,可能導致對某些機構、國家(地區)科研表現的低估和夸大。自然指數采用“論文計數”和“貢獻份額”兩種方式計算論文產出。按照該統計方法,一篇文章中多個作者屬于同一地點的,該國家(地區)或機構“計數”值僅統計一次。這種計算方式導致對單機構多作者論文“計數”值的過低估計,而對多機構、多國家(地區)合作論文的統計“計數”值明顯偏高。例如,如果某個機構或國家在多個合作項目中占據較小貢獻份額,但在數量上累積的份額較多,可能導致其科研表現被夸大。二是無法準確反映科研工作中不同作者的實際貢獻差異。自然指數將每位作者視為同等貢獻,忽視了第一作者和通信作者對論文的突出貢獻,導致對合作者所在地的貢獻份額估計偏高。一篇論文中不同研究者的貢獻程度差別很大,第一作者或通信作者往往是研究成果的首要提出者,排名靠后的作者對論文實際貢獻較小。自然指數這種等分的計算方式,造成與科研成果實際貢獻度的較大偏差,容易引起讀者誤判。
3.4 計算方法存在雙重標準,個別科研機構排名不準確
自然指數在計算過程中存在兩個方面的問題:一是使用“雙重標準”計算中美兩國科研機構的論文產出水平。具體而言,自然指數在統計中國科學院論文產出時,將中國科學院100余個下屬機構的論文進行合并計算,造成中國科學院統計結果的偏高。事實上,中國科學院各研究所均是獨立法人,且分布在不同城市,應分別計算其排名。值得注意的是,自然指數在計算美國加州大學排名時卻使用了另一標準,并沒有把加州大學伯克利分校、戴維斯分校和舊金山分校等大學合并起來,而是進行了獨立的統計排名。因此,若將加州大學10所分校的“論文計數”和“貢獻份額”加總,2024年指數中的加州大學貢獻份額排名將上升至第二位,計數值則超過中國科學院,位列所有機構榜首。二是重復性統計問題。中國科學院大學在2024年機構榜單中排名前列,位列第4名。事實上,中國科學院各所研究人員大多在中國科學院大學兼職,其發表論文時多是將中國科學院某所和中國科學院大學同時列入署名,這也導致中國科學院大學的論文數與中國科學院的論文數存在較大程度的重復統計,從而使其排名偏高。
四
思考與啟示
自然指數為衡量國家(地區)、機構科研產出水平提供了參考,具有一定的學術意義,但其本身仍存在一定的局限性,不能將其作為科研能力評價的唯一指標。值得注意的是,自然指數近年來的實際作用逐漸發生了演變,甚至出現了偏差。部分高校將科研人員職稱、獎金的評定與論文被自然指數收錄密切相關,這一趨勢應引起注意。在運用自然指數進行判斷,特別是依據其分析中國及相關研究機構的表現時,要采取審慎態度,客觀、理性、辯證地看待中國的排名。
4.1 把握指標內涵、概念及統計方法
了解統計指標的內涵、概念及統計方法是應用指數評價結果進行判斷的前提。由上述分析可知,自然指數在衡量中國科研機構排名時存在顯著的高估現象。這種系統性的偏差,不僅削弱了自然指數的公正性和準確性,更可能對公眾和決策者產生誤導。若讀者僅以排名比較分析中國與美國高校的科研能力、不深入了解該指數的統計方法和原理,可能會形成誤判。因此,在利用自然指數進行科研能力比較時,不應僅依靠表面的排名數據,而應深入挖掘該指數背后的統計方法和原理。在評估過程中,需要特別關注數據來源、指標內涵、統計方法和數據質量等因素,避免形成與實際情況脫節或存在誤導性的結論。
4.2 觀察指數長期趨勢與相對變化
對指數的解讀分析不能局限于比較當期值大小,更要分析指數的變化趨勢和規律,避免短期波動影響。自然指數起始于2014年,已歷經較長時間的發展,對于自然指數的研判分析應從長時間維度的歷史視角展開,以把握指標背后所反映的真實情況。例如,兩個國家(地區)在指數上表現出相近的數值,但其科研環境、科研水平、產出分布以及影響因素可能存在顯著差異。因此,對于科研能力的評判,不能“一刀切”地采用相同標準。而應根據每個國家(地區)的具體情況,結合指數的長期變化以及同其他主體的相對位置變化,綜合分析其真實水平。總體而言,中國在自然指數排名位次的大幅上升是加大科研資源投入力度、不斷優化科研環境的結果。但也要意識到,中國在科研要素的自主流動和知識自由交換層面仍面臨一定的挑戰,未來需進一步加強基礎研究,深化國際開放合作,加大加快人才跨界交流改革。
4.3 利用多種指數進行對比與綜合分析
利用指數研判時,要盡量避免依賴單一指標,應采用基于多個數據庫的綜合分析法,以更全面、準確地反映事物的整體情況。自然指數將論文作為高質量科研產出的表征,但科研產出還包括專利、軟件等多方面的內容,以及科研活動對社會、經濟的直接影響,即技術創新、產業升級、市場應用潛力等方面。因此,利用自然指數對各主體評估時,可與其他綜合類評價指標相結合,如世界知識產權組織(WIPO)發布的全球創新指數、清華大學發布的國際科技創新中心指數、上海軟科世界大學學術排名和QS世界大學排名等,以尋求共同規律。這些指標從不同角度和維度評估了國家、城市、科研機構在科技創新領域的影響力和貢獻,通過對不同數據源的信息整合,能夠揭示各類指標之間的聯系和相互影響,為指數分析提供更全面的視角。
4.4 構建緊扣中國國情的科研評價體系
指標評價的最終目的是指導實踐、推動工作。當前,各機構發布的科研評價指數多種多樣,但仍存在簡單評價等問題,無法滿足中國高質量創新的需求。因此,需要構建緊扣國情的科研評價體系,規范科研評價活動。一是提倡參與式的評價指標制定過程。聽取被評價對象、評價執行者、專家學者代表等的意見,共同確定評價目的、頻次、方法和標準,并根據指標應用的實際效果不斷調整優化相關指標。二是構建立足職能、分類評估的評估理念與體系,準確把握科研主體職能、定位、活動、產出、成效與影響的內在邏輯關系。三是突出質量、貢獻的評估導向。中國已進入高質量發展階段,創新主體要為培育和發展新質生產力提供有效支撐。相關部門應引導科研評價工作突出創新質量和貢獻,摒棄以論文數量、職稱、學歷和獎項等作為唯一評價標準。建立健全符合科研活動規律的評價制度,堅持“破四唯”和“立新標”并舉,加快建立學術成果分類評價指標體系。
免責聲明:本文轉自科情智庫,原作者胡月,玄兆輝,許竹青。文章內容系原作者個人觀點,本公眾號編譯/轉載僅為分享、傳達不同觀點,如有任何異議,歡迎聯系我們!
轉自丨科情智庫
作者丨胡月,玄兆輝,許竹青
研究所簡介
國際技術經濟研究所(IITE)成立于1985年11月,是隸屬于國務院發展研究中心的非營利性研究機構,主要職能是研究我國經濟、科技社會發展中的重大政策性、戰略性、前瞻性問題,跟蹤和分析世界科技、經濟發展態勢,為中央和有關部委提供決策咨詢服務。“全球技術地圖”為國際技術經濟研究所官方微信賬號,致力于向公眾傳遞前沿技術資訊和科技創新洞見。
地址:北京市海淀區小南莊20號樓A座
電話:010-82635522
微信:iite_er
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.