針對北美研究機構(gòu)的一項調(diào)查發(fā)現(xiàn)，40% 的研究密集型大學在其考評文件中提到了有爭議的指標——影響因子。

期刊影響因子指「期刊前兩年發(fā)表的論文被引用總次數(shù)除以該期刊在這兩年內(nèi)發(fā)表的論文總數(shù)」。影響因子現(xiàn)已成為國際上通用的期刊評價指標，但是用影響因子判斷一項研究的重要性，甚至進而評判研究者的科研能力，是科學的做法嗎？

影響因子是期刊所有論文引用量的平均數(shù)，它無法體現(xiàn)每一項研究的引用情況。因此高影響因子的期刊表示它有很多引用量高的文章，但無法表示每項研究都是高引用的。

近年來，眾多學者、科研人員批評以影響因子來進行學術(shù)評估的做法，認為這是不公平的。此外，很多大學教師也在思考如何權(quán)衡科研和教學，僅把科研作為員工考核、晉升等的主要標準也是不公平的，考核應(yīng)該考慮到研究者在科研之外的貢獻。

然而，目前眾多研究院所仍把影響因子作為學術(shù)評估和職位晉升的重要指標。對北美機構(gòu)的一項調(diào)查發(fā)現(xiàn)，幾乎一半的研究密集型大學會在決定人員晉升時考慮期刊影響因子。

根據(jù)一項對美國和加拿大 129 家機構(gòu)的 800 多份文件的調(diào)查，大約 40% 注重科研的機構(gòu)在考評、晉升和任期文件（RPT document）中提及影響因子。

該數(shù)據(jù)表明，很多大學使用「影響因子」來評估教師表現(xiàn)，而這一指標被廣泛批判為一種粗魯、誤導性的科研質(zhì)量評判標準。

英國拉夫堡大學研究策略經(jīng)理 Elizabeth Gadd 說道：「這表明這些機構(gòu)或許并沒有正確考慮它們想要什么樣的教師」。

用期刊影響因子衡量影響

期刊影響因子用于衡量過去兩年里發(fā)表在特定期刊的文章平均引用量。出版商通常會在投標中用這一數(shù)字來宣傳期刊的質(zhì)量。但是，很多學者和審查小組將影響因子作為判斷一項研究的質(zhì)量、重要性和聲望，或者評價發(fā)布這項研究的科學家的一種快速方法。

這種情況使很多學者頗受困擾，他們稱影響因子傳播了一種不健康且不利于科學發(fā)展的研究文化，他們希望大學在招聘和晉升流程中拋棄這項指標。研究表明，影響因子并不太能夠預測科學家的科研能力，但尚不清楚招聘者以這種方式使用影響因子指標的頻率。

來源：E. C. McKiernan et al. PeerJ Preprints 7, e27638v2（2019）

為了了解其普遍程度，來自墨西哥國立自治大學的神經(jīng)生理學家 Erin McKiernan 及其同事收集和分析了來自北美多家機構(gòu)的 864 份考評、晉升和任期文件，并在 PeerJ Preprints 4 月 9 日刊上發(fā)表了預印本文章。

他們使用軟件來處理這些文檔，利用工具找到文檔中與影響因子相關(guān)的特定詞匯，他們閱讀文檔子集中的相關(guān)文章，以了解這些機構(gòu)如何使用以及為何使用該指標。

不到 1/4 的機構(gòu)在此類文檔中提及影響因子時，會使用一個意義相近的詞，比如「高影響力期刊」（high impact journal）。但是在 57 所研究密集型大學中，這個比例上升到了 40%。與之相反，授予碩士學位的大學中僅有 18% 的學校提到期刊影響因子（詳見上圖）。

在非常注重研究的大學中，這一比例超過 80%，這些文檔中的語言鼓勵在學術(shù)評估中使用影響因子。這些機構(gòu)中僅有 13% 對于該指標使用了審慎的詞匯。這類語言還可能表示高影響因子與更好的研究相關(guān)：61% 的機構(gòu)將影響因子作為衡量研究質(zhì)量的標準，35% 的機構(gòu)表示它能夠反映研究的影響力、重要性或意義。

舉例來說，中佛羅里達大學健康管理和信息學系的文檔中出現(xiàn)如下句子：

發(fā)表研究的質(zhì)量和數(shù)量很重要。衡量質(zhì)量的一般標準包括論文發(fā)表在高排名期刊和研究的引用量。

類似地，佛蒙特大學文理學院的相關(guān)文檔中表示：

學術(shù)研究發(fā)表在核心期刊和學術(shù)出版社上，通常可以表明該研究的重要性。

冰山一角

「現(xiàn)在我們擁有一些數(shù)據(jù)來展示學術(shù)評估的過程。」McKiernan 表示。她認為在此類文檔中明確使用影響因子的機構(gòu)比例可能更高，她表示這項研究的結(jié)果可能只是「冰山一角」。

她補充道，學術(shù)評估過程中可能存在更多與影響因子間接相關(guān)的詞匯，比如「核心期刊」（top-tier journal）或「高排名期刊」（high-ranking journal）。

與期刊影響因子相關(guān)的詞匯分類圖。上圖將 RPT 文件中與期刊影響因子相關(guān)的詞匯分成了三類：最內(nèi)環(huán)是直接表示期刊影響因子的詞匯；中間是一定程度上表示期刊影響力的詞匯；最外環(huán)是間接但可能表示期刊影響因子的詞匯。該研究主要給予最內(nèi)環(huán)和中間環(huán)的詞匯進行。

帝國理工學院結(jié)構(gòu)生物學家 Stephen Curry 表示，對于大學來說，提出員工評估的新方法至關(guān)重要?！笐?yīng)該基于研究來評判研究者，而不僅僅是他們在哪里發(fā)表文章。同時還需要對他們在研究文章發(fā)表之外的貢獻給予認可?！?/p>

如何改進學術(shù)評估和 RPT 過程？

期刊影響因子與質(zhì)量之間缺乏必然的聯(lián)系，以及學術(shù)社區(qū)普遍把二者聯(lián)系起來的行為，使得挑戰(zhàn)期刊影響因子的行為和提議越來越多，他們希望學術(shù)社區(qū)能夠負責任地使用評估指標，進而改善學術(shù)評估。

其中，最著名的項目莫過于《舊金山科研評估宣言》(DORA)。DORA 指出期刊影響因子的諸多局限性，并建議對科學家學者及其研究進行評估時不要使用期刊影響因子，尤其是不要將其作為「衡量單個研究文章質(zhì)量的替代性指標」。DORA 建議機構(gòu)

「明確員工招聘、任期和晉升決策的標準，強調(diào)論文的內(nèi)容要比發(fā)表指標或期刊地位重要得多，尤其是對早期研究者來說?！?/p>

目前，全世界已有 1200 多家組織和接近 14000 個人簽署了 DORA。

此外，高校圖書館也是促進負責任評估指標的主力軍。一些高校圖書館制作在線指南，幫助學校教師了解如何正確使用不同的指標（包括期刊影響因子），這些學校包括杜克大學醫(yī)學中心圖書館和檔案館（Medical Center Library & Archives）、伊利諾伊大學香檳分校圖書館、薩里大學圖書館、約克大學圖書館。圖書館還為教師提供文章發(fā)表和文獻計量學方面的個人咨詢和訓練。

一些圖書館還領(lǐng)導了相關(guān)的大型活動。大學和研究圖書館協(xié)會（Association of College & Research Libraries，ACRL）開發(fā)了一個用于評估期刊的學術(shù)通訊工具包（Scholarly Communication Toolkit），提出多種方式來評估期刊質(zhì)量。歐洲研究型圖書館協(xié)會（LIBER）建立了 Working Group on Metrics。MyRI 項目（Measuring your Research Impact）由三所愛爾蘭高校圖書館聯(lián)合成立，旨在提供關(guān)于文獻計量學的開放教育資源。

學術(shù)生活艱苦，得到公平合理的評價是極大的慰藉。期待學術(shù)評估和機構(gòu) RPT 過程更加客觀科學，重視研究本身和研究者本人的貢獻。