|
世界大學科研論文質量評比
常見問題
評鑑中心於2011年11月10日發布世界大學科研論文質量評比,為求更清楚呈現本評比的運用與限制,以及本年度新增特色,茲將常見問題整理如下:
1. 本評比的特色?
本科研論文質量評比的特色為:高達80%為品質指標(此評比是第一個應用「h指數」反映學校論文品質的系統),短期指標占55%,彰顯短期努力績效。但此次評比僅是「科研論文質量評比」,不是涵蓋教學、研究及行政之「大學評比」,亦不是著重聲譽或非凡成就的「學術表現評比」。所設計指標適合新興國家研究型大學作為參考。
2. 本評比的適用對象為何?
本科研論文質量評比適用之對象為研究型大學,特別是針對新興國家的學校,透過客觀且能反映出短期努力的指標,讓這些大學能了解其世界排行的地位及優勢,得知自己與其他大學的差距,並能追蹤學校論文質量於每年的進步情形。
3. 評比資料來源為何選用Thomson Reuters的WOS、ESI資料庫?
高等教育評鑑中心經長期評估,考量品質因素,持續採用Thomson Reuters公司之WOS、ESI等資料庫為資料來源進行分析。該資料庫具有以下特色:
(1)資料涵蓋最久:就目前市面上現有的同類型綜合索摘資料庫來說,Thomson Reuters公司之產品其文獻涵蓋年代最久(資料庫收文始於1900年,引文回溯至1800年),資料量(records)達4千萬以上,收錄期刊廣泛(於2011年2月為止收錄11,450本期刊)。
(2)資料品質具有一定水準:WOS以核心期刊為篩選對象,找出重要、小量且能代表各學科的文獻。審查原則亦較為嚴謹,每年審查近兩千種新申請的期刊,通過率僅10%-12%,且已收錄期刊仍持續追蹤考核。
(3)世界知名排名系統亦採用Thomson Reuters公司產品:世界知名大學評比系統如上海交大世界大學排名、泰晤士報大學排名等,在學術競爭力相關指標皆採用Thomson Reuters公司產品作為數據來源。
4. 2011年評比與往年公布評比有何不同?
2011年科研論文質量評比之學校排名延續前幾年的評比方式,在指標與權重方式皆不做變化。而今年世界大學排名,高等教育評鑑中心僅公布不分領域結果,分領域及分學門的結果將另行公布。
5. 學校排名為何有兩種,該以哪一種為準?
學校排名提供原排名和參考排名二種排名,我們建議以原排名為準,而考量教師數之排名僅為參考。本評比於2007年發表後,若干單位提出考量學校教師數調整排名的建議,然在考量規模也是一種實力的前提下,本評比仍維持2007年作法。但自2008年起同時列出考量教師數之排名,提供各方參考。
6. 學校排名與上海交大「世界大學學術排名」有何不同?
上海交通大學的「世界大學學術排名」採用的各項指標中,包括諾貝爾獎獲獎數、高被引學者數與Nature、Science的文章數等指標,追求的都是非常傑出的研究成果,尤其是諾貝爾獎,並非大多數學校可以達到的目標,難以反應大多數學校的研究表現。而「科研論文質量評比」學校排名乃設計一套包含多數學校現階段經努力即可達成的短期指標,只要學校一有進步,成果隔年即可反映在排名上。
7. 學校排名與英國《泰晤士報高等教育》(Times
Higher Education)的世界大學排名有何不同?
英國《泰晤士高等教育》(Times Higher Education)與英國高等教育調查研究機構(Quacquarelli Symonds, 簡稱QS)2004年至2009年合作發布世界大學排名(THE-QS World University Rankings,以下簡稱THE-QS)。該大學排名強調同儕審查(peer review),權重高達50%。同儕審查易受主觀意識影響,特別是以問卷形式對各大學進行排名給分,亦使評比成為大學聲望評比,而忽略大學的實際表現。然「科研論文質量評比」學校排名則單純針對各校科研論文的質量表現進行評比,是一種能以較客觀的數據與角度進行評比的排名系統。
8.
學校排名可否代表大學排名?
不可,本科研論文質量評比僅針對世界各大學所發表之科研論文,分別就質量與數量、長期及短期角度設計指標,僅能呈現出各大學在科學與社會科學論文上的質量,無法延伸解釋至教學、研究及行政等績效綜合評比。
9.
學校排名可否代表大學的整體學術能力?
不完全可以,因為衡量大學整體學術能力的要素除了論文數量外,尚有專書、研究計畫、專利、產學合作等項目。不過除人文領域外,科研論文的質量經常被用來推估學校的學術能力。
10. 學校排名是否有考慮學校規模因素?
是,一所學校論文的多寡,自然和該校規模有一定關係,因此本評比以平均被引次數指標平衡學校規模的影響,然在最後排名中,仍可看出規模的影響。由於學校規模在某種程度上亦可代表學校實力,因此本評比不宜完全消弭學校規模因素,僅能盡量尋找一個平衡點,以求公正客觀。同時,為進一步考量規模因素,今年的評比亦提供考量教師數之學校排名作為參考。
11. 為何「科研論文質量評比」不採計人文藝術學科的論文?
由於藝術人文領域之研究範疇地域性色彩濃厚、研究成果常以非英語或專書發表,而A&HCI收錄文獻以英語期刊論文為主,故本評比不採計A&HCI期刊論文。
12. 為何「科研論文質量評比」的指標之一h指數僅統計兩年?
由於h指數是相當敏感的指數,二年論文數量已相當龐大(以哈佛大學為例,其2005至2006年論文數為28,951篇),足以產生客觀的質量綜合指數。一些相繼出版的研究,亦證實機構或期刊層級的評量,二年h指數的時間長度即已足夠。我們試取十一年(1996至2006)論文數最高的哈佛大學與東京大學及分散於中間及後面的學校共47間,進行長期與短期的h指數相關係數分析,發現二年h指數(2005至2006)與十一年h指數(1996至2006)的相關係數為.967,具有高度相關性,實無必要進行近十一年h指數的計算。
13. 為何有些學校感覺排名應該要比某些學校好但卻排名在後面?
由於本評比進行的是「科研論文質量評比」,僅能忠實反應各大學論文質量表現,並非「學術評比」或「大學評比」,故可能與其他大學排名有所不同。不同的評比指標、學校規模大小、有無醫學院,甚至人文社會科學占該大學比例等問題,皆會影響評比結果。
14. 分數接近的學校是不是代表其科研論文表現差不多?
是,由於各指標第一名學校相較其他學校數值特別高,故後面學校總分差距相當些微,加以本評比所給予的名次,只是方便讀者得知大致排名,並無意圖顯示任何絕對差距,意即排名接近且分數差距細微的學校,不宜單以名次斷定表現優劣,而應將其視為科研論文表現不分軒輊的學校。
15. 為何第一名與第二名學校之間總分差距非常大?
第一名與第二名差距過大是學術評比普遍存在的問題,2011年上海交大評比第一名(哈佛大學Harvard
University)與第二名(史丹佛大學Stanford
University)之總分差距為27.4分。泰晤士報評比為縮小分數差距,分數依Z分數進行調整,其總分差距的縮小實來自人為調整。本評比曾嘗試以T分數調整並縮小第一名與第二名學校的差距,但為忠實呈現原始差距,還是決定不予調整。由於排名榜中第一名哈佛大學,其醫學院表現極佳(2000年至2011年之十一年臨床醫學論文數即有41,895篇,被引次數為1,182,589次),加上該校其他領域論文質與量的表現皆非常優異,八個指標中,除了平均被引次數指標外,皆為最高分,與其他學校相較之下,表現顯得特別傑出;第二名Johns Hopkins University亦有醫學院且擁有不少醫學領域文章(2000年至2011年之十一年臨床醫學論文數有26,264篇,被引次數為664,976次),然其長短期文章數與被引次數皆明顯落後哈佛大學;外加其於高被引文章數和高影響期刊論文數表現皆與哈佛大學有相當落差,故第一名與第二名學校之總分差距甚大。
16. 排名較落後的學校是不是代表學術表現較差?
不是,排名較後面的學校僅代表在科研論文的質量表現上不若其他學校,但是無法延伸至其整體學術表現甚至是學校聲望。面對任何名次,在解釋上應特別注意評比指標的不同、學校規模大小、有無醫學院,甚至人文社會科學占該大學比例等問題。
17. 為何不將二百名後學校以201至250、251至300等區間名次標示分數接近學校的排名?
若將分數接近的學校以201至250、251至300等相同區間名次顯示,有難以訂定區間範圍的困難,且極有可能此區間的最後一名與下一區間的第一名差距不大,但兩者卻被分成二級。由於同區間名次內學校數之設定難以界定,且細微的差距不宜被區分為二種等級,故本評比並未採區間名次標示。
18.「科研論文質量評比」採用的指標是否太偏量化數據而不注重質化表現?
本評比以客觀取得的數據為依據,評估各大學之科研論文質量表現,一般在探討科研論文績效表現時,量化的分析指標較能提供客觀的描述基準,尤其量化指標較適合進行排名,故本評比採量化指標為主,但在量化指標上加入觀測論文品質之概念,計有80%的品質指標,可謂是以質化為主的量化數據評比。
19. 以人文社會科學為主要領域的學校排名是否會較為落後或無法進入排名?
是,本評比的對象是科研論文,資料來源為SCI與SSCI資料庫,並不包含人文科學的論文(A&HCI)。同時,雖包含社會科學論文,但由於社會科學的期刊、論文數較少(SCI收錄8,368種期刊,SSCI僅收錄2,966種),因此以人文社會科學為主的學校,如果該校沒有其他相對較強的科學領域,較難在本評比排名結果中表現優越。
20. 以醫學領域為主或有醫學院的學校,排名是否會較為前面?
是,由於領域特性的關係,醫學領域文章發表量,與被引次數相較其他領域高出許多(2000年至2010年的臨床醫學(Clinical Medicine)領域論文數共有2,116,193篇,被引次數27,355,596次;工程(Engineering)領域論文數為817,334篇,被引次數為3,887,615次);故於本評比中,有醫學院或附設醫院的學校其表現會比沒有相關系所的學校更加優異。
21. 規模較大的學校是否排名會比較前面?
是,本評比雖使用平均被引次數等指標平衡學校規模的影響,然在最終排名中,仍可看出規模的影響。因此,本評比持續提供考量教師人數的排名作為參考值,可藉此了解教師數的規模對於排名的影響程度。
22. 如何看待各國進榜學校數量和名次與心中預期不同?
本評比並非「大學聲望評比」或「大學學術評比」,故可能與不同對象心中認知的大學排名有所不同。大致而言,在某些國家進入排名榜的學校中,或許實際名次與心中預期並不相同,但相同國家入榜學校間的相對位置仍符合社會預期。
23. 為什麼評比指標這麼多,是不是可以整併?
本評比每個構面有其不同的指標,再加上同時進行長短期的考量造成評比指標數目增加,但短期指標將可使學校的努力能在次年即看到成果,因此不適合整併長短期指標。此外,此八個指標皆通過統計迴歸的顯著性檢定,顯示皆有其必要。
24. 在進行學校論文統計時,會針對學校做任何權威控制處理嗎?
會。一般而言,本評比會針對校名類似,容易造成混淆的情形,以及新舊校名之變形進行權威控制,以確保取得資料的正確性與完整度。對於某些由多個校區所組成的大學系統,本評比在處理時,除校名可明顯區別者外,其餘皆以地名或城市名作為判別不同校區的依據。例如UT系統區分為多個校區,如Austin, M. D. Anderson Cancer
Center, Dallas, Southwestern Medical Center 等校區,皆以其地名或城市名作為判斷標準。
25. 已合併之學校或是改名之學校,權威控制上是否會進行相應之調整?
學校更名、合併、獨立等時有所聞,在進行每年的評比及指標計算前,會針對選取的不分領域目標學校進行確認,事先考量學校更名、合併或獨立等情形,以維持評比的客觀性及公平性。如University Louis Pasteur、Marc Bloch
University與Robert Schuman University三校,於2009年1月起合併為University
of Strasbourg,本評比對此已事先進行權威控制的修正。
26. 如何計算高影響期刊論文數?
本評比高影響期刊論文數是採用JCR資料庫所統計各領域內影響係數排名前5%的期刊文章,亦即將各領域之期刊按影響係數由高至低排序後,取各領域前5%的期刊本數為門檻。
註:「影響係數」(Impact Factor,IF)是指該期刊前兩年發表的文獻在當年的平均被引用次數,即代表著一期刊的影響因素越高,其文獻的研究成果影響越大,間接反映該期刊於該領域的學術水準較高。
27. 由於資料庫以英語期刊論文為主,評比結果對英語系國家是否較占優勢?
由於本評比採用Thomson Reuters資料庫進行論文質量評比,故英語系國家確實占有一定優勢。但據今年不分領域世界前五百名之結果顯示,非英語系國家的表現持續進步,且近五年的表現亦為成長,如法國、德國、荷蘭、中國等國。反之,英語系國家則有逐漸被超越之現象,近五年來美國退出世界前五百名的學校達12校,呈現退步的校數更高達105校。顯示非英語系國家仍不斷發表英語論文,其成長表現甚至超越英語系國家。
註:本評比過去將北京協和醫學院視為北京清華大學附屬機構,但經與北京協和醫學院正式確認後,證實兩單位無從屬關係,故今年針對北京清華大學的權威控制進行調整,刪除與北京協和醫學院相關之權威控制。
|