1.8MB - エルゼビア・ジャパン株式会社

|
国⽴⼤学様向け
⾼インパクト論⽂の探し⽅セミナー
主催：エルゼビア・ジャパン株式会社
会期： 2015年12月15日（火） 14:30～ （受付開始：14:00～）
会場：ステーションコンファレンス東京 503会議室
配布⽤講演資料 1/2
1
|
2
本⽇のプログラム
時間
講演タイトル／講演者
配布資料
14:30 - 14:35
開会の挨拶
エルゼビア・ジャパン(株) リサーチソリューションズ
リサーチマネジメント リージョナルディレクター 福﨑⼀郎
14:35~15:00
『論⽂情報を使った⼤学評価、部局評価、個⼈評価、⼤学としてやっておくべきことと、
できないこと』
エルゼビア・ジャパン(株) リサーチソリューションズ
リサーチマネジメント リージョナルディレクター 福﨑⼀郎
15:00~16:00
『Scopusのご紹介』
エルゼビア・ジャパン(株) リサーチソリューションズ
ソリューションマネージャー 清⽔毅志
配布⽤講演資料 2/2
をご参照ください。
16:00~16:10
休 憩 10分間（Coffee break）
配布資料無
16:10~16:40
『Elsevier Research Intelligenceサービスのご紹介』
エルゼビア・ジャパン(株) リサーチソリューションズ
ソリューションマネージャー 恒吉有紀
配布⽤講演資料 2/2
をご参照ください。
16:40~17:00
質疑応答
17:00
閉会の挨拶
エルゼビア・ジャパン(株) リサーチソリューションズ
シニア・ソリューションマネージャー 柿⽥佳⼦
配布資料無
本資料はこのセッションの資料と
なります。
配布資料無
|
論文情報を使った大学評価、部局評価、個人評価
～ 大学としてやっておくべきことと、できないこと ～
平成27年（2015年） 12月
エルゼビア・ジャパン株式会社 リサーチソリューションズ
リサーチマネジメント リージョナルディレクター 福崎一郎
[email protected]
3
|
4
目次
1. 文部科学省から出されている学術研究評価に対する検討内容
2. インパクトファクターが高いジャーナルに掲載された論文はす
べてが高インパクト？
3. 論文に関係した指標（メトリクス）は何があるか？
4. 大学評価（例.第二期中期目標期間評価）
5. 部局の研究力評価
6. 個人の研究力評価
7. 参考
|
文部科学省から出されている学術研究評価に対する検討内容
（１／２）
研究計画・評価分科会（４８回）で下記の記載がありました。
4．2．1 基本的考え方
4．2．1．2 学術研究における評価の基本的理念
学術研究においては、自律的な環境の中で研究活動が行われることが極めて重要であ
る。その評価に当たっては、専門家集団における学問的意義についての評価を基本とす
る。その際、公正さと透明性の確保に努める。
また、優れた研究を積極的に評価するなど、評価を通じて研究活動を鼓舞・奨励し、その
活性化を図るという積極的・発展的な観点を重視する。画一的・形式的な評価や安易な結
果責任の追及が研究者を萎縮させ、独創的・萌芽（ほうが）的な研究や達成困難な課題に
挑戦しようとする意欲をそぎ、研究活動が均質化することのないようにする。
• 専門家による学問的意義の評価
• 公平さと透明性
• 優れた研究をポジティブに評価する仕組み
http://www.mext.go.jp/b_menu/shingi/gijyutu/gijyutu2/shiryo/attach/1345261.htm
5
|
文部科学省から出されている学術研究評価に対する検討内容
（２／２）
4．2．1．4．1 評価の視点
学問的意義についての評価を中心とし、それに加えて研究の分野や目的に応じて、社会・経
済への貢献という観点から新技術の創出や特許等の取得に向けた取り組み等を評価の視点
の一つとする。また、成果の波及効果を十分に見極めるなど、長期的・文化的な観点に立った
評価が必要である…
4．2．1．4．2 評価の方法
定量的指標による評価方法には限界があり、ピアレビューによる研究内容の質の面での評
価を基本とする。その際、数量的な情報・データ等を評価指標として用いる場合には、前述
（3．2．1．5．6及び3．2．2．5．2 評価の実施）に述べた観点を踏まえ、慎重な態度が求め
られる。
• 学問的意義、社会・経済への貢献、波及効果の見極め
• 長期的、文化的観点
• 定量的評価には限界があり、ピアレビューによる質の評価を基本
6
|
定量的指標？
http://medical.nikkeibp.co.jp/leaf/mem/pub/series/1000research/201507/543230.html
7
|
8
インパクトファクターが高いジャーナルに掲載された論文は
すべてが高インパクト？
2013年にNature（IF 41.456）に発表された論文（Article）1087本の被引用数
（2015年12月現在）
上位10%の論文で全体の
41%の被引用数を獲得
被引用数
2013年のIFの計算方法
1600
2011年・2012年に掲載された論文
上位20%の論文で全体の
58%の被引用数を獲得
1400
が2013年に引用された延べ回数
2011年・2012年に掲載された論文数
1200
1000
下位8%の論文
は被引用数0
800
600
400
• Ave. 55.4
• MEDIAN 35.0
• STDEV 86
200
0
0
100
200
300
400
Scopusを元にエルゼビアにて作成
500
600
700
800
900
1000
論文番号（被引用数順）
|
9
インパクトファクターはジャーナルの評価指標であり、個々の研
究成果に対する指標ではない
２０１２年にAmerican Society for Cell BiologyのEditorが中心となっ
てインパクトファクターの誤用に対する警鐘の宣言をした。この宣言は
その後世界に広がった。
“To correct distortions in the evaluation of scientific research,
DORA aims to stop the use of the “journal impact factor” in
judging an individual scientist's work.“
“Make available a range of article-level metrics to encourage a
shift toward assessment based on the scientific content of an
article rather than publication metrics of the journal in which it
was published.”
•
•
•
•
150人以上の著名な研究者と75の科学に関係した組織による支持
IFの誤用が拡大していることに対して警鐘
研究者をIFでランク付けしてはいけないとの主張
論文レベルの指標の開発を促す
http://www.ascb.org/dora/
Alberts, B. Impact factor distortions (2013) Science, 340 (6134), p. 787
|
被引用度とは何か？
その論文が出版されてから今までに他の論文から引用された回数”のことである。
被引用度による評価とは要するに他の論文から何度も参照されているような論文は
“よい”論文であろうという仮定に基づいて、引用された回数を単純に数えるというこ
とである。(*)
• ポジティブな引用：先行研究に対する献辞
• ネガティブな引用：本来の意味合いとは異なる解釈として用いられるケース
⇒ いずれにしても、当該分野において何らかのインパクトを与えた論文
(*)藤垣裕子、平川秀幸、富澤宏之、調麻佐志、林隆之、牧野淳一郎 著,「科学計量学入門」,丸善,(2004).
10
|
被引用度等の論文に関係した指標（メトリクス）は何があるか？
• 生産性に関する指標（Productivity Metrics）：
発表論文数をベースとした指標。
例．年間発表論文数、研究者一人当たりの年間発表論文数
• 被引用度関連指標（Citation Impact metrics）：
被引用数をベースとした発表論文の影響度を測る指標。
例．一論文あたりの被引用数、被引用文献率、トップ文献数、トップ文献率、FWCI（相対被
引用インパクト）：分野、出版年、ドキュメントタイプ、で補正された被引用度を表す指標。
• 協同具合を測る指標（Collaboration Metrics）：
共著論文数、全体に占める率を測る。
例．海外共著論文率、企業との共著論文率
• Snowball Metrics:
大学の研究力を計測するための指標群。大学側からのボトムアップで開発された。英国か
ら始まり、米、オーストラリア／ニュージーランドの大学も参加している。Input、Process、
Output/Outcomeのステージに分けて何を測るべきかを定義している。大学全体としての研
究力や生産性をマネージできるようにすることを目指した取り組み。参加大学間でベンチ
マークすることにより経営効率を良し悪しを測ることができる。
http://www.snowballmetrics.com/
11
|
生産性指標を使った例
• 活動量の計測が可能
• 計測単位を人・部局・機関・国と変えることで様々な単位で比較できる
Source: SciVal
12
|
被引用度関連指標を使った例
• 被引用度の比較が可能
（上記例では、分野・出版年・ドキュメントタイプで正規化された数値）
• 計測単位を人・部局・機関・国と変えることで様々な単位で比較できる
Source: SciVal
13
|
なぜ補正が必要か？
分野毎のIFの違いは最大30倍超
分野別最大Impact Factorが付いたジャーナルの例
Journal Title
Nature Materials
Cell
Circulation
Enterprise Information Systems
Journal of Physical Chemistry Letters
Journal of Finance
Forensic Science International - Genetics
American Journal of Bioethics
Genetics Selection Evolution
Logic Journal of the IGPL
Impact Factor 2012
35.749
31.957
15.202
9.256
6.585
4.333
3.861
3.597
2.859
1.136
Source: Journal Citation Reports, 2013,(Thomson Reuters)より弊社作成
14
|
15
大学評価（例.第二期中期目標期間評価）
大学側は実績報告書を作成し提出する。
教育・研究に関して現況調査表を作成する。
http://www.niad.ac.jp/n_hyouka/kokuritsu/1261051_926.html 独立行政法人大学評価・学位授与機構「評価実施要項」【平成27年３月改訂版】
|
16
“３ 「研究の水準」の分析・判定”
研究の業績説明書を作成し、それを元に研究成果の状況を
分析することが必要
http://www.niad.ac.jp/n_hyouka/kokuritsu/1261051_926.html
独立行政法人大学評価・学位授与機構「実績報告書作成要項」【平成27年３月改訂版】
|
研究業績説明書の作成
評価対象期間におけるSS/S区分の研究業績のみを選定して提出。
全教員の２０％程度の目安
独立行政法人大学評価・学位授与機構「実績報告書作成要項」【平成27年３月改訂版】
17
|
http://www.niad.ac.jp/n_hyouka/kokuritsu/1261051_926.html
独立行政法人大学評価・学位授与機構「実績報告書作成要項」【平成27年３月改訂版】
18
|
研究業績の区分を客観的指標を以て自己判定することが必要
客観的指標とは？
独立行政法人大学評価・学位授与機構「実績報告書作成要項」【平成27年３月改訂版】
19
|
20
客観的指標例として例示されているもの（例.理学）
第一期中期目標期間の現況分析において提出された研究業績に記された根拠・データのうち、
評価者が「SS」と判断するために用いた根拠・データ例(*)
・研究成果に基づく、学術面での受賞。
・ 著名な学術雑誌への掲載（適切な場合には、インパクトファクターなどの指標を学術雑誌の国際
的な評価に関する参考資料として用いることもありうる）
・ 学術雑誌や専門書での研究成果の紹介。
・ 被引用数や引用した人数。高被引用論文への選出。
・ 著名な論文や講演、レビュー論文、教科書等における研究成果の引用・紹介とその扱われ方。
・ 注目論文や優秀論文としての選出（たとえば掲載雑誌の中での選出や、年間優秀論文等と
しての選出、生物学でのFaculty of 1000 などのレビューに基づく評価）。
・ 著名な学術雑誌における研究動向解説論文・記事などによる解説。
・ 招待講演、基調講演。論文等の執筆依頼。
・ 論文のアクセス数やダウンロード数。ならびに、それらの値が高い論文への選出。
・ 再録雑誌への採択。
・ 著名な学会や採択が厳しい学会における発表の選定。
・ 新聞、一般向け科学雑誌、業界誌、テレビでの研究成果の紹介。
・ 教科書としての活用。
・ 研究成果を生んだ研究活動のための競争的研究費。研究成果に基づいて新たに獲得した競争
的研究費
・ 研究費による事後評価の結果。大学・組織等の外部評価の結果
*教育・研究水準の学系別評価基準のあり方にかかる調査研究報告書 http://www.niad.ac.jp/n_shuppan/project/syousai/3222_index.html
|
21
・社会・経済・文化面での根拠・データ例
・ 社会・経済・文化面を重視した受賞。
・ 新聞、一般雑誌、業界誌、テレビでの紹介。
・ 初中等教育等の教科書における引用。
・ 書籍出版部数。
・ 研究装置・研究試料などの共同利用状況や利用者側での成果。
・ 国内および国際特許化。ライセンス契約やその収入。
・ 製品化・実用化、研究成果に基づく起業。
・ 国内外における政策や規制・ガイドライン等への貢献。
*教育・研究水準の学系別評価基準のあり方にかかる調査研究報告書 http://www.niad.ac.jp/n_shuppan/project/syousai/3222_index.html
|
論文関連指標はどうつかうべき？（例．理学）
教育・研究水準の学系別評価基準のあり方にかかる調査研究報告書P.52-53より
http://www.niad.ac.jp/n_shuppan/project/syousai/3222_index.html
22
|
研究業績評価に向けて大学側が準備しておくべきこと
（データベースから取得できる範囲は少なくとも収集しておく）
• 評価対象期間（2009 - 2015現在）までの自大学の機関名で出版されている論
文業績の抽出。（少なくともScopus等のデータベースに掲載されているもの）
• 各論文業績の被引用数の計測（Scopus等のデータベースを用いることで簡単
に計測できる）及び計測された被引用数の意味合い。（分野内でのその順位
パーセンタイル）
• 各論文が掲載されたジャーナルのジャーナル指標値とその意味合い
• 当該論文に関連してデータベースから取得できる情報
• メディアでの引用
• ダウンロード数
• Faculty of 1000
http://www.niad.ac.jp/n_hyouka/kokuritsu/1261051_926.html
独立行政法人大学評価・学位授与機構「実績報告書作成要項」【平成27年３月改訂版】
23
|
論文情報を評価に使うときに気を付けるべきポイント／限界
• 論文指標はあくまでピアレビューによる評価の参考情報として用いる。
• ジャーナル指標（インパクトファクター等）を研究者個人の評価にせず、なるべく
論文ベースの指標を用いる。
• 日本からの成果論文のデータベースへの収載率が高い分野（医・歯・薬・農・生・
化・物）とそうでない分野（人文・社会科学）を考慮したうえで用いる
• 多くの共著者で書かれた論文は高インパクトの傾向となることがよくあるが、その
プロジェクトで当該研究者が果たした役割に応じた評価をする。
• 論文が発表されて間もない期間（0-1年）では個々の論文に対する被引用数は安
定していないため、被引用数が低いからといって低い評価を与えるべきではな
い。
24
|
部局の研究力評価
• 基本的に大学レベルでの評価項目と整合性をとっておくべき
• 部局レベルの論文集合を後から収集・作成するのはかなり難しい
• 論文発表時に部局名を記載しない例が多い
• 論文に記載された部局名が正しくないケースが多い
• 研究者の異動が多く発生するため、研究者名と発表年合わせて確
認が必要
⇒ 日々の発表成果を登録・管理するデータベースが必要
• 正しい論文集合を作成することができれば、SciVal等のツールを使って他
大学や学内の他の部局と引用度に関連した分析が可能
25
|
個人の研究力評価
• 通常、獲得研究資金、研究業績が基礎的な定量的指標として用いられる
• 個人レベルの論文集合を作成する。Scopus等のデータベースをうまく活
用することで主要な論文に関しては比較的容易に収集することが可能。
（分野による）
• しかし、日々自学から発表された論文は登録しておく仕組みが必要。
• 近年は社会的インパクトの説明を求められるケースも見られる（REF等）
• 正しい論文集合を作成することができれば、SciVal等のツールを使って引
用度に関連した分析が可能（部局内での比較、他大学との比較）
26
|
27
（参考）関連サイト・文書等
• DORA (San Francisco Declaration on Research Assessment)
http://www.ascb.org/dora/
• Snowball Metrics
http://www.snowballmetrics.com/
• 独立行政法人大学評価・学位授与機構
• 国立大学及び大学共同利用機関の教育研究活動の評価
http://www.niad.ac.jp/n_hyouka/kokuritsu/1261051_926.html
「評価実施要項」【平成27年３月改訂版】
「実績報告書作成要領」【平成27年３月改訂版】
「評価作業マニュアル」【平成27年３月改訂版】
「第２期中期目標期間の教育研究の状況についての評価に関するＱ＆Ａ」【平成27年９月改訂版】
• 教育・研究水準の学系別評価基準のあり方にかかる調査研究報告
- 学系別の教育・研究水準の評価にかかる参考例」2015 年 8 月
http://www.niad.ac.jp/n_shuppan/project/syousai/3222_index.html
|
ご清聴ありがとうございました
28