オルトメトリクス【altmetrics】
オルトメトリクス
オルトメトリクス（英: altmetrics）とは、学術論文の影響度を評価する指標のこと。学術雑誌の影響度を示すインパクトファクター (IF) や、研究者個人の被引用数を示すh指数などでは定量化しにくい観点から学術研究を評価するために2009年から2010年頃に提唱されるようになった考え方、およびそれに基づく代替的な指標の総称である。"alternative metrics"（代替的指標）の2語を組み合わせた造語であり[2]、2014年現在は和文中でも英字で記載されることも多い。
前述のIFやh指数は他の論文から引用された回数のみにより算出されるものであるが、これではいわば同業者による評価のみによっていることになるなど、後述するいくつかの問題が指摘されている。そこでオルトメトリクスはそれにとどまらず、知識ベースからの参照・閲覧回数・ダウンロード回数・ソーシャルメディアやマスコミによる言及など、論文の社会的な影響度を示す様々な点を組み入れることにより、社会に及ぼした影響度を包括的かつ瞬間的に（引用者の論文の出版を待たずに）可視化することのできる指標である[3][4]。
背景と特徴
伝統的には、研究の成果を評価するにあたって、量については論文数が、質については他の学術論文による引用（参照）の回数がそれぞれ指標として用いられることが多い。しかし、これのみに頼った方法では、論文の被引用回数と論文の長期的な価値の相関は強いものではないこと[5]、論文が引用され始めるまでのタイムラグ（数年）をはじめとする数々の問題点が指摘されている[6]。また、学術雑誌（ジャーナル）の影響度指標にインパクトファクター (IF) が存在するが、これはいわゆる「ジャーナルレベル」の指標であり、個々の著者もしくは論文レベルの指標ではない。にもかかわらず、IFによる評価は手軽であるため、著者個人や研究機関の成果を評価するために頻繁に「誤用」されている[7][8]。
こういった問題点は長年指摘されていたが、それに替わる良い手段の実現が困難であった。しかし2000年代に入って以降急速に普及したソーシャルメディア等によって社会の評判など、専門家以外への影響が測定可能になったこと（広域・社会性）や、専門家への影響のうち引用数のみでは測りにくかった部分へのリーチ（補完・代替性）、タイムラグのない瞬間的な影響（即時性・予測可能性）を測れるようになったことが、オルトメトリクスを可能にした[6]。また、従来はIFなどにより代替されていた「論文レベル」や「著者レベル」の指標を提供できるようになった[2]。
観点と分類
オルトメトリクスは非常に包括的な指標群であり、論文や研究が及ぼしうる影響を様々な切り口から捉えようとするものである。代表的なオルトメトリクス計測サービスのImpactStoryは、オルトメトリクスの計測に用いられる要素を以下のように分類している[9]。PLOSもこれとよく似た分類を行っている[10]。
- 閲覧 (Viewed) - ウェブページの閲覧回数・PDFダウンロード回数
- 話題 (Discussed) - ジャーナルコメント・科学ブログ・ウィキペディア・Twitter・Facebook・その他ソーシャルメディアでの言及
- 保存 (Saved) - Mendeley・CiteULike・その他ソーシャルブックマーク利用者が保存した回数
- 引用 (Cited) - 学術出版物での被引用回数。Web of Science・Scopus・CrossRefなどでトラッキング
- 推薦 (Recommended) - 例えばFaculty of 1000による推薦など
採用状況
2013年現在、オルトメトリクスを計測するソフトウェア・サービスは複数存在する。一部を以下にあげる。
- Altmetric.com [11]
- Ceek.jp Altmetrics [12]：日本の論文が対象
- ImpactStory [11][13]：利用者自身の著者レベルの指標を提供する無料ウェブサービス
- PLoS Article Level Metrics[13]：論文レベル
- Publish or Perish[13]：ダウンロードソフトウェア
BioMed Central[14]、PLOS[15]、Frontiers[16]、Nature Publishing Group[17]、エルゼビアなどの大手出版社も、読者に対してオルトメトリクスを提供するようになった。例えば、エルゼビアはプレスリリースの中で「学術雑誌や著者の影響度の指標として、いわゆるオルトメトリクスを含む様々な指標に今後注目していく」としている[18]。 イギリスの医学研究局 (MRC) など[19]、研究資金配分機関も代替的指標に興味を示している[20]。 研究者の昇進申請に用いられる他、ピッツバーグ大学などの複数の大学では機関レベルでその有効性の実証試験を行っている[21]。
このほか、対象としては学術論文のみならず、個人・雑誌・書籍・データセット・プレゼンテーション・ビデオ・ソースコードリポジトリ・ウェブページなど、様々な応用の可能性が考えられるとされる[22]。
解釈
オルトメトリクスは、論文などが人々に及ぼした影響や、人々が示した興味・関心を示すものであり、人類全体が持つ科学的知識への貢献度・進展度への影響を示すものではないことに注意する必要がある[10]。
また、引用や言及に基づく評価指標全般に言えることとして、高い数値だからといって科学にポジティブな影響を及ぼした論文であるとは限らない。例えば、反対意見を述べるための引用や批判的な引用も、被引用回数の数値を押し上げる。これに関するアプローチは活発に研究・提案されており、一例としてはCiTO (Citation Typing Ontology)などがある[23]。
問題点
研究を評価するにあたって定量的指標を用いることに対しては批判や議論もあるものの[24][25]、科学コミュニティの中ではこのような指標の需要が高いことは明らかである。すなわち、研究資金配分機関にとって定量的な比較が容易な数値指標は大変便利なものである。しかし、資金配分に直結しうるということはその仕組みを悪用する者を生み出すこともまた事実であり、自己言及や言及の売買をはじめ、各研究者が自信の業績を少しでもよく見せようとする様々なテクニックに影響されやすいとの批判がある[26]。もっとも、これはいかなる指標にも言えることであり、固有の問題ではない。
オルトメトリクス固有の問題点としては、新しい論文であるほど社会におけるソーシャルメディアの利用者数も増えており、そのため新しい論文であるほど出版時に活発な言及が見られ、新しい論文であるほど高い評価をうけるというバイアスの存在がある[27]。そのため、出版時期の異なる論文のスコアを比較するのは公平でない可能性が高い。
用いられる手法の内在的な特徴に起因する問題点もいくつか指摘されている。勘定しやすい学術雑誌による引用回数とは異なり、本指標の情報源となるデータは集めにくい場合もある。例えば、ある論文に言及しているツイートの数を数えようとした時、ツイートの収集方法次第で大変異なった値が得られる[28]。
あるいは、さほど注目を集めていない論文であっても第1四分位（25パーセンタイル）にランクインする例が報告されており[29]、これは計算に用いられる情報源の規模が現時点では不十分であるためではないかとされる。この問題に対しては、論文同士の相対的な影響度を正しく比較するために情報量の十分に多い知識ベースが必要となる。以下の表に各計算サービスが対象としている論文の件数を示す。
| サイト | 論文件数 |
|---|---|
| Altmetric.com | 1,464,236[30] |
| ImpactStory | 364,000[31] |
計量書誌学的観点
数十年にわたって使われ続けてきたインパクトファクターと比較するとオルトメトリクスの登場からはまだ日が浅く、具体的な計算手法やデータベース化の進展、その利用の拡大、それにより観測される事象などはそれ自身が計量書誌学における活発な研究テーマとなっている。Information Standards Quarterlyは2013年、オルトメトリクスに関する特集号を出版した[32]。
参考文献
- ^ Priem, Jason; Taraborelli, Dario; Groth, Paul; Neylon, Cameron (September 28, 2011). “Altmetrics: A manifesto (v 1.01)”. Altmetrics.
- ^ a b 坂東慶太、Altmetricsの可能性 ソーシャルメディアを活用した研究評価指標『情報管理』 2012年 55巻 9号 p.638-646, doi:10.1241/johokanri.55.638
- ^ Mcfedries, Paul (2012). “Measuring the impact of altmetrics [Technically Speaking]”. IEEE Spectrum 49 (8): 28–28. doi:10.1109/MSPEC.2012.6247557. ISSN 0018-9235.
- ^ Galligan, Finbar; Dyas-Correia, Sharon (2013). “Altmetrics: Rethinking the Way We Measure”. Serials Review 39 (1): 56–61. doi:10.1080/00987913.2013.10765486. ISSN 00987913.
- ^ 「被引用数、h-indexなど計量データに依存した研究者評価に警鐘 － スタンフォード大学化学科前学科長がAngew. Chem. Int. Ed.のEditorialで」『ワイリー・サイエンスカフェ』 2012年4月19日
- ^ a b 林和弘「研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測定を可能とするAltmetrics― 」『科学技術動向』2013年3・4月号 第20頁
- ^ Garfield, Eugene (June 1998). “The Impact Factor and Using It Correctly”. Der Unfallchirurg 101 (6): 413–414. PMID 9677838.
- ^ 「インパクト・ファクターの濫用にストップを｜細胞生物学分野の主要ジャーナルが採択した宣言DORAに、Traffic誌が支持を表明」『ワイリー・サイエンスカフェ』2013年6月6日
- ^ “A new framework for altmetrics”. ImpactStory Blog (2012年9月14日). 2013年8月13日閲覧。
- ^ a b Lin, Jennifer; Fenner, Martin (2013). “Altmetrics in Evolution: Defining and Redefining the Ontology of Article-Level Metrics”. Information Standards Quarterly 25 (2): 20. doi:10.3789/isqv25no2.2013.04. ISSN 1041-0031.
- ^ a b Liu, Jean; Euan Adie (8 July 2013). “New perspectives on article-level metrics: developing ways to assess research uptake and impact online”. Insights 26 (2): 153. doi:10.1629/2048-7754.79 2013年8月13日閲覧。.
- ^ “日本の論文のAltmetrics計測サービス、Ceek.jp Altmetricsが公開”. カレントアウェアネス・ポータル. 国立国会図書館 (2013年10月29日). 2014年1月25日閲覧。
- ^ a b c Roemer, Robin Chin; Borchardt, Rachel (2012-11). “From bibliometrics to altmetrics: A changing scholarly landscape”. College & Research Libraries News 73 (10): 596-600.
- ^ 「BMC、論文レベルのインパクトが分かる"Altmetrics"を導入」『STI Updates 学術情報流通ニュース: 情報管理Web』（科学技術振興機構）2012年5月29日
- ^ “Article-Level Metrics Information”. PLoS ONE (2005年7月1日). 2012年5月29日閲覧。
- ^ http://www.frontiersin.org/about/evaluationsystem
- ^ Press release: Article level metrics on nature.com, 2012, http://www.nature.com/press_releases/article-metrics.html
- ^ Press release: Elsevier Announces 2012 Journal Impact Factor Highlights, 2012, http://www.marketwatch.com/story/elsevier-announces-2012-journal-impact-factor-highlights-2013-07-15
- ^ Viney, Ian (2013). “Altmetrics: Research council responds”. Nature 494 (7436): 176–176. doi:10.1038/494176c. ISSN 0028-0836.
- ^ “AOP”. Nature. (2013). doi:10.1038/493159a. ISSN 1476-4687.
- ^ Kwok, Roberta (2013). “Research impact: Altmetrics make their mark”. Nature 500 (7463): 491–493. doi:10.1038/nj7463-491a. ISSN 0028-0836.
- ^ E. Adie (@stew), @McDawg altmetrics could cover person, uni or journal level stats, non-trad contributions & items. ALMs a subset, fixes article as focus, 5:45 PM - 10 Aug 13, Tweet
- ^ Shotton, David (2010). “CiTO, the Citation Typing Ontology”. Journal of Biomedical Semantics 1 (Suppl 1): S6. doi:10.1186/2041-1480-1-S1-S6. ISSN 2041-1480.
- ^ Mike Buschman; Andrea Michalek (April/May 2013). “Are Alternative Metrics Still Alternative?”. asis&t Bulletin 2013年8月21日閲覧。
- ^ Cheung, Man Kit (2013). “Altmetrics: Too soon for use in assessment”. Nature 494 (7436): 176–176. doi:10.1038/494176d. ISSN 0028-0836.
- ^ J. Beall, Article-Level Metrics: An Ill-Conceived and Meretricious Idea, 2013, http://scholarlyoa.com/2013/08/01/article-level-metrics/
- ^ Bornmann, Lutz; Thelwall, Mike; Haustein, Stefanie; Larivière, Vincent; Sugimoto, Cassidy R. (2013). “Do Altmetrics Work? Twitter and Ten Other Social Web Services”. PLoS ONE 8 (5): e64841. doi:10.1371/journal.pone.0064841. ISSN 1932-6203.
- ^ Chamberlain, Scott (2013). “Consuming Article-Level Metrics: Observations and Lessons”. Information Standards Quarterly 25 (2): 4. doi:10.3789/isqv25no2.2013.02. ISSN 1041-0031.
- ^ J. Kelly, Altmetric rankings, 22 August 2013, http://infiniflux.blogspot.ca/2013/08/altmetric-rankings.html
- ^ Determined on 29 August 2013 using the altmetrics record for a specific paper.
- ^ ImpactStory (@ImpactStory). "@egonwillighagen Sorry, we've got no automated reporting tool for the db size yet. But I just checked and it's just over 364k items." 2013-10-20, 8:10. Tweet.
- ^ “Summer 2013 Volume 25, no. 2”. Information Standards Quarterly. 2013年8月14日閲覧。
関連項目
外部リンク
- Altmetricsのページへのリンク
