kojitakenの日記

古寺多見(kojitaken)の日記・はてなブログ版

「インパクトファクター至上主義の弊害」の根は深い

くたばれ「インパクトファクター」、くたばれ「科学の商品化」 - kojitakenの日記(2014年10月15日)のさらなる続きだが、「インパクトファクター 捏造」とか「インパクトファクター 弊害」などの検索語でネット検索をかけると、面白い記事が多数引っかかる。そして、なんとも興味深いことに、引っかかる記事の大半が、いわゆる「バイオ系」に関するものなのである。唖然とさせられる。いかにバイオ系の研究の世界がひどく歪んでいるか、ちょっと想像を絶するものがある。

たとえば下記の記事。「STAP細胞」騒動より前の、昨年のインタビュー記事である。

「インパクトファクター至上主義の弊害」藤田保健衛生大学・宮川剛教授インタビュー(12) - Science Talks(2013年9月3日)

インパクトファクター至上主義の弊害」藤田保健衛生大学・宮川剛教授インタビュー(12)
Posted in インタビュー, 宮川剛氏 on September 3, 2013 by ScienceTalks.

今回のScience Talks−ニッポンの研究力を考えるシンポジウム、第1回大会「未来のために今研究費をどう使うか」、登壇者インタビューでトップバッターを切るのは、藤田保健衛生大学総合医科学研究所システム医科学研究部門、宮川剛教授です。

国内の脳科学研究でトップを走る宮川教授は、研究のかたわら第36回日本分子生物学会年会が主催する「日本の科学を考えるガチ議論」で今の日本の研究評価システムと、それを基にした研究費分配システムについて、まさにガチで国に問題提起をする活動をされています。

(※以下、敬称略)

【宮川】 僕の提案する客観的な研究者評価の指標には雑誌のインパクトファクターは入れていません。あれは絶対入れるべきではない。掲載ジャーナルのインパクトファクターは「ジャーナル評価」の指標なので、雑誌の評価軸としてはいいのです。雑誌のエディターが雑誌インパクトファクターをあげようと努力するのには意味があります。しかし、個人の研究者やその人の論文の評価軸としては使ってはまずい。ベターなのは個々の論文の引用数です。

【湯浅】 そうですね。それは間違いないと思います。

【宮川】 雑誌の評価は1つ1つの論文のその引用数をもとに計算されているものなのですから、その指標で逆に論文レベルのインパクトの高さを評価するのは本末転倒です。今は雑誌インパクトファクター至上主義ですよね。

【湯浅】 ええ。

【宮川】 科研費の評価には、実際には雑誌インパクトファクターは入っていません。にもかかわらず実質的にはインパクトファクターを見て評価者は採点しています。1人の評価者が100も申請書も見ていたら細かく内容を精査するのは事実上困難なので、業績の中にどれぐらいのインパクトファクターの雑誌があるかっていうのを脳内で計算して、その印象で評価を決めている部分があります。そうやって評価するとだいたいほかの人と評価が合いますから。

「評価者の評価」、つまり評価者の評価クオリティのアセスメントは今でも一応やっているのですけれど、それがどうやって決まるかと言うと、「ほかの人とかけ離れてないか」という評価ということらしいです。

【湯浅】 というと?

【宮川】 ある評価者に対して、その人以外の評価者が2〜5人とかいますよね。ある申請書に他の人たちが良い点をつけててその人だけ悪い点つけている、というのがたくさんあると、「あれ、この人はきちんと見てないのではないか?」となります。そういう基準で機械的に評価している部分があるらしいのです。

【湯浅】 そうなのですか。

【宮川】 そういうものであるという話を聞いたことがあります。それがもし本当だとすると、では楽をして「評価者の評価」に引っかからないようにするにはどうしようかと、普通思いますよね?

【湯浅】 まあそうですね。

【宮川】 そこで、申請者の業績の情報を見て、これまでに掲載されたジャーナルのインパクトファクターを出して足し算して、その合計値で申請者を順番に並べて上位から選べば他の評価者と評点がかけ離れません、ほぼ確実に。それが一番楽です。評点をかけ離れないようにするためだけであれば、申請書の内容、見る必要はほとんどないといっても過言ではないでしょう。この方法で十分他の評価者による評価とかけ離れない評価をすることができますから。

【湯浅】 雑誌インパクトファクターで研究を評価するって、ある意味では出身大学で評価するのと似たようなものですよね。

【宮川】 似たようなものです。その雑誌のレビュアー、エディターに評価を丸投げしているのと同じなのです。

僕、提案しようと思っているのですが、どなたかそういう解析をやってみてくれないでしょうか。コンピュータを使って申請者の業績リストのジャーナル・インパクトファクターの合計値を出して、特にScienceとかNatureなんていうハイ・インパクトジャーナルに計算上、重み付けをして、申請書の研究計画は全く考慮にいれず評点を出します。その評点が今行われている実際の評価者による科研費の評点とどれぐらい相関があるのかを解析して欲しいです。

【湯浅】 ああ、なるほど。

【宮川】 おそらく相当高い相関になりますよ、これは。結構面白いレポートになると思います。もしそうなれば、評価者はいらない!という話になりますから。

【湯浅】 まあ、そんな結果が出たらそう言えるかもしれないですね

【宮川】 そういうデータがもし得られたとしましょう。その場合、機械的に決めてしまう方法で良いかと言えば、別にそれで良いとも言えるでしょう。雑誌インパクトファクター機械的に使うほうが、今の評価システムよりはむしろベターではないでしょうか。コネクションが入り込まなくなりますので。でも僕としては雑誌インパクトファクターは元来使ってはダメで、h-indexとか、ちゃんと論文レベルの研究力を図る評価指標を使っていただきたいですね。

【湯浅】 うんうん。

【宮川】 雑誌インパクトファクターの高いジャーナル至上主義だと、捏造の動機付けにもなってしまいますし。

【湯浅】 そうですよね、それも問題になっていますからね。

【宮川】 捏造が起こる最大の背景の一つは、もちろん捏造する人が一番悪いと言うのは当然として置いておいて、インパクトファクターが高いジャーナルの存在なのだと思います。こういうデータがでたら掲載します、という要求がすごいですから。それは、捏造をしたくなる気持ちが湧いても、やむを得ない部分があると思います。それで研究費から人事から、人生がすべて決まるのですから。

【湯浅】 ある意味では、研究者はScience、Natureのために論文を書いているかのような状況が作り上げられているってことですか。

【宮川】 Science、Natureが業績リストに入っていた場合、普通の研究費の申請はほぼ確実に通りますよ。Science、Natureがあったらもう他の書類の部分などはほとんど見ないでしょう、評価者は。ほとんど何も見ない。そのまま通し、Science、Natureがあったら、ということも多々あるのは間違いないでしょう。

【湯浅】 なるほどー。

【宮川】 まずそういう論文があれば、内容をよく見るリストから除外します。メジャージャーナルがあれば、それはもう上位に決定。それから人事でもScience、Natureがある人を採用しますから。Science、Natureがあれば勝ち組に入ってしまうのです、捏造しようが何しようが。だから捏造をする人が出てきてしまう、という背景がある。

実際、Science 、Natureに掲載された論文が一番捏造データの比率が高いってデータも出ています。ジャーナルのインパクトファクターの高さと捏造の多さというのに正の相関関係があるという研究結果が報告されています。

【湯浅】 そうですか。

【宮川】 論文が掲載されること自体の敷居が異常に高い、ということはネット時代になる前の、旧時代のなごりみたいなものでしょう。紙媒体で掲載スペースが限られていたころの名残です。もう今意味がないでしょう。

【湯浅】 そうですよね、今オープンアクセスもPLoS Oneとかでもすごい数の論文を出していますよね。そうすると、先生がおっしゃるように雑誌のインパクトファクターじゃなくて自分の論文が何回引用されたかの指標のほうがより適切ということですよね。いくらScience、Natureに掲載されたからといって、その論文が高く評価されたとは限らないのですから。

【宮川】 はい。極端な話、捏造してウソの結果を報告したら、リプリケート(実験結果の再現)できず、同じ結果が再現されないですから、当然引用も徐々にされなくなっていくわけです。

【湯浅】 そうですよね。それをやってしまうと、その後もその研究者は捏造して発表したデータをベースに研究をしていかなければなりますね。

【宮川】 そう。でも捏造のモチベーションはググッと減るはずです、Science、Natureのような高インパクトファクターのジャーナルへの論文掲載を過大視することさえなくなれば。


ちょっと、何それと言いたくなる話である。これじゃまるで、『ネイチャー』に載った論文を見たら捏造と思え、って話じゃん。

伝えられた話では、若山照彦小保方晴子らの「STAP細胞」の論文は、『ネイチャー』や『サイエンス』などの雑誌に投稿したが、いずれも「再投稿不可」というこっぴどいコメント付きでリジェクト(投稿拒絶)を食ったという。そこで故笹井芳樹の登場となったわけだが、「STAP細胞」は自らの研究とは少し離れた分野であったという笹井芳樹が自らの意志で、もともとの若山照彦小保方晴子のダメ論文を「『ネイチャー』に受理される(見かけは)立派な論文」に仕立て上げたと考えるのは不自然というか、あり得ないだろう。竹市雅俊の業務命令があったからに決まっている。

インパクトファクターの件を調べていてわかったのだが、各研究者には「インパクトファクターの累積値」(それがずっと累積されるのか、プロテニスの選手のポイントのように直近までのある時期に限定されるのかは知らないが)があって、笹井芳樹は既に高い累積値を持っていたはずである。だから、笹井芳樹が「STAP論文」に大がかりな装飾を施して『ネイチャー』に受理させたとしても、笹井芳樹の高いインパクトファクター累積値から見れば、ほんの少し上乗せするだけであり、それに引き替え論文捏造が露見した時のリスクは極めて大きい(現に笹井芳樹は自殺してしまった)。業務命令でもなかったら笹井芳樹がこんなことに手を染めるはずがないと考えるのが普通だろう。しかし、笹井芳樹の自殺によって、本当に責任を追及されなければならなかった人たちは追及を免れた形になったと私は考えている。

インパクトファクターとは、共著者にも同じ値が与えられるらしいから、たとえば小保方晴子にとってはそれは「莫大な贈り物」になったはずだ。他の共著者についてはいちいち知らないが、笹井芳樹の関与によって、それぞれ大きな贈り物を手にするはずであった。

ふざけていると思うのは、それが『ネイチャー』という雑誌の権威(この雑誌の2012年度のインパクトファクターは36.3、『サイエンス』のそれは31だったという)を悪用した行為であることだ。上記引用記事中、宮川剛氏が

掲載ジャーナルのインパクトファクターは「ジャーナル評価」の指標なので、雑誌の評価軸としてはいいのです。雑誌のエディターが雑誌インパクトファクターをあげようと努力するのには意味があります。しかし、個人の研究者やその人の論文の評価軸としては使ってはまずい。ベターなのは個々の論文の引用数です。

と言うのは当たり前であって、「掲載論文の平均被引用数の多い雑誌」に論文が投稿されたことが、その論文の価値が高いことの保証になどなるはずがないのは、何もアカデミズムの世界にかかわる人間でなくても、一般人のわれわれにもわかる話だが、現実には「掲載論文の平均被引用数の多い雑誌」に掲載された論文は「価値の高い論文だ」とみなされ、その数値の累積値で研究者の処遇が決まるらしいのだ。だから捏造論文を『ネイチャー』に載せようとする輩が後を絶たない。「STAP細胞」の論文が「氷山の一角」に過ぎないことは明らかだろう。

なんとバカバカしい話であることか。