2017年12月13日

先日の番組を受けて、なかの先生からこういう発言がありまして。




TLでは「IFでなくて研究の内容で評価しろ」という意見が多いようで、あまり評判がよくなかったようですが、個人的には妥当な意見かなと思いました。



その理由としてはまず、ジャーナルによって論文のレベルがある程度は予想がつく点。研究の精度、新規性について求められるレベルはある程度決まっていて、基本的にIFが高いような雑誌ではそれに応じてそのレベルが高い(となっているはず)。また、レフリーの質、数もトップジャーナルでは高い。対して、BBRCはエディターが直接きめているようだったし、SRはレフリーは二人ついたけれど、そのうち一人は論文をちゃんと読めないレベルの人だった。査読レベルはジャーナルによって明らかに違うと思います。分野の専門家であるレフリーが3人も4人もついて、あれこれ注文をつけてくるのをクリアしたものについて、分野外の人間でそれ以上に正確な判断をできるか人がいるかどうか。出来る人は、そんなに多くはないんじゃないですかね。

後、IF至上主義というけれど、いまどきどんだけそういう雑誌への掲載を意図したところで、そんな中身のない研究がその手の雑誌にのる可能性は極めて低いわけで。いや、revisionとか死ぬほど大変ですよ、ホンマに。ジャーナルクラブで読んだときに、しょうもない研究に見える論文もあるけれど、大抵の場合は自分(もしくは発表者)の不勉強が原因で、面白さが分かっていないだけというのがほとんどじゃないかと思います。

個人的な考えですが、特にグラントの申請書については、本来いいとか悪いとか評価できるものではないと思う。例えば、どれだけよく書けてるように見えても、同じような先行研究が既に出ていたりしたら、それは全くに近いほど意味が無いものだし、それを30分やそこらで読み切れと言われても無理な相談でしょう。どのみち無理なら、分かりやすい指標で判断してしまえというのはそんなに間違った考えではないのではないかな。

追記:
なかの先生のtwitterでコメントされたこともあり、アクセス多かったです。現状では、特に最初のスクリーニングにおいては悪くない指標じゃないですかというつもりでしたが、その程度の審査ならくじ引きでいいじゃないのという厳しいコメントも有り・・・。勉強になりました。

特に、こちらの宮川先生からの意見と関連のコメントなるほどと思いました。




まあ分野にもよるんでしょうけど(自分の周囲ではそんなに多数の分野を突っ込んでという形はあまり見ないですし)、こういう例もあると。いやー。

追記2:

まあ、こういうことかなと。




実際の選考は決してIFだけで決まってるわけじゃないです。実際に、自分の場合もN出た直後の科研費や助成金はさくっと落ちたし。当時は結局コネなのか?なんて思ったりもしたけれど、見返してみると申請書がしょぼかったのが当然ながら一番の原因だったと思う。うまくいかない理由をシステムに求めて批判するのは自由だけど、本当に自分に改善する点がないのかは常に考える必要があるかと思います。

追記3:
ひさおの独り言2016
レビューシステムと雜誌のインパクトより。

「雜誌のインパクトファクターでそこで掲載されている論文の質を推し量ってはいけない」という研究者がいて、「いやいやインパクトファクターはその雜誌に掲載されている論文のクオリティーを結構担保しているよ」という研究者もいる。確かに、ハイインパクトの雜誌に掲載されたからと言ってその論文が多く引用されるとは限らない。それは担保していない(期待値にすぎない)。だだ、明らかに「論文の質・完成度」には大きな違いがある。

論文の体をなしていない論文は、ハイインパクトジャーナルには決して掲載されない。そこには強力なフィルターがある。さらに、その論文の新規性を評価できる分野の近い、そして自らもハイインパクトな論文を発表している研究者がレビューをする。そういった「質に対する強い担保」がある。




  • このエントリーをはてなブックマークに追加

この記事へのコメント

1. Posted by なかのとおる   2017年12月15日 07:43
インパクトファクターとなると、どうも極論が多いんですよね。それほど絶対視されてるワケではないけど、無視することはできない。その程度のpracticalな態度が必要ですわ。スクリーニングとしては悪くないどころか、それ以外にどないせえっちゅうねん、という気がします。ひとつのポストに100も応募があったら、使わざるをえないでしょう。ただ、こんなに論文業績があるのにこんなレベルの奴かよ、というのは結構あります。

2. Posted by cdc2kinase   2017年12月15日 09:11
なかのとおる先生

コメントありがとうございます。難しい問題と改めて思いましたが、数値化が必要な局面では、現状最もフェアな指標ではないかと思います。(引用数もありますが、ど基礎は医学系論文と比べて不利になる面があると感じています)反論されてる方の対案はお聞きしたいですね。
3. Posted by なかのとおる   2017年12月15日 16:43
まともな対案はありえないはずです。NHKの番組では、NIHが専門の職員を雇っているということが大事そうに言われてましたが、日本では極めて難しいでしょう。シェックマンのようにCNSには出さない、というのは、ノーベル賞をもらった老人だから言えるわけで、ああいうのが評価されること自体がおかしい。
ただ、被引用回数と同じで、分野によっての高低もあります。IFはあくまでも指標です。
それから、多くの人が誤解してますが、IFの高い雑誌に載っている論文が良い論文ということは決してはありません。IFの高い雑誌というのは、ときどき、とんでもなく高い被引用回数(千回とか)が載る雑誌に過ぎません。興味があれば、この本が参考になります。
https://www.amazon.co.jp/%E7%A7%91%E5%AD%A6%E3%82%92%E8%A8%88%E3%82%8B%E2%80%95%E3%82%AC%E3%83%BC%E3%83%95%E3%82%A3%E3%83%BC%E3%83%AB%E3%83%89%E3%81%A8%E3%82%A4%E3%83%B3%E3%83%91%E3%82%AF%E3%83%88%E3%83%BB%E3%83%95%E3%82%A1%E3%82%AF%E3%82%BF%E3%83%BC-%E7%AA%AA%E7%94%B0-%E8%BC%9D%E8%94%B5/dp/4900828025
4. Posted by cdc2kinase   2017年12月16日 01:56
確かにTLを見る限りでは対案らしいものは、今のところはないようです・・・。

コメントする

名前
 
  絵文字