2005年06月30日
研究評価
愛読している内田先生のブログに教員評価に関連した話が書かれていました。私も(文系・理系の違いはあれ)研究を生業としている身として、この話題はひとごとではなく、私の勤務先(以下、A研)でもこのような評価が始まって数年になります。そこで、研究評価に関するわたしの個人的な意見を少し書いてみたいと思います。
(1)評価はなんのために行うのか
「研究活動の活性化のため」というのがA研での公式見解ですが、税金をじゃぶじゃぶ使っている公的機関としては納税者への説明としての意味が重要です。具体的には、お金をもらっているお役所と外部の有識者の方々に「うちはこんなに役に立っているのでそこのところよろしく」と説明する機関評価、研究者の属する組織の評価、個々の研究者の評価と3個あり、それに必要な労力はかなりのものがあります。特に後の2つは(国の単年度会計と連動して)毎年実施しているので、管理職(の研究者)は実際研究ができなくなります。
(2)評価における定量性の問題
評価を定量的に扱おう(というより、評価に用いることのできる定量的指標を見つけよう、というべきか)という考え方は近年理系では当たり前になりつつあり、よくインパクト・ファクター(IF)が用いられます。これは、論文を投稿する雑誌の平均引用回数に相当する量で、どのくらいその雑誌が当該分野でメジャーかを示しています。A研でもIFの総和を業績として報告書に書いたりしており、いったん数値になってしまうと足したり平均したり比較をしたりと、処理(特に序列をつけること)が容易になります。しかし、よく知られているように、IFは雑誌の指標であり、個々の論文の質を保証するものではありません。また、IFには分野ごとに大きな差があり、私の印象では
医学・生物系 >> 物理・化学系 > 工学系
といった感じなので、分野をまたがる比較には慎重を要します。また、本来速報誌とフルペーパーではIFの重みが違うはずなのですが、「とにかくIFの総和を上げよう」というプラグマティズムに徹した結果、本来ならまとめて一報にすべき仕事を細切れにしてレターに出して数を稼ぐことも行われており、数値の一人歩きが危惧されます。
そこで、今度は個々の論文の引用回数(自己引用をのぞく)を指標にすることが思いつきます。現にこのような情報はオンラインのデータベース(ISIなど)で簡単に知ることができます。しかし、この引用回数もやはり分野ごとに大きな差があって、流行の分野では桁違いの大きな値が出る場合があります。
本来であれば、中身を判断して評価すべきなのでしょうが、専門性の高い研究であればそれだけ目利きの人が少なくなることと、「評価は客観的・定量的に」という一種の思いこみで評価は進んでいく傾向にありそうです。
(3)評価と研究における動機付け
私の個人的意見では、多くの研究者にとっていい評価をもらうことで研究の意欲が向上したり研究の効率が上がったりするわけではなく、むしろ、同業者・研究者のコミュニティに認められることが動機付けとして重要だと考えられます。要は「いい仕事をした」「おもしろいことをやっている」といわれることです。研究の中身の評価には専門的知識が不可欠であり、結局同業者・コミュニティのみがその任に与れるからです。逆に、これを定量的指標を導入することで非専門家でもそれなりのコメントがいえるようになってしまうのが怖いところで、A研でも「君の仕事はIFの総和が少ないので(以下略)」「難しいことをやっているようだが結局何の役に立つのか」といったdiscouragingなコメントが上司から出てくることも稀ではありません。
(4)評価と資源配分
評価が「研究活動の活性化のため」「叱咤激励のため」に使われていればまだしも、「いい評価をもらった人に報いてあげよう」となると話がややこしくなってきます。誰にどれだけ報いてあげるか、分野をまたいで定量的に取り扱わねばいけないからです。定量性のところで述べたように、IFは(Natureなどごく一部を除いて)あくまで特定分野の中での雑誌の引用頻度の目安で、分野ごとに大きく値が異なりますので、本来このような目的に使用するのは困難なものでしょうが、いったん数値化されてしまうと一人歩きが始まってしまう可能性が高いです。
上記の点をふまえ、私の評価に関する現時点での考えは「評価をすることで仕事をしない人がするようになり全体としてレベルの底上げ・アクティビティの向上につながるが、元々仕事をしている人は煩瑣な仕事が増えてげんなりしてくるので、やりすぎないように」といったところでしょうか。
上記はA研での評価の話でしたが、理系の研究では英語で国際誌に論文投稿するのがデフォルトなのでまだよいと思います。文系の場合、たとえば日本史や日本文学に関する国際誌(IF付き)はあるのでしょうか?(どなたかご教示お願いします)
内田先生のブログを読んで、「文系でも定量的な評価、といわれる時代になったのか!」という感慨を持つと同時に、「文系の人も我々と同じように煩瑣な手続きに携わるようになるのか..」と思った次第です。
(1)評価はなんのために行うのか
「研究活動の活性化のため」というのがA研での公式見解ですが、税金をじゃぶじゃぶ使っている公的機関としては納税者への説明としての意味が重要です。具体的には、お金をもらっているお役所と外部の有識者の方々に「うちはこんなに役に立っているのでそこのところよろしく」と説明する機関評価、研究者の属する組織の評価、個々の研究者の評価と3個あり、それに必要な労力はかなりのものがあります。特に後の2つは(国の単年度会計と連動して)毎年実施しているので、管理職(の研究者)は実際研究ができなくなります。
(2)評価における定量性の問題
評価を定量的に扱おう(というより、評価に用いることのできる定量的指標を見つけよう、というべきか)という考え方は近年理系では当たり前になりつつあり、よくインパクト・ファクター(IF)が用いられます。これは、論文を投稿する雑誌の平均引用回数に相当する量で、どのくらいその雑誌が当該分野でメジャーかを示しています。A研でもIFの総和を業績として報告書に書いたりしており、いったん数値になってしまうと足したり平均したり比較をしたりと、処理(特に序列をつけること)が容易になります。しかし、よく知られているように、IFは雑誌の指標であり、個々の論文の質を保証するものではありません。また、IFには分野ごとに大きな差があり、私の印象では
医学・生物系 >> 物理・化学系 > 工学系
といった感じなので、分野をまたがる比較には慎重を要します。また、本来速報誌とフルペーパーではIFの重みが違うはずなのですが、「とにかくIFの総和を上げよう」というプラグマティズムに徹した結果、本来ならまとめて一報にすべき仕事を細切れにしてレターに出して数を稼ぐことも行われており、数値の一人歩きが危惧されます。
そこで、今度は個々の論文の引用回数(自己引用をのぞく)を指標にすることが思いつきます。現にこのような情報はオンラインのデータベース(ISIなど)で簡単に知ることができます。しかし、この引用回数もやはり分野ごとに大きな差があって、流行の分野では桁違いの大きな値が出る場合があります。
本来であれば、中身を判断して評価すべきなのでしょうが、専門性の高い研究であればそれだけ目利きの人が少なくなることと、「評価は客観的・定量的に」という一種の思いこみで評価は進んでいく傾向にありそうです。
(3)評価と研究における動機付け
私の個人的意見では、多くの研究者にとっていい評価をもらうことで研究の意欲が向上したり研究の効率が上がったりするわけではなく、むしろ、同業者・研究者のコミュニティに認められることが動機付けとして重要だと考えられます。要は「いい仕事をした」「おもしろいことをやっている」といわれることです。研究の中身の評価には専門的知識が不可欠であり、結局同業者・コミュニティのみがその任に与れるからです。逆に、これを定量的指標を導入することで非専門家でもそれなりのコメントがいえるようになってしまうのが怖いところで、A研でも「君の仕事はIFの総和が少ないので(以下略)」「難しいことをやっているようだが結局何の役に立つのか」といったdiscouragingなコメントが上司から出てくることも稀ではありません。
(4)評価と資源配分
評価が「研究活動の活性化のため」「叱咤激励のため」に使われていればまだしも、「いい評価をもらった人に報いてあげよう」となると話がややこしくなってきます。誰にどれだけ報いてあげるか、分野をまたいで定量的に取り扱わねばいけないからです。定量性のところで述べたように、IFは(Natureなどごく一部を除いて)あくまで特定分野の中での雑誌の引用頻度の目安で、分野ごとに大きく値が異なりますので、本来このような目的に使用するのは困難なものでしょうが、いったん数値化されてしまうと一人歩きが始まってしまう可能性が高いです。
上記の点をふまえ、私の評価に関する現時点での考えは「評価をすることで仕事をしない人がするようになり全体としてレベルの底上げ・アクティビティの向上につながるが、元々仕事をしている人は煩瑣な仕事が増えてげんなりしてくるので、やりすぎないように」といったところでしょうか。
上記はA研での評価の話でしたが、理系の研究では英語で国際誌に論文投稿するのがデフォルトなのでまだよいと思います。文系の場合、たとえば日本史や日本文学に関する国際誌(IF付き)はあるのでしょうか?(どなたかご教示お願いします)
内田先生のブログを読んで、「文系でも定量的な評価、といわれる時代になったのか!」という感慨を持つと同時に、「文系の人も我々と同じように煩瑣な手続きに携わるようになるのか..」と思った次第です。