高尾山薬王院にて御護摩修行東大実戦模試で数学は満点(偏差値80.2)、化学は2点(偏差値32.6)という受験生

2014年09月15日

「司法試験の合格最低点を年度比較して、合格者のレベルを論じることができるか」問題がついに最終決着か

平成26年司法試験の結果について(4)
http://study.web5.jp/140915a.htm


こういうページを発見し、目から鱗が落ちているところです。
とてもよく整理してくださっていると思います。
大変勉強になりました。

私が提起した「司法試験の合格最低点を年度比較して、合格者のレベルを論じることができるか」問題は、これで最終決着できそうな感じがしています。
http://blog.livedoor.jp/schulze/archives/52084553.html
http://blog.livedoor.jp/schulze/archives/52084695.html

特に筆者の方が言われる「全科目平均点の下落による上位陣の得点押下げ効果」という可能性は、新しい視点をいただいたと思いました。これまで何かしらの統計上の罠があると常々感じていた原因が、見えてきたように思います。


ただ、この方のご説明を伺っても、また理解できていないことが何点かあります。


(1)結局のところ、私が言いたかった「司法試験の合格最低点を年度比較するだけでは、合格者のレベルを論じることはできない」という命題は、正しいということで良いのでしょうか?


(2)上記記事の筆者の方は、『schulzeさんは、「母集団の実力が均衡すると、合格者でも相対的にどの科目でも高い点数を取り続けるのが難しくなるので、合格点は下がっていく」ことが原因ではないかと述べておられます。しかし、その考え方だと、安定して全科目上位を取れる人が少なくなったことを意味していますから、むしろ、合格レベルが下がったことを意味してしまいます。』と書かれているのですが、申し訳ありませんが、私にはよく意味が分かりませんでした。
私の仮説が間違っている可能性が高そうだというのは、なんとなく理解はできたのですが、「安定して全科目上位を取れる人が少なくなったことは、むしろ、合格レベルが下がったことを意味してしまう」という部分の理屈が分かりませんでした。

私の仮説は、この方が別の段落でおっしゃる通り、『schulzeさんのいう「母集団の実力が均衡する」状態とは、同一科目内の均衡ではなく、ある科目で上位の人が、他の科目では上位を取れない結果、総合得点が均衡するという趣旨』ということです。
ただ、上位を取り続けることができないことをもって「レベルが下がった」と称するためには、その母集団のレベルを検証することが不可欠なはずです。(一般的には、満遍なく良い答案が書けないという事態はレベルが低い可能性が高いとは思いますが、母集団の実力を分析しない限り断定はできないはずです。)
なので、そのような検証がないまま、「安定して全科目上位を取れる人が少なくなったことは、むしろ、合格レベルが下がったことを意味してしまう」と当然にされてしまうのかが、よく分かりません。

私の仮説で間違っている部分があるとしたら、おそらく「合格最低点が下がったのは、母集団の実力が均衡しているからだ」という考えだと思います。
この点は、そうかもしれないと思います。
合格最低点が下がるのは、いろいろなケースが考えられるので、それこそ何かひとつの結論と結びつけることはできないので、「母集団の実力が均衡している」とは断定できないと思います。
これは私の推測でしかないので、仮説としては間違っているという可能性はあります。
(筆者の方が言われる「全科目平均点の下落による上位陣の得点押下げ効果」という可能性は、十分に考えられると思います。)

ただ、これを逆の命題にして、「母集団の実力が均衡する場合には、合格最低点は下がる」という命題も誤りなのでしょうか?
やはり、母集団の実力が均衡すれば、どの科目でも高順位をキープし続けることが難しいので、総合得点は低く出るんじゃないかと思うのですが。

もし「下がる」という命題が正しくないのだとしても(上がるケースもあるのかもしれませんが)、「母集団の実力が均衡し、かつ合格最低点は下がる」という事態(黒猫先生が命名するところの「シュルジー現象」)は、本当にありえないことなのでしょうか。

ここが私の最大の疑問かもしれません。


【追記】
『schulzeさんは、末期の旧試験では全員がハイレベルなところで均衡しているので、相対評価で高得点にならなかった、という理解のようですが、それならば全科目平均点が高くなるので、合格点も高くならなければ筋が通りません。』とされている点について、私から補足します。(補足というより、ただの言い訳です:苦笑)

末期の旧試験での論文受験者(=短答合格者)の実力については、私は以前のブログ記事で次のように書きました。
2007年10月15日の記事です)
『満遍なく6科目すべてで、高いレベルの答案を揃えられるだけの力を持った受験生が減ってきている。だから点数が下がったのだ。』
『しかし、今は短答試験自体が激戦であるし、論文受験生の底が上がっている可能性がある。実力者同士の戦いとなっており、その中でコンスタントに上位をキープし続けることが至難の業になっている。』
『おそらく、どちらの考えも正しいのではないか』
『やはり、何といっても1500人×2回のボーナスステージの影響は大きいと思われます。あの2年間で、真の実力者はほとんどが合格してしまった。また、これから法曹を目指す若手はローに行くわけですから、旧試験の世界から本当の優秀者が消えて行ってる可能性は高い。その一方で、論文受験生全体が均質化している(?)とも感じるのです。今の旧試験は、ベテランの敗者復活戦の色彩が強い。そういう中では、論文受験生もマグレで択一に受かるような人が減っており、一定以上の実力者ばかりの集団となっている。つまり、「飛び抜けた天才・秀才」はいない代わりに、「そこそこ一定の実力を有する司法ヴェテ」が固まっている可能性が高いのではないか、と。』
『結論としては、今の論文受験生は「天井こそ下がっているが、むしろ床は上がっている」のが、実態なのではないでしょうか?』

なので、「末期の旧試験では全員がハイレベルなところで均衡している」というのは、実は私の真意ではありません。
私の真意は、あくまでも「均衡している」という部分だけです。どのレベルで均衡しているかは、必ずしも明らかではありません。
この点は、前の記事で、あたかも旧試論文受験生の実力が上がっていたかのように書いてしまったのは、少し筆が滑ってしまったと反省しています。前の記事の文脈は、新試験の母集団と比較しようという趣旨であのように書いたのですが、ここでの議論は、かつての(平成一桁台の)司法試験と末期の旧司法試験を比較しようという趣旨ですから、母集団である論文受験者のレベルが上がっているとは断定できない。ここは素直に認め、謝罪します。
という次第ですので、「それならば全科目平均点が高くなるので、合格点も高くならなければ筋が通りません。」というご指摘については、私の立場では「全科目平均点が高くなるとは言えない」ということになります。


【さらなる追記】
繰り返しになりますが、誤解だけはどうしても避けたいので、何度でも書きますが、
私が本当に訴えたいことは、「合格最低点の推移だけでは合格者のレベルは判断できないので、レベル低下を推認させるほかの事情も丁寧に説明する必要がある。ほかの事情も合わせて判断することで初めて、合格者のレベルの低下が説得的になる。」ということに尽きます。
末期の旧試験の合格者のレベルが高い、などということが、私の本意なのではありません。

schulze at 19:00│Comments(2) 司法試験 | 司法制度

この記事へのコメント

1. Posted by かずや   2014年09月16日 20:49
「母集団の実力が均衡する場合には、合格最低点は下がる」という命題も誤りなのでしょうか?

リンク先の分析からはそうだということになりませんか。

「素点のバラつきがあまりに小さい(司法試験では各科目標準偏差10未満)と、むしろ、標準偏差が一定に(司法試験では各科目10)調整されるために、かえってバラつきが大きくなるのです。例えば、素点段階では平均点を中心に5点幅くらいしか得点のバラつきがなかったとすると、得点調整によって、平均点から10点幅くらいにバラつきが拡大する。これは、上位陣の得点を上昇させることを意味します。」


実力が均衡しているということは、素点のバラつきが小さい場合であり、その場合平均点より上の素点については上方圧力がかかり偏差後の得点は素点より上になることになるということですよね。


だとすると、当然のことながら合格できるのは論文受験者の4割に満たないので、最低点は平均より上の点のところにあるわけですから、母集団の実力が均衡している場合は合格最低点はむしろ上がるということになるんだと思います。


逆に旧試験時代の最後の方で加速度的に合格最低点が下がっていったのは母集団の実力に差があって上位の点数が押し下げられたからだということでしょう。

平成17年の結果で聞いた話になりますがオールAで148点の人が40位前後でした。
148点というのは平成9年の無制限枠の合格最低点と変わらない点であり、9年の500位以下と17年の50位以上が同じというのは、最上位層の年間流入数を考えてもさすがにおかしいと思ってましたが、これも旧試最後の方はピンきりの差が激しく母集団の実力に差があったため上位の得点がおさえられたからなら納得です。

結論としては母集団のレベル差が大きければ点はおさえられ最低点は下がり、レベル差が小さければ上位の点が上がり最低点も上がるということでいいんじゃないんでしょうか。
2. Posted by schulze   2014年09月16日 22:16
かずや様
おっしゃっていることは、黒猫先生の分析と同じで、各科目単位での統計処理のことですよね。私が言っているのは調整後の得点を合計した総合得点のことです。
「母集団の実力が均衡する場合には、合格最低点は下がる」という命題自体は、当てはまる場合があるんじゃないでしょうか。
リンク先の管理者様もその事象がありうることは認められています。
http://study.web5.jp/140916a.htm
ただ、私の推論が正しくないところは、リンク先の管理者様によれば、このモデルが末期の旧試験に当てはまらないか、または当てはまるとしたら合格レベルは下がったことになる(それゆえ、合格点の低下だけを根拠にレベルが下がったと判断できる)というところなんでしょうね。

コメントする

名前
 
  絵文字
 
 
高尾山薬王院にて御護摩修行東大実戦模試で数学は満点(偏差値80.2)、化学は2点(偏差値32.6)という受験生