統計的研究に体験談で反論する人と、体験談は証拠にならないと思う人とが話をするためのチェックリスト

以下のようなチェックリストを作ってみたので役に立ちそうだと思った方は使ってみてください。


統計的研究に体験談で反論する人と、体験談は証拠にならないと思う人とが話をするためのチェックリスト

あなたは以下の主張のどこまでだったら（あるいはどれにだったら）同意できますか。

１　一般論として、人間の体のしくみにはまだわからないことが多い

２　そのため、一般論として、病気は良く分からない理由で治ったり治らなかったりすることがある。

　２’この一般論は今問題になっている病気にもあてはまる

３　一般論として、ある治療をうけたあとにたまたま「良く分からない理由で治る」こともある

　３’この一般論は、今問題となっている治療と病気にもあてはまる

４　そのため、一般論として、ある治療をうけたあと病気が治ったとしても、「その治療が効いたからその病気が治った」とは限らない（たまたまかもしれないので）。

　４’この一般論は、今問題となっている治療と病気にもあてはまる

５　一般論として、ある治療をうけた後病気が治った人がたくさんいたら、一人しかいないよりはその治療に効果があるという強い証拠になる

　５’この一般論は、今問題となっている治療と病気にもあてはまる

６　しかし、一般論として、ある治療をうけた後病気が治った人がたくさんいたとしても、その治療をうけなくても病気が治っている人もたくさんいたなら、「その治療が効いたからその病気が治った」とはまだ言えない

　６’ この一般論は、今問題となっている治療と病気にもあてはまる

７　一般論として、ある治療が「効果がある」という人と「効果がない」という人がいた場合、効果があるという人の方が効果があることを立証する責任がある。つまり、立証されるまでは効果がないと考えるべきである。

　７’ この一般論は、今問題となっている治療と病気にもあてはまる

８　一般論として、もし「その治療が効いたからその病気が治った」のだったら、その病気にかかっている人のうち、その治療を受けた人と受けなかった人を両方たくさんあつめたなら、受けた人のグループの方が受けなかった人のグループより治っている比率が高いはずである。

　８’ この一般論は、今問題となっている治療と病気にもあてはまる

９　したがって、一般論として、ある治療に効果があることを立証しようと思うなら、その病気にかかっている人のうち、その治療を受けた人と受けなかった人を両方たくさんあつめて、受けた人のグループの方が受けなかった人のグループより治っている比率が高いことを示す必要がある。

　９’ この一般論は、今問題となっている治療と病気にもあてはまる

１０　一般論として、９でいうような比較は、比較をする人がずるをして自分に都合のいい結果を出してしまわないように、きちんと管理して行う必要がある

　１０’ この一般論は、今問題となっている治療と病気にもあてはまる

１１　一般論として、まったく効果のない治療をしても、「治療を受けた」という事実だけで症状が軽減するということがある

　１１’ この一般論は、今問題となっている治療と病気にもあてはまる

１２ 一般論として、ある治療をしたあと、１１で言うような理由で症状がなくなっても、「その治療が効いたからその病気が治った」ことにはならない

　１２’ この一般論は、今問題となっている治療と病気にもあてはまる

１３ したがって、一般論として、９で言うような比較をするときには、１１で言うような理由で「治った」人と、本当にその治療が効いて治った人を区別するような工夫が必要である

　１３’ この一般論は、今問題となっている治療と病気にもあてはまる


チェックリストの使用上の注意
・これは、統計的な研究で効果がないとされている治療（代替医療など）について、自分の体験談や書籍などに掲載されている体験談を持ちだして「やはり効果がある」と主張する人がいたとき、その人と「体験談は証拠にならない」と思う人がお話をするために作られたものです。他の目的のための有用性は保証しません（この目的のための有用性も保証しませんが）。

・「統計的研究に体験談で反論する人」といっても、いろいろな方がいます。どういう理由で体験談を持ち出しているのかが分からないと、せっかくお話をする努力がからまわりします。上のチェックリストは、その「どういう理由で」をはっきりさせる手助けとして作ったものです。

・使い方としては、体験談で反論される側の方が、１〜１３’までのどれにどこまで同意できるかを答えて、体験談は証拠にならないと思っている方に伝えてください。二人の意見が食い違う論点に集中することで、建設的な議論ができるはずです。

・ちなみに、１〜１３’まですべてに同意するのなら、その治療の効果を示すには体験談では不十分で二重盲検法による治験が必要だということに同意することになりますので、反論する以上はそのどれかに反対しているはずです。

・一般論としては統計的手法の有効性を認めながら、今の特定の事例については特別なのだ、という人もいるでしょうし、統計的手法の有効性自体を否定する人もいるでしょう。そこの違いにも注意をはらう必要がありますので、チェックリストでは多くの項目で「一般論」と「今問題になっている治療について」を分けてあります。

・体験談は証拠にならないと思う人の側もいろいろな方がいらっしゃるでしょう。ここではわたしからみて一番標準的だと思う議論にそってチェックリストを作ってみましたが、「自分の考える議論の道筋とは違う」という方は自分なりのチェックリストを作ってみてください。

・このチェックリストは話をはじめるための出発点だと思ってください。たとえば、体験談で反論する側が「一般論として４は認めるけど、この特定の場合については、こんなに劇的に治るなんてことが偶然だとは考えられないから、体験一つで十分。つまり4'は認めない」と言う場合、体験談は証拠にならないと思う側は「じゃあ、同じくらい劇的なことが偶然起きたりしないものなのか一緒に考えてみましょう。」と答える、といった形で会話をすすめてみてください。

・このリストを出発点としてお話をはじめても、最終的に意見の一致を見ると期待されない方がいいと思います。わたし自身の体験でも、他の方の議論を見ていても、およそこの種の対立が話し合いで解消したのを見たことがありません。（この点については、統計をとったわけでも実験をしたわけでもないのであくまで体験談以上のものではありません。）

・意見の違いが解消されない一番大きな原因は、あいまいさの残る問題について、誰にどれだけ立証責任があるのか、についての考え方の違いです。７と７’でその問題をとりあげていますが、同じような立証責任についての認識のずれは、他のさまざまな項目についても同様に生じることがありえます。そして、この部分についてのずれを解消するのは容易なことではありません。

・ただ、このリストを使えば、お互いの違いが何に由来するかをはっきりさせることはできるかもしれませんし、少なくともお互いにそれをはっきりさせようとする努力をすること自体はできると思います。

・そうした努力をお互いすることによって、少なくとも、「あんな理不尽なことを言う奴は誰かからお金をもらっているに違いない」「こんなこともわからないとか洗脳されているに違いない」といった結論に短絡的にとびつくことは避けられるんじゃないかと期待します（お互いに）。もちろん世の中にはお金をもらっている人も洗脳されている人もいるとは思いますが、その結論を出すのは他の可能性が全部否定されてからでも遅くはないでしょう。