データの活用

さらに深刻な問題は、サロウェイの算出法では有意な差はないという結果数を大幅に過小評価してしまうことだと言います。彼の統計値は次のような仮説に基づいています。もしコイン100枚を196回投げ、そのうち72回で表が出た割合が明らかに50パーセント以上であれば、結果全体が偶然である可能性はかなり低くなる、すなわち何かが表に出るように作用しているに違いないということになるという仮説があるそうです。しかし、もし実際には196回より多くコインを投げ、思惑どおりの結果が現れなかった場合には、「これは勘定に入れない」としていたらどうなるのでしょうか。

研究者が多数の被験者に対してテストを実施して、一回目にデータを考察したときに有意な結果を見いだすことができなければ、彼らはしばしばハリスが以前言っていたように「分けるが勝ち」手法と呼んだ手段を講じることになります。すなわち、データをいくつかの方法で分け、有意な作用をもたらす被験者のサブグループを見つけだす方法です。このような手法は、公表に適した結果が出る頻度を上げるだけではありません。公表する結果を研究者の予想に沿うようにゆがませてしまうのです。なぜなら、研究者が想定する優位なサブグループの効果は公表されますが、違いが認められない、もしくは意図に反する結果をもたらした分析結果は公表されにくいからです。

データには、このような意図があるのですね。最近、「情報リテラシー」についての教育が叫ばれています。それは、情報過多の時代、その内容を正確に読み取る力をつけようというものです。新しい小学校学習指導要領の算数の分野でも、新しく「データの活用」という項目が掲げられ、その趣旨として、文科省は「社会生活などの様々な場面において,必要なデータを収集して分析し,その傾向を踏まえて課題を解決したり意思決定をしたりすることが求められており,そのような能力を育成するため,高等学校情報科等との関連も図りつつ,小・中・高等学校教育を通じて統計的な内容等の改善について検討していくことが必要である。」と書かれています。ハリスが言うように、過去のデータを「メタ・アナリシス」と呼ばれるような再分析する必要がありそうです。

エルンストとアングストが考察した調査の多くでは「分けるが勝ち」手法の分断の跡がはっきりと確認できるそうです。出生順位の有意な影響は男の子では見られますが、女の子では見られないか、もしくはその逆だったそうです。また、中流階級では認められたそうですが、労働者階級では認められなかったそうです。また小家族では認められたそうですが、大家族では認められなかったそうです。もしくは高校生では見られたそうですが、大学生の被験者では認められなかったなどなどでした。研究者はデータを類別する巧妙な方法を思いついたのだとハリスは指摘します。ある研究では、「第一子」を「特定の性別の第一子」と定義した場合にのみ出生順位効果が認められたそうです。別の研究では不安傾向の強い被験者においてのみ出生順位効果が認められたそうです。ここであげた例はすべてサロウェイの説に有利なものとしてハリスが記した52の結果から取ったものだそうです。

専門的にはかかる結果は「相互作用」と呼ばれています。相互作用が意味をもつためには、それが繰り返し出現することが要求されます。ある調査にのみ出現した相互作用には意味はないのです。それはたんに望ましい結果を求めるさらなるチャンスを研究者に与えるだけのことだとハリスは言います。すなわち、100枚のコインを投げても表が相当数でなければそれを報告しなければよいだけのことだというのです。