データの再分析

サロウェイから送られた情報と『反逆者に生まれて』のペーパーバック版の巻末の註釈に彼が書き加えた文章から、彼がどのようにエルンストとアングスト調査の再分析を行なったのか、かなり理解できるようになったそうです。

まず第一に彼は、いかなることに関してもエルンストとアングストの言葉を鵜呑みにはしなかったと言います。彼が作った表の下に記された註釈は「これらのデータはエルンストとアングストを基に作成」という文言ではじまっていたのですが、サロウェイは確かにその多くにおいて基になっている論文にまでさかのぼって、彼なりの解釈をしていたのです。それが正しく統制されているのか否か、有意な効果があるのか否か等に関する彼の見解は、しばしば、エルンストとアングストのそれとは異なっていたそうです。サロウェイが再査定するとほとんどの場合、サロウェイの説に好都合な結果が増加し、出生順序による影響は存在しないという結果が減少するにいたったそうです。エルンストとアングストは出生順位による影響はないという方向に偏向していたと、サロウェイは考えているようです。

他にも被験者数や実施されたテスト数が不明瞭、もしくは自説には有効ではない結果が見いだされているという理由でサロウェイによって除外された調査もあったそうです。

サロウェイは、自らが行なったエルンストとアングストのデータの再分析のことを「メタ・アナリシス」と呼びました。間違いを正し、不備のあった研究を除外することはメタ・アナリシスでは合法的な手段です。ところが、その次から正規の道をはずれてしまいます。エルンストとアングストはもしある調査において性格の複数の側面にかかわる結果が得られた場合、その同じ調査を何度も登場させました。ところが彼らはこうした重複を考慮せずに統計分析を行なっていたのです。「調査」という言葉を「結果」と定義し直すことで、サロウェイは同じ調査を重複させて登場させるというこの手法をさらに応用させました。ある被験者集団に性格テストを実施し、第一子がそれ以降の子どもたちより従順で、責任感が強く、敵対心をいだきやすく、不安で独断的であるという結果が出れば、サロウェイの再定義によれば、その調査は彼が望むような五つの結果を出しているので、五つの「調査」が行なわれたと考えることができることになります。

彼が提供してくれた情報から判断するかぎり、サロウェイの調査に含まれる実際の調査数は多くても116でしょう。それら116調査における被験者数はおよそ7万5000名。サロウェイの著作における、もし正しく統制されていないものを除外するとしたら「196の統制ずみ調査が、エルンストとアングストの調査に残ることになり、12万800名もの被験者がかかわっていたことになる」という言い方は誤解を招きやすいとハリスは言います。

それでも被験者数7万5000名はかなりの数です。しかしサロウェイが実施した統計分析は被験者数12万800名を想定したものです。分析を行なうためには、有利な結果はそれぞれがコインをはじくときのように他のすべてから独立していなければなりません。ある特定のサンプルに対する複数の測定値はそれぞれ独立しているとはいえないのです。なぜならそのサンプルの特異性は、たとえば神経質であることの割合は第一子に並外れて大きいなどは、同じサンプルの他の測定値を左右することになるからだと言います。統計学者が「五パーセント水準」で有意であると呼ぶ一つの結果を引き起こしたサンプルは、五パーセント以上の可能性で他の結果も引き起こすのだというのです。