データの再分析

サロウェイから送られた情報と『反逆者に生まれて』のペーパーバック版の巻末の註釈に彼が書き加えた文章から、彼がどのようにエルンストとアングスト調査の再分析を行なったのか、かなり理解できるようになったそうです。

まず第一に彼は、いかなることに関してもエルンストとアングストの言葉を鵜呑みにはしなかったと言います。彼が作った表の下に記された註釈は「これらのデータはエルンストとアングストを基に作成」という文言ではじまっていたのですが、サロウェイは確かにその多くにおいて基になっている論文にまでさかのぼって、彼なりの解釈をしていたのです。それが正しく統制されているのか否か、有意な効果があるのか否か等に関する彼の見解は、しばしば、エルンストとアングストのそれとは異なっていたそうです。サロウェイが再査定するとほとんどの場合、サロウェイの説に好都合な結果が増加し、出生順序による影響は存在しないという結果が減少するにいたったそうです。エルンストとアングストは出生順位による影響はないという方向に偏向していたと、サロウェイは考えているようです。

他にも被験者数や実施されたテスト数が不明瞭、もしくは自説には有効ではない結果が見いだされているという理由でサロウェイによって除外された調査もあったそうです。

サロウェイは、自らが行なったエルンストとアングストのデータの再分析のことを「メタ・アナリシス」と呼びました。間違いを正し、不備のあった研究を除外することはメタ・アナリシスでは合法的な手段です。ところが、その次から正規の道をはずれてしまいます。エルンストとアングストはもしある調査において性格の複数の側面にかかわる結果が得られた場合、その同じ調査を何度も登場させました。ところが彼らはこうした重複を考慮せずに統計分析を行なっていたのです。「調査」という言葉を「結果」と定義し直すことで、サロウェイは同じ調査を重複させて登場させるというこの手法をさらに応用させました。ある被験者集団に性格テストを実施し、第一子がそれ以降の子どもたちより従順で、責任感が強く、敵対心をいだきやすく、不安で独断的であるという結果が出れば、サロウェイの再定義によれば、その調査は彼が望むような五つの結果を出しているので、五つの「調査」が行なわれたと考えることができることになります。

彼が提供してくれた情報から判断するかぎり、サロウェイの調査に含まれる実際の調査数は多くても116でしょう。それら116調査における被験者数はおよそ7万5000名。サロウェイの著作における、もし正しく統制されていないものを除外するとしたら「196の統制ずみ調査が、エルンストとアングストの調査に残ることになり、12万800名もの被験者がかかわっていたことになる」という言い方は誤解を招きやすいとハリスは言います。

それでも被験者数7万5000名はかなりの数です。しかしサロウェイが実施した統計分析は被験者数12万800名を想定したものです。分析を行なうためには、有利な結果はそれぞれがコインをはじくときのように他のすべてから独立していなければなりません。ある特定のサンプルに対する複数の測定値はそれぞれ独立しているとはいえないのです。なぜならそのサンプルの特異性は、たとえば神経質であることの割合は第一子に並外れて大きいなどは、同じサンプルの他の測定値を左右することになるからだと言います。統計学者が「五パーセント水準」で有意であると呼ぶ一つの結果を引き起こしたサンプルは、五パーセント以上の可能性で他の結果も引き起こすのだというのです。

データの再分析” への8件のコメント

  1. やはり統計分析は難しい、そんな感覚を抱きます。それにしても、学者はデータを分析し、さらに再分析し、なお再々分析して結論に至ろうとしているようです。あることを立証すると即座に反証があらわれ、その反証も立証であり、また反証される。無限に続いていくかのようです。そして、私たちはその時々において是とされるテーゼを信じています。現在「子育て神話」と呼ばれる説もかつては(あるいは今もか)ほぼ絶対視され疑問を抱くことも憚られる、そんな説であったでしょう。しかし、様々に反証され、現実にそぐわない説とする向きもあります。サロウェイの説もその我田引水的手法においてハリス女史の鋭い突っ込みに会います。その丁々発矢たるやり取りは難解な内容の中にも何かワクワクした気持ちにさせてくれますが、しかし内容の詳細を理解しようとすると前回のコメント同様、???となります。何とも情けないですね。

  2. まるで推理小説のようで、神話が解き崩されていく様子を目の当たりにするかのようです。
    しかし逆を言えばそれだけこの説のもった力は強大だったということでしょう。クレームや、SNS上のいわゆる炎上など、取り用によってはそれだけ興味の対象であるということですし、実際にそう考える人も少なくないようです。愛の反対が無関心というのは、間違いではないかもわかりませんね。
    そうして崩れていく子育て神話を目で追いながら、革命というのは案外こういうものなのかもわからないと思えてきます。時代は、新しい子ども観を、子ども集団をきっと受け入れてくれるだろう、と思います。

  3. 内容を見ていると、研究というものがどのように行われているのかということを調べる調査というものも必要になってくるのかなと感じました。保育施設でいう「一般検査」「第三者評価」のように、意味ある調査になっているのか、仮説に近づかせようとする調査に偏っていないかなど、研究中に色々注意を受けることに多少の煩わしさがでるかもしれませんが、正しい研究を行うためには重要なことかもしれません。また、今後研究データの見直しが盛んに行われ、「常識」「通説」「刷り込み」などに切り込んでいける研究が進んでいくようにも感じました。

  4. 〝いかなることに関してもエルンストとアングストの言葉を鵜呑みにはしなかった〟という姿勢で臨むことは言葉で書くと簡単ですが、難しいものであるように感じました。先に膨大なデータを基にした研究が行われ、そのデータに基づいた結果を突きつけられたら「そうなんだ」と単純に思いそうです。ですが、そうならないためには信念のような自分の中に一本スジが通っていることが求められるのでしょう。前回も書きましたが、研究も人間関係も同じようなことが大切になってきそうです。

  5. いかなることに関しても言葉を鵜呑みにはしない、口に出すのは簡単ですがとても難しいことですよね。なぜなら鵜呑みにしてしまった方が楽だからです。鵜呑みにするのとしないのでは研究や調査のペースはあきらかに変わってくるでしょう。ただそれでも鵜呑みにしないと決めているところになにか信念のようなものを感じます。例えそれが自分がもっとも信頼すること上司の言葉であっても1%は疑い最後は自分で確かめるという考え方が自分のためにもその研究のためにも大切なのでしょう。

  6. 研究、調査というのは難しいですし、統計によるデータというものに自分自身も惑わされがちになることは多くあります。保育において、様々な検証結果を説明するにあたって参考文献を使う場合、確かに自分の結果に寄せたものを使うことはありますね。分析結果を覆すことやそこに疑問を持つことすら、自分自身あまりなく、その結果を鵜呑みにしてしまうことのほうが多いように思います。しかし、藤森先生ではないですが、「実際の子どもを見るとそんなことないのにな」と思うこともしばしばあり、決して研究結果がすべて正しいというのではないのかもしれません。ただできることは新しい理論や分析が出てくる中で、見抜く力や察知する力は持っていたいと思います。そのためには自分自身もしっかりと目の前の保育に向き合わなければいけないのでしょうね。

  7. 内容をなかなか理解することができずに読み終わりました。よく理解していないのに、コメントをするというのもなんですが、分からないなりにやっていきたいと思います。このような内容を知ると、研究というものがよく分からなくなってきます。研究結果というものは=正しいものである。という認識をついつい抱いてしまうのですが、必ずしもそうではないのではないかということをこのブログの内容から感じました。数字は絶対であるということが言われるかもしれませんが、人の思惑のようなものが乗っかってしまうとその数字も客観的なものではなくなってしまいますね。

  8. 学者という職業は本当に大変というか、一つの理論を立証するために、膨大な数のデータを取り、統計し、上手くいかなければ再度検証する・・・本当に好きじゃないと続かない職業のような気がします。こうした作業のおかげで構築された理論もあり、社会が成り立っている部分もあるのでしょう。私たち「保育」も過去の偉人達の理論によって成り立っている部分もありますが、それが時代によっては合わない部分も実際にあると思います。そうした部分を変に意地になって貫くのではなく、まずは目の前の子ども達の姿、そして現状の子どもを取り巻く環境、さらには先を見据えた考え方を素直に受け入れる事が大切だと改めて思いました。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です