「研究で証明された」効果は、追試すると半分になる
目次
心理学の専門誌に載った論文100本を、別の研究者たちがもう一度やり直しました。
元の論文では、97本が「統計的に意味のある効果あり」でした。やり直して同じ判定になったのは36本です。効果の大きさも、平均すると元の約半分に縮んでいました。
2015年に科学誌『Science』に発表された、Open Science Collaborationという研究者グループの再現プロジェクトの結果です。
この数字を見て「心理学者はデタラメをしていたのか」と思うのは、少し早い。縮みの原因として研究者たち自身が挙げているのは、研究室の中の出来事より、研究が論文になって世に出るまでの選別です。
世に出る研究は、「効果が出た研究」に偏っている
私たちが目にする研究は、行われた研究の全体ではありません。結果が出たものほど、世に出やすくなっています。
これを実際に数えた研究があります。スタンフォード大学のマルホトラ氏らのチームが、2014年に『Science』で発表したものです。
対象は、全米科学財団が支援する「TESS」というプログラムで行われた221件の実験です。アメリカの成人の代表サンプルにアンケート形式の実験を行える仕組みで、どの研究も実施前に計画の審査を通っています。行われた研究の全体がわかっているので、どれが論文になり、どれが消えたかを追えました。
結果ははっきりしていました。
- 仮説を支持する強い結果：約60%が論文として出版された
- 効果が見られなかったヌル結果：出版されたのは約20%
- ヌル結果のうち、論文として書かれることすらなかったもの：65%
実施された研究の2割強がヌル結果だったのに、出版された論文の中でヌル結果を報告したものは1割に届きませんでした。
興味深いのは、選別が起きていた場所です。いったん論文として書かれた研究に限ると、結果の強さと出版の有無にはっきりした関係は見られませんでした。差がついていたのは、雑誌の編集部より手前、研究者自身の机の上です。
理由を詳しく答えた研究者26人のうち15人は、ヌル結果には論文になる見込みがないと考えて、プロジェクトを手放していました。
誰も嘘をついていません。それでも、世に出る研究の束は偏ります。
選別を通ると、効果は「大きめ」に記録される
効果が出た研究だけが残ると、残った研究の効果は実際より大きく見えます。追試で縮むのは、その上振れが剥がれるからです。
仮の例で考えてみます。
たとえば、ある研修に「少しだけ」効果があるとします。20の研究チームが、それぞれ少人数でこの効果を測りました。人数が少ないと、測定値は偶然で大きくぶれます。大きく出たチーム、ほぼゼロのチーム、逆向きに出たチームが入り混じります。
このうち「はっきり効果あり」と言えるのは、たまたま大きく出たチームだけです。そのチームが論文を書き、残りは引き出しにしまう。すると世に出る数字は、20個の測定のうち上振れした端のほうだけになります。
同じ研修を大人数で測り直せば、偶然のぶれは小さくなり、本来の「少しだけ」に近い値が出ます。これが追試での縮みです。最初のチームは、何も不正をしていません。
2015年の再現プロジェクトの著者たちも、サンプルの小さい研究と、ポジティブな結果を好む出版バイアスが重なると、文献上の効果量は上振れすると書いています。追試側は分析計画を事前に登録し、結果にかかわらず全件を報告したので、この偏りをほとんど受けません。
同じ傾向は、さらに権威のある雑誌でも確認されています。2018年、経済学者のカメラー氏らは、2010年から2015年に『Nature』と『Science』に載った社会科学の実験21本を、平均して元の約5倍の人数で追試しました。
同じ向きの有意な効果が出たのは13本（62%）で、効果の大きさは平均して元の約50%でした。著者たちの推計では、本当に存在する効果に限っても、大きさは元の7割ほどにとどまっています。
論文を直接読んでも、「位置」は見えない
研究1本は、それが元の論文であっても、偏った束から1つ取り出した観測です。
軍事アナリストの小泉悠さんは『情報分析力』で、一次資料を盲信する危うさを指摘しています。政府の公式文書や当事者の発言が示すのは「相手がそう主張している」という事実で、客観的な真実とは限りません。他の資料やデータと照らし合わせ、先行研究の中でその情報の「位置」を描いて、はじめて分析になる。そういう考え方です。
小泉さんが扱っているのは安全保障の資料ですが、論文にもそのまま当てはまると私は考えています。原文を読むのは、孫引きのネット記事で済ませるよりずっと良い習慣です。ただ、原文に書かれた効果量は「この研究ではこう出た」という1つの記録で、出版という選別をくぐり抜けた後の数字でもあります。
位置を描く道具として、中室牧子さんと津川友介さんの『「原因と結果」の経済学』が紹介しているのが、エビデンスの階層です。単なる相関より、ランダム化比較試験のほうが因果を強く示します。そして複数のランダム化比較試験をまとめたメタアナリシスが、最も信頼性が高いとされます。同書は、都合のいい論文だけを拾うチェリー・ピッキングにも注意を促しています。
1つ補足を加えます。メタアナリシスも、集めた材料が出版済みの論文に偏っていれば、その偏りを引き継ぎます。そこで研究者たちは、結果が出る前に計画を登録する仕組みで、選別の手前に網を張るようになりました。
その効果をうかがわせるデータがあります。結果が出る前の計画段階で掲載を決める「登録報告（Registered Reports）」という論文形式です。シェール氏らが2021年に心理学の論文を比べたところ、最初の仮説が支持された割合は、通常の論文で96%、登録報告で44%でした。
扱う仮説の選び方など他の違いもありうるので、この差をすべて出版バイアスのせいだとは言い切れません。それでも、選別の手前で網を張ると「効果なし」がこれだけ普通に出てくる、という目安にはなります。
研究1本の数字は、割り引いて読む
「研究で証明された」と紹介される数字は、追試やメタアナリシスで確かめられるまで、上振れを含んでいる前提で読むのが妥当です。
誤解：有名誌に載った研究の数字は、そのまま使える → 先の2つのプロジェクトでは、追試の効果は平均して元の約半分でした。分野や研究によって縮み方は違いますが、少なめに見積もるほうが外れにくい。
正しいアプローチ：数字を使う前に、その研究の「位置」を確かめる → 2015年の再現プロジェクトのデータからは、次のような研究ほど再現しにくい傾向が読み取れます。
- 結果がぎりぎり有意だった研究
- p値（効果がないと仮定したとき、偶然これほどの差が出る確率）が0.04を超えていた研究では、追試に成功したのは11本中2本（18%）。0.001未満だった研究では32本中20本（63%）
- 意外性の大きい研究
- 驚きの大きい効果ほど、一部の指標で再現されにくかった
- 追試もメタアナリシスもない研究
- 1本だけの結果は、上振れを確かめる手段がない
5分でできることもあります。次に「研究によると」と書かれた記事を見かけたら、研究名と「追試」または「replication」で検索してみてください。追試が見つかれば、元の数字がどこまで残ったかがわかります。見つからなければ、その数字は「まだ1本の観測」として扱えば足ります。
同じ仕組みは、仕事の中でも働きえます。たとえば、いくつかの施策を小さく試し、いちばん効いた施策の数字で全社展開の効果を見積もる場面です。選ばれた数字は、偶然の上振れを含んだ勝ち残りの値でもあります。展開後の効果は、最初の数字より小さめに見込んでおくと、計画が現実からずれにくくなります。
おわりに
この話は、科学を疑えという話ではありません。
2015年の再現プロジェクトの論文は、この取り組みで真と確定した効果も、偽と確定した効果もゼロだと結んでいます。1本の研究で決着がつくことはほとんどなく、追試を重ねて不確かさを少しずつ減らしていく。著者たちは、これを科学が本来の働き方をしている姿だと書いています。
研究1本の数字を半分に割って読むのは、科学が自分自身に向けている読み方を、私たちも借りることです。
この記事で参考にした本
『情報分析力』小泉悠 → 一次資料は「相手がそう主張している」記録にすぎず、他の資料と照らして位置を描いてはじめて分析になる、という視点
『「原因と結果」の経済学』中室牧子、津川友介 → ランダム化比較試験とメタアナリシスを上位に置くエビデンスの階層と、チェリー・ピッキングへの注意
合わせて読みたい
『「原因と結果」の経済学』中室牧子さん・津川友介さん｜そのデータ、原因じゃなくてただの偶然かも この記事で触れたエビデンスの階層を、ランダム化比較試験から回帰分析まで順に解説した本の要約です。研究の強さを見分ける物差しが手に入ります。
「相関」を見て「原因」だと思い込む、構造的な理由 研究1本を割り引く理由が出版の選別なら、こちらは相関を因果と取り違える理由を扱っています。数字を読むときの2つ目の落とし穴として合わせて読めます。
意見を変えられる人が、いちばん正確になる 割り引いて読んだ数字を、新しい追試が出たときにどう信念へ反映させるか。ベイズの考え方で更新の手順を整理しています。