本文へスキップ
ブクドリ | BOOK DRIP
戻る

『異端の統計学 ベイズ』シャロン・バーチェ・マグレイン氏|250年迫害された数式が、世界を救った

AI・テクノロジー ✍ シャロン・バーチェ・マグレイン氏
約6分で読めます

※ 本記事はアフィリエイトリンク(Amazonアソシエイト)を含みます。

『異端の統計学 ベイズ』
目次

迷惑メールの仕分け、ネット検索、通販の「おすすめ」。これらの裏では、同じひとつの数式が静かに働いています。

その名はベイズの法則。今やAIの土台です。

ところがこの数式、250年もの間「主観的で非科学的だ」と罵られ、統計学の世界から追放されかけていました。一流の学者に嫌われ、軍事機密として隠され、それでも現場でしぶとく生き延びた。

本書は、その数奇な逆転劇を描いた歴史ノンフィクションです。著者のシャロン・バーチェ・マグレイン氏は、数式をほとんど使わず、人間ドラマとしてベイズの200年を蘇らせます。

私がまず惹かれたのは、これが「統計の教科書」ではなく「執念と対立の群像劇」として書かれている点でした。数式が苦手でも、登場人物の人生を追っているうちに、いつのまにかベイズの核心に触れている。そういう作りになっています。

確率とは「信念の尺度」である、という発想の転換

本書を貫く問いは、突き詰めれば一つです。不確かな状況で、人はどう合理的に決断するのか。経済学者ケインズが残したとされる「事実が変わったのであれば、私は意見を変えます。あなたは、どうなさいますか?」という一言が、この本の精神をそのまま言い当てています。

正統派の統計学者たちは長く「頻度主義」を信じていました。確率とは、同じ条件で無限に試したときに起きる回数の割合だ、という立場です。サイコロやコイン投げのように、客観的なデータからしか確率は導けない、と。

これに対しベイズ派は、確率を「個人が持つ確信の度合い」と再定義しました。仕組み自体はむしろ拍子抜けするほど素朴です。

まず新しいデータを得る前の見積もり(事前確率)を置く。次に、ある仮説が正しいとしたとき観察されたデータがどれだけ起こりやすいか(尤度)を掛け合わせる。

そうして更新後の確率(事後確率)を得る。そしてこの事後確率が、次の判断の出発点になる――この循環がベイズの全体像です。

身近な例に置き換えると分かりやすい。初めて行く店が美味しいかは分からないので、最初は「五分五分」と置く。そこへ「いつも行列ができている」という情報が入れば、見立てを「八割方うまい」へ引き上げる。経験から学ぶというごく当たり前の営みを、そのまま数式に落とし込んだだけなのです。

それなのに、なぜ250年も異端とされたのか。理由は「主観を持ち込むから」の一点でした。情報がないとき全ての可能性を等しく扱う仮定を、反対派は「無知を定量化しているだけだ」と切り捨てたのです。ある反ベイズ派が残した罵倒は、本書のなかでも特に痛烈です。

「ベイズは、統計におけるコカインのようなものだ。魅惑的で常習性があり極度に破壊的である」

ただ私が公平だと感じたのは、本書がこの主観性批判への反論まで丁寧に拾うところです。出発点の事前確率が人によって違っても、データが十分に集まればベイズ更新を経て同じ結論へ収束していく。

地球温暖化やたばこと肺がんで科学者の見解が一致していったのと同じ理屈です。つまり「完全な客観性」という頻度主義の理想こそ幻想だ、と著者は静かに切り返します。

ここまで読むと、コカイン呼ばわりした側の足元のほうが危うく見えてくる。論争の構図がきれいに反転する瞬間です。

理論家に嫌われ、現場で愛された二重生活

私がこの本でいちばん興奮したのは、学者に追放されている間も、ベイズが現実の難問を次々に解いていた、という「二重生活」のくだりでした。

象徴的なのが第二次世界大戦です。イギリスの数学者アラン・チューリングは、ナチス・ドイツの暗号機「エニグマ」の解読にベイズの手法を持ち込みました。

文字配列の事前知識と、暗号文から漏れたわずかなヒントをベイズ的に組み合わせ、天文学的な数の設定候補を一気に絞り込んでいく。検証すべきホイールの設定は336通りからたった18通りへと激減し、解読の現実味が一気に増しました。

理論の世界では「非科学的」と退けられていた数式が、最前線では国家の命運を左右していたわけです。

ところが、その功績は戦後も長く最高機密とされます。だからベイズは正当に評価されず、頻度主義が主流に座り続けた。生きるか死ぬかの現場で結果を出した手法が、機密の壁ゆえに学問の表舞台では「負け続けた」。歴史の皮肉がここにあります。

医学の場面も鮮やかです。1950年代、統計学者ジェローム・コーンフィールドは喫煙と肺がんの因果を示す際にベイズの論理を使い、「がんは遺伝のせいだ」と主張する大物フィッシャーへ反撃しました。

もしその遺伝説が正しいなら、関係する遺伝子は1日2箱吸う人に60倍も多く含まれていなければ計算が合わない――と、相手の前提そのものの不整合を突いたのです。

権威に数字で立ち向かう、この一節だけでも読む価値があります。

戦争や医学のほかにも、海に沈んだ水爆や行方不明の原子力潜水艦スコーピオンの捜索、ケネディ当選をいち早く当てた1960年の選挙速報、ビジネスの需要予測と「決定木」の誕生まで、ベイズが舞台裏で活躍した事例は枚挙にいとまがありません。共通するのは「完璧な情報を待っていられない実務家」が、粗くても使える確率を武器に前へ進んだ、という構図です。

計算の壁を壊した一手と、過信への戒め

これだけの実績がありながら、ベイズには長く致命的な弱点が残っていました。変数が増えるほど積分計算が爆発的に膨らみ、人間の手にはとても負えなくなる。アイデアは正しいのに、計算が追いつかない。理論家がそこを突くのも無理はありませんでした。

転機は1980年代後半です。アラン・ゲルファンド氏とエイドリアン・スミス氏が、画像処理で使われていた「ギブス・サンプリング」に着目し、ベイズの厄介な積分を大量の単純な反復計算で置き換えられると気づきます。

マルコフ連鎖モンテカルロ法(MCMC)の登場です。あとはコンピュータにベイズの「クランク」を回させるだけ。長年そびえていた計算の壁は、こうして一気に崩れました。

そこから先は、私たちのよく知る世界です。スパムフィルタ、Google検索、AmazonやNetflixのおすすめ、機械翻訳、音声認識、自動運転、DNA解析。

現代テクノロジーの根幹を、いまやベイズが支えています。さらに、人間の脳そのものが、不確かな感覚を過去の経験で補うベイズ的な推論機械として働いているのではないか――そんな研究まで進んでいる。

250年前に牧師トーマス・ベイズが机にしまい込み、発表されないまま遺稿となった数式が、ここまで来たのです。

ただ、本書がベイズ礼讃一色で終わらないところに私は強く好感を持ちました。著者は過信をはっきり戒めます。

「ベイズ派の技法をすべて捨ててしまうのは本物の過ちだが……ベイズ派の技法をありとあらゆるところで使おうとするのはそれ以上に大きな過ちだ」

どんな手法にも適用範囲がある、盲信は禁物だ、という冷静な釘刺し。逆転劇の高揚のあとにこの一文を置けるからこそ、本書の語りは信頼できます。

「数式」ではなく「姿勢」が残る本

読み終えて私の中に残ったのは、技術の解説ではなく、ひとつの姿勢でした。完璧な情報など揃わない。それでも、粗い推測から始めて、証拠が来るたびに直していけばいい。最初は当てずっぽうでも、更新を続ければ真実に近づける。これは統計の話というより、生き方の話だと感じます。

しかもこの姿勢は、専門家でなくても今日から真似できます。何かを判断する前に「今いちばんありそうな見立て」とその確からしさを数字で書き出す。事実が予想を裏切ったら、固執せず「では見立てをこう変える」と声に出して更新する。

そして判断のたびに、自分が無意識に置いている前提をひとつ言葉にしてみる。確率を0か1に決めつけた瞬間、人はどんな証拠が来ても考えを変えられなくなる――本書が紹介する「クロムウェルの法則」が突くのは、まさにこの落とし穴です。

完璧なデータが揃うまで動けない人。予想が外れても最初の見立てに固執してしまう人。数式を見ると拒否反応が出るけれどAIの考え方は知りたい人。そういう人にこそ、この本は効きます。

長い迫害の歴史を一行で逆転させる著者の最後の決め台詞は、あえてここには書きません。読み終えるころには、不確実な世界との付き合い方そのものが、少し変わっているはずです。


合わせて読みたい

『「原因と結果」の経済学』中室牧子×津川友介 データに騙されないための思考法を扱った一冊。本書が描く「証拠で考えを更新する」姿勢を、相関と因果の区別という具体的な武器に落とし込みたい人におすすめです。

『確率思考の戦略論』森岡毅 マーケティングを確率と数学で捉え直す実践書。ベイズの歴史で感じた「不確実性を確率で扱う」発想を、ビジネスの現場でどう使うかへ橋渡しできます。

なぜ「専門家」の予測は、広く知る人より外れるのか 専門家の自信と予測精度のズレを論じたコラム。本書でフィッシャーら権威がベイズを退けた構図と重なり、「権威より更新」の大切さを別角度から味わえます。


この記事をシェア:

次に読む一冊

同じテーマを、もう一段深く考えるための一冊です。

AI・テクノロジー『外資系コンサルのデータ分析技法』アクセンチュア データ&AIグループ|AIに丸投げするほど、答えはズレていく『外資系コンサルのデータ分析技法』(アクセンチュア データ&AIグループ)の要約。ChatGPTに難しい仕事を任せたら、かえって精度が下がった。