何度でも振り直せるサイコロを、自由だと呼ぶ人はいない。だが仕事や人生の選択になると、いつでもやり直せる状態こそ身軽さだと錯覚してしまう。選択肢を減らさないまま、決めずに持ち続けることを賢さだと思い込む。
岡野原大輔さんの『ヒトとAI』は、この錯覚を壊すところから議論を始める。AI開発の最前線にいる著者が、死と感情という一見AIと縁遠いテーマを、知能の設計原理として語り直す岩波新書だ。
読み進めるほど、AIの話のはずが自分の決め方の話にすり替わっていく。
「AIは判断できるが、責任は負えない」——本書の中心主張
本書の主張は一文で足りる。AIは判断できるが、責任は負えない。
技術がまだ未熟だから「負えない」のではない、と著者は釘を刺す。責任が生まれるには、死や痛みのような取り返しのつかなさ——有限であることそのもの——が前提になる。
ところがAIは、電源を落としても保存したモデルを別の場所で立ち上げ直せば何度でも再開できてしまう。終わりという構造が、そもそも組み込まれていない。
「自由とは、選択肢の多さではなく、選んだ結果を自分のものとして引き受ける重さの問題だ、と本書では考える。」
「責任とは、正しい判断をしたかどうかでも、結果が良かったかどうかでもない。責任とは、結果を引き受ける主体であり続けることを指す。」
いつでも選び直せる仮の状態は自由ではなく、ただの試行にすぎない。不可逆な選択に自分を委ね、結果を引き受ける重さの中にこそ主体が立ち上がる、という定義の組み替えが本書の出発点になっている。
この一冊が面白いのは、議論を精神論のまま放置しない点だ。著者はここから、組織をどう作り直すかという実装の話へ踏み込んでいく。ハーネス、責任をあらかじめ割り振っておく仕組み、監査・変更・停止という運用の手順まで、具体的に設計してみせる。AIを鏡にしてヒトの輪郭を描き直す本であると同時に、AIガバナンスの実務書という顔も持っている一冊だ。
理解が後から追いかける世界と、AIの理解の五分解
そもそもの出発点は、計算機という存在そのものに起きた変化にある。以前の計算機は、人間が組んだ手順をなぞるだけの機械だった。ところが機械学習の登場で、データという経験を積み重ねながら自分でルールを見つけ出す機械へと質が変わった。
犬と猫を見分ける基準のように、うまくできるのに言葉で説明しきれない領域、いわゆる暗黙知まで扱えるようになったのが大きい。
学習のさせ方にはいくつも種類がある。人間が用意した正解をなぞらせる教師あり学習、試行錯誤の末に得られる報酬を積み増していく強化学習、データの一部から残りを推測させて規則を掴ませる自己教師あり学習。
ここ数年は、何を良しとするかを判定する側の報酬モデル自体を学習させる動きも出てきている。桁違いの規模のモデルを一度仕込むだけで数千から数十万台のGPUが要り、消費する電力は日本の数十万世帯分にのぼる、といった数字も本書はきちんと示している。
この「学習する計算機」が現れたことで、物事の順番がひっくり返った。かつては現象を理解し、規則を立ててから計算機に実行させていた。いまは逆で、AIは理由を言葉にできないまま答えを返し、しかもその答えはたいてい当たっている。
著者はこれを「理解する前に答えが先に来る世界」と呼ぶ。ノーベル化学賞に輝いたAlphaFoldは、アミノ酸がなぜその形に落ち着くのかという物理化学的な理屈を脇に置いたまま、配列だけから立体構造を高い精度で言い当てるところまで到達した一例だ。
では、AIは理解していると言えるのか。この問いに本書は白黒をつけない。一般化、因果の把握、反実仮想、転移と頑健性、説明可能性という5つの軸に切り分けて評価していく。
ひとつひとつを見れば、いまの大規模モデルはすでにどの軸でも高い水準に達しており、ひとことで「理解していない」と切って捨てるのはむしろ不正確だというのが著者の見立てである。
死と感情という、ヒトの設計原理
ではヒトとAIの理解は何が違うのか。著者が持ち出すのは「地に足がついているかどうか」という基準だ。熱いケーキに触れた経験があるからストーブにも近寄らない。
ヒトの抽象化には、痛みや恐怖といった感情と身体の感覚という重しが必ずぶら下がっている。AIの側にそうした重しはない。生きるか死ぬかの危機もなく、ただ単語や画像パターンが一緒に現れる確率を計算しているにすぎない。
もっともらしい嘘が出てくるのは、データが足りないからでも不具合でもなく、この根本的な違いのせいだと本書は説く。
学習の入力のされ方も対照的だ。AIは巨大な文章の山から切り出された断片を渡されるだけで、視覚も聴覚も感情も身体感覚も一緒くたに刻まれる、ヒトが生きる経験の厚みを知らない。
断片単位で学ぶからこそ、特定の状況に縛られない抽象的な構造を横断的に、素早く見つけ出せるという強みも生まれる一方で、新しい課題を覚えるとそれまでの能力がごっそり抜け落ちる破滅的忘却という弱点も、いまだに解けないまま残っている。
第Ⅱ部が中心に据えるのが、死という有限性である。やり直しのきかない時間を生きているからこそ、人は何かを切り捨てる決断ができる。もし世代が入れ替わらなければ、過去の成功体験や古い最適解に社会全体がしがみつき続け、環境の変化についていけなくなる。
死は単なる悲劇ではなく、集団として学習し続けるために組み込まれた仕組みでもある、というのが著者の読み方だ。
感情についても、本書は世間の常識をひっくり返しにかかる。理性の邪魔をするノイズ扱いされがちな感情を、どの出来事を深く覚えておき将来の判断材料にするか、その優先順位を決める調整弁として位置づけ直す。
致命的な失敗を実際に味わう前に「怖い」という感覚が立ち上がり、行動を軌道修正させる早期警報としての役割もある。しかもこの重みの付け方は人それぞれ違うからこそ、社会全体が一つの価値観だけに染まって最適化されてしまう事態を食い止めている。
ハーネスと責任の事前配置——エージェント時代の組織設計
第Ⅲ部からは、話が設計そのものに移る。目的や指示さえ与えれば自分で状況を読み、行動を選び、成果を出す自律的なAIを、本書はエージェントと呼ぶ。
人間同士であれば、評判を落としたくない気持ちや周囲からの制裁、モラルといった、言葉にされない歯止めが自然と機能していた。AIエージェントには、そうした感情も、痛みという抑止力も備わっていない。
だからこそ、これまで文化が肩代わりしてきた歯止めを、今度は技術と制度という形で明文化し、外から与え直す必要が出てくる。この役割を担うのが、本書のいうハーネスであり、失われた文化の代わりを果たす装置である。
責任の考え方も同じ発想で組み直される。事故が起きたあとに「最後に手を下したのは誰か」を突き止めようとしても、責任のありかは曖昧になるか、誰かひとりに罪をかぶせて終わるかのどちらかになりがちだ。
必要なのは、責任の所在をあらかじめ割り振っておくことである。本書はこれを設計責任・運用責任・介入責任という三段階に分け、追跡・修正・打ち切りという一連の流れに組み込む。
追跡によって経緯をすべて後から辿れるようにし、危うい兆候が出た段階で前提条件を修正し、それでも止まらなければ人間が外から線を引いて打ち切る。
働き方の中身も変わる。AIが実行を肩代わりする分、人間の役目は指揮と統合の二つに絞られていくと本書は言う。指揮は、目的や制約、優先順位を状況に合わせて更新し続ける仕事であり、個々の作業を逐一操作する仕事ではない。
統合とは、AIが並べた候補のどれかを自分自身の判断として固定し、失敗したときの痛みを引き受ける仕事にほかならない。実行のスピードが上がり並列に進むほど、手元には甲乙つけがたい候補が次々と押し寄せてくる。
人間の負荷は作業量ではなく、統合の判断を絶え間なく下し続けることに移っていく。組織のかたちも、対話型AIに一対一で問いかける関係から、多数のエージェントの配置と方針を整える司令塔の役割へと変わっていく。
明日からできること
AIに任せている業務をひとつ選び、目的・制約・評価基準・権限・止める条件を紙に書き出してみる。止める条件は「どの数字を超えたら打ち切るか」まで具体的な数値で埋めること。ここが空白のまま動き出すのが、現場でいちばんよくある抜け穴だ。
「このシステムが問題を起こしたら誰の判断で止めるのか」「対外的な説明は誰が担うのか」を二行にまとめ、チームで共有する。トラブルのあとになって最後の操作者を探し出すのは、本書がはっきり否定しているやり方だ。
分析待ちのまま宙に浮いている案件をひとつ選び、期限を切って「これで進める、結果は引き受ける」と言い切ってみる。統合する力は生まれつきの才能ではなく、数をこなして鍛えるしかない。
合わせて読みたい
『問題発見力を鍛える』細谷功（記事はこちら） 指揮の核にある問いの立て方を正面から扱った一冊だ。第Ⅲ部を実務に落とし込むときの手引きとして読み合わせられる。
AIで仕事が速くなった。余裕は増えなかった。（記事はこちら） AIに助けられているのに前より疲れる、という感覚を出発点に書いたコラムだ。統合の重みが人間側へ寄っていく本書の構造を、日常の場面に置き換えて確かめられる。
『シン読解力』新井紀子（記事はこちら） 読み手側の知性を鍛え直しておかないと、もっともらしい誤りを見抜けない。本書終盤が触れるこの論点に、読解力という具体的な切り口から迫った一冊がこちらだ。
