『The Number Bias』読んだよ

サンヌ・ブラウ『The Number Bias』読みました。

著者のサンヌ・ブラウはオランダのジャーナリストの方。
本書はタイトルからご想像の通り、昨今の世の中の数値化主義に対する批判本です。前回紹介の『測りすぎ』とテーマが似通ってますが、類似の本を続けて読むと問題点をより理解しやすくなるかなと思い、あえて続けて読んでます（このスタイルは確証バイアスに注意が要りますが）。

本書のオランダでの原題は"het bestverkochte boek ooit (met deze titel)"というものだったらしいのですが、これは直訳すると『史上最大のベストセラー（このタイトルの本としては）』となります。なるほど、確かに嘘は言ってない。競争対象のカテゴリーを恣意的に絞れば誰だって一番になれますからね。
なんでもかんでも無理やりランキング上位になるよう分類方法や分析方法を操作してやまない世の中に対する皮肉が効いたユニークなタイトルです。

あまりに巷で多種多様なランキングがはびこりすぎているために、多くの人がそれなりに警戒心は持ってるはずではありますが、それでもなお私たちは「ランキング１位！」などと数字で凄さを表現されるとつい目を引かれてしまいますし、場合によってはそのままランキングが決め手で商品を買ってしまったりもするでしょう。

わかってても引きずられてしまう、これが「数字」の恐るべき魔力なのですよね。

そんな「数字」に対する私たちの行き過ぎた信仰心を解除しようというのが本書の目的となっています。
客観的な存在とみなされがちな「数字」が、いかに主観的でバイアスがかかりやすく、いかに隠された意図を持って操作されてるか、また、いかに現実に多々の限界を有する不確かな存在か、が丁寧に解説されていています。

引用にもあるように、著者はもちろん「数字」が無価値だとして全面的に否定しているものではありません。「数字」が世の中でなぜ必要とされ、いかに有用であるかについても紙幅を取って説明されています。しかし、有用であるが上に、それを盲信してしまいかねない魔力もある。そこに「待った」をかけるのが本書の役割なのですね。

言ってみれば「統計に騙されないためのリテラシー本」的な立ち位置なのですけれど、統計のテクニカルな手法の解説に寄ってるわけでなく、より概念的な話をしている感じですので、数式が苦手な方でも全然読める内容です（そもそも数式は出てなかったと思います）。

さて、ざっくり本書で取り上げられている「数字の問題」を列挙しますと、

• 現実の事象、あるいは架空の概念を数値化する時にどうしても主観が入り込んでしまうという数値化にまつわる問題

• 統計質問調査のサンプリングや質問項目に潜むバイアスの問題

• 統計解析結果の解釈に紛れ込むバイアスの問題

• 「ビッグデータ」に伴う収集の質の問題やアルゴリズムに不可避に入り込む主観的なバイアスや統計的差別助長の問題

といったところでしょうか。

このように様々な側面から「数字」が抱えるバイアスや限界の存在を露わにされています。ほんとに多方面の問題に触れられていたのが刺激的で、とても面白かったですね。

具体的な例としては、江草もよく取り上げる「GDP」に関する問題を指摘されてたのはうれしかったです。

現代社会においてGDPは極めて重要な参照指標となっていますが、ダイアン・コイル『GDP』で解説されてる通り、大人の事情で改変と複雑化が進み「それが何を示しているか」はけっこう掴みどころのないものと化してしまってるのですよね。少なくとも、本書も言う通り、それが「客観的な事実」ではなく、あくまで人類が主観的に作り出した「架空の創作物」であることは忘れてはならないでしょう。

また、「IQ＝知能」みなされてることの問題は先日江草が書評させていただいた『私たちはどう学んでいるのか』がまさに批判するところでしょうし、

そして、仕事の成果の測定に数値を用いてそれを報酬と結びつけた結果、数値のごまかしが多発したという事例の紹介の部分は、これまたこないだ書評した『測りすぎ』を思わせます。

そして、我々医療者にとっては特に因縁のある「タバコと肺癌論争」の問題もとりあげられています。
「タバコは肺癌のリスク因子だ」と確信させるのを阻止するために「わざと結論の出ない研究をしつづける戦略」を採ったタバコ業界の暗躍の話は非常に興味深かったですね。「統計が最終的には確たることを断言できないこと」を逆手に取ったタバコ業界の手腕には恐れ入りました。

という感じで、多様な分野のジャンルからトピックを選びだした上に、多角的にそして丁寧かつ誠実に数字のワナを紐解いていく本書は、さすがジャーナリストの業と言うべき一冊でして、優れた良書だなと感じました。

『史上最大のベストセラー（このタイトルの本としては）』という半分ジョークみたいな原題だったのが、ほんとにオランダでベストセラーになったらしいのも頷けます。

……なのですが。
残念ながら、読んでてどうしても一箇所引っかかるところがあったんですよね。

それがここ、p値の解説。

あかーーーーーーーーーーーーーーんっ！！

……おっと、つい素が出て叫んでしまいました。

あくまで一般向けの文章ということもあってか厳密な表現が用いられてるわけではないでしょうし、著者の真意が分かりにくいところもあるので、できる限り好意的な解釈を試みようとはしてるのですが、それでもけっこう危うい感じの解説です。

とくに怪しいのがここの箇所。

これは典型的なp値の誤解っぽくって、よろしくありません。
これはつまり、p値を「帰無仮説が正しい確率」、言い換えると「ジェリービーンズはニキビのリスク因子でないのに誤って偶然の相関関係が見つかる確率」かのように捉えてます。（さらに言えば「有意水準」と取り違えてるおそれもある）

でも、これはアカンのです。

といっても、言うほど統計学に精通してるわけでもない江草が説明するとボロがボロボロ出そうなので、恥ずかしながら権威に頼ってしまいますと。

たとえば、これは「統計的有意性と P 値に関する ASA 声明」からの引用。

ほら、偉い学会さんも「アカン」言うてるでしょ？（虎の威を借る狐）

つまり、モデルの中での確率の話なのに、それがモデルの仮定が現実世界で生じる確率を語ってるかのように捉えてしまうのが……ゴニョゴニョ……というのは、さておき、とにかく本書はp値の認識を誤っちゃってるんですね。

これは、数値批判を担う本としては正直痛いのです。

なぜって、こういうミスがあると「あ、あんまり分かってないくせに数字を批判してるのね」という印象を読者に与えてしまうんですね。とくに本書を懐疑的に読む立場の人からすると「ほれみたことか」となるところでしょう。

もちろん、誰も完璧ではありえませんし、誤りを時々犯してしまうことは決しておかしくはないんですけれど、このp値の誤解のように本書のテーマ的にド定番なところで典型的なミスを犯してしまっていると、急にそっぽを向かれるリスクがあるわけです。（もっとも、一部の箇所のミスをもって全体の主張をまるごと否定するのも非合理的な批判ではありますけれど）

良い本だけに、実にもったいない失点だと思います。

もっとも、この本でさえ、このように統計に対する誤解を露わにしてしまうということは、逆に言うとそれだけ「数字の魔力が強力であること」や「統計を理解するというのは難しいこと」の証左とも言えます。

なにせ、これだけ「数字には気をつけましょうね」と言ってる本です。にもかかわらず、おそらくですが、p値が"probability"の"p"が語源で、"5%(0.05)"などと、まさに「確率」として表現される数値概念であるということをもって、著者は無意識的にスルッと「データが偶然のみで得られた確率のことだろうな」と勘違いしてしまったわけです。

「恣意的なものが多いしランキングには注意しよう」と分かっていながら、私たちが無意識のうちに「当店人気第1位！」とポップが貼られてるものを買ってしまう例のパターンとまさしく同じ構図です。

数字がそこにあるだけで、「その数字が現実を直接的に反映している」かのように気づかぬうちに脳内に刷り込まれてしまう。

これこそ数字の魔力と言えましょう。

そして、本書さえもが間違うぐらい統計の正確な理解は難しいという点。

p値が5%の時「偶然であった確率が5%」というわけではないし、95%信頼区間だって「95%の確率で真の値がそこに含まれていると信頼できる区間」ではありません。
でも、私たちはついそう理解したくなってしまう。おそらく、それが直感的で楽だから。「この数字の結果に従えば面倒くさい判断をしなくて済むんだな」と楽をしたいから。

しかし、もう皆さんもお気付きの通りこれこそが数字のトラップなんですよ。

……いえ、正確には意思を持たない「数字」が私たちをハメようとしてるわけではないですね。
むしろ、私たちが「数字で楽ができる」と信じたいだけなのでしょう。それできっと自らトラップにハマりに行ってるだけなのです。

本当は事態は逆なんですね。
データがいっぱい集まってきて、統計解析した結果が出てくると、考えることは増えるんです。数字が出れば出るほど、学ぶべきことは増えるし確認しないといけないことは増えるし、現実世界における解釈や妥当性を考えないといけないしで、本来むしろ大変になるんですよ。

統計学に明るくない方は、試しにp値や95%信頼区間の正確な定義を調べてみてもらったらいいと思いますが、統計と言えばとりあえずコレと言えるぐらい定番でポピュラーな概念であるにもかかわらず、まず意味がにわかには理解できないであろう難解な代物です（正直江草も理解できてないと思います）。
これがワケが分かってないままで「統計で有意差あるから有効なんでしょ」なんてことは断言できないはずですから、これを学ぶ苦労が本来まずは必要なんですね。

だから「統計解析で数値出してピャピャピャっと比較して一番数字が良いやつとか有意差あるやつ選べばいいんでしょ。数字様のおかげで楽になったわー」とか世の中そんなことはないんです。残念ながら。

もちろん、統計は世界のことを考える上でとても強力なツールです。
ただ、たとえば最新鋭で最強の戦闘機を操縦するならばそれ相応の訓練が必要になるのと同じで、ツールが高性能になればなるほどその扱いに熟練や注意や労力が必要になるだけのことです。
決してそれがあれば誰でも楽勝で最強になれますというものではありません。
だからこそ、数字への信仰は危ないのです。それは訓練されたパイロットがいなかったり整備も怠っているのに「この最新最強の戦闘機様があれば勝てる」と考えてるようなものだからです。

……と、思いっきり脱線しましたが、本の話に戻して無理やりまとめに入ります。

ええと、そんなわけで、ちょっと手痛い失点を犯してしまっているところが惜しい本書ですが、それで全体を通じるメッセージが色褪せるわけではないですし、数値に関する罠の事例を多角的に集めて解説されてる点で、非常に面白く読めた良書でした。

自信をもってオススメできる一冊です。
なにせ史上最大のベストセラーですからね。

【関連記事】
本稿内で触れた他書籍の感想文記事を付録につけときます。