統計学の使いづらさについて

「統計学が最強の学問である」

この書籍の発売から早13年が経過しました。技術書にして異例の大ヒットを飛ばしたこの本は、多くのビジネスパーソンの"データをもっと活用しよう"という発想のトリガーを引いたと思います。

かくいう私もそのひとりで、必死に統計学の理論を学び、なにかこの知見が業務に役立たないかと試行錯誤しているうち気がつけば10年超の月日が流れました。

その間、あちらこちらで「データドリブン」「DX」「AI活用」といった言葉がバズワードとなり、どんどんデータ活用は進んできたようにも思えます。しかし、正直なところ私は「10年前とさして変わっていない」という見方をしています。こういった標語を掲げて実際にデータ利活用に"身を乗り出した"企業は多々あるものの、実際にデータ利活用を"成し遂げた"企業というのは、本当にごく一部ではないかと。

生成AIの導入という文脈では、ここ数年で市場が目を見張るスピードで変化しています。文章作成や要約、問い合わせ対応など、比較的すぐに用途や効果をイメージしやすい領域では、非専門家でも「まず使ってみる」ことができます。しかしこと「統計学・データサイエンスの活用」となると、同じようには進みません。導入の効果や恩恵が見えづらく、ブームを経てもなお「使いづらいもの」のままでいるように見えます。

実際に私も現場でその使いづらさを何度も感じてきました。データが整備されても、分析が完了し数字が出ても、なお現場で「で、どうすればいいんですか？」という疑問が残ります。たとえば「予測精度は80%あれば充分なんですか？」「p値が0.05以下なのでこの施策は進めてよいのですか？」といった質問。統計学としての説明はできます。しかし相手が本当に知りたいのは数字だけではなく、「この結果をどの程度信じて、意思決定に使ってよいのか」ということです。数字は出せるけれど、その数字を判断につなげるところで立ち止まってしまうこの感覚こそが、私にとっての「統計学の使いづらさ」でした。

もちろんデータが集まらない、データの品質が悪いといった事はあるでしょう。しかし、私は統計学が使いづらい理由の本質は、データ自体の問題ではないと考えています。今回はその「統計学の使いづらさ」の正体について、統計学・データ分析を仕事にしている立場から踏み込んで整理し、そしてその使いづらさとどう向き合っていくか、改めて考えてみたいと思います。

統計学が使いづらい理由

統計学が現場に根付きにくい理由は様々あります。そしてその多くは「分析ができるかどうか」ではなく、「分析結果を現場の判断にどう繋げるか」という問題に関わっています。以下、その使いづらさを3つの観点から整理してみました。

1. 結果が出ても意思決定に直結しない

まず「統計学」という学問自体への問いかけにもなりますが、統計解析で何かしら数字が出ても、それだけでは判断が決まらないという点に問題が潜みます。統計分析を行えば、p値、相関係数、決定係数（R2値）、予測精度・・・などなど、多種多様の有用な数値・統計量が出てきます。しかし現場で本当に知りたいのは、そうした数値そのものではなく、「結局、これはどれだけ使える結果なの？」「結局、この施策にGOを出していいの？」ということです。ところが多くの場合、統計学が示してくれるのはその判断に直接の決着をつける答えではありません。

たとえば、p<0.05なら有意である。R2値は高いほど当てはまりが良い。予測精度は高いほど望ましい。こうした説明は、統計学を学ぶ上での入口としては有用です。しかし、その閾値だけで物事のYES/NOが判断できるかというと、事はそう単純ではありません。ここには、統計学を現場で使ううえでの「閾値依存」とでも呼ぶべき問題があります。p=0.051では全くダメなのか？　相関係数0.5は高いのか低いのか？　精度80%は実務上十分なのか？　R2が0.6ならそのモデルは信頼してよいのか？　・・・こうした問いに対する答えは、分析対象や業務内容、誤判定のコスト、現場の運用方法など諸々の要因によって変わってきます。つまり統計量だけでGO / NO-GOが決まるものではなく、その判断はつねに文脈に依存しています。

とはいえ「いくつ以上なら良いのか」という閾値が無いと結果を言葉に落とし込みづらい面があるのは確かです。確かに回帰モデルの説明をする時、どうしてもその結果や信頼性を示すために決定係数、回帰係数、p値なりの説明はなかなか避けて通れません。私自身も、結果を提示した後に先方から「この決定係数はいくつ以上なら良いんですか？」「以前この変数は重要でなかったのに、データを追加したら今度は"重要"になったのはなぜですか？」、そのような質問は至る場面で受けてきました。なかなか説明に苦心するところがあり「絶対的な閾値があるわけでなく、相対的な精度の良さを見る指標なんですよ」だとか、「この領域では慣習的にR2=0.5以上あれば十分役立つと思います」だとか「p値はサンプルサイズにも依存します」だとかあれこれ説明してきました。

今考えると「その説明でよく相手を納得させようと思ったな」と自らに思うのですが、このような「判断は時と場合による」性質は、間違いなく統計学の使いづらさの一因です。数字は出るものの、その数字をどう解釈すれば意思決定に使えるのかは統計学の知識だけでは足りません。数値に最終的な意味を与えるのは結局のところ人間の側です。そしてそこには、単純な理屈だけでは割り切れない難しさが残ります。つまり問題は、どういった分析手法を使ってどういった統計量を出すかという話にあるのではなく、出てきた数字をどう意思決定へ接続するか、ここの設計が難解であり、かつ整備されていないという点にあります。

2. 導入効果が見えづらい

システム投資や広告費といったものについては、少なくとも数字の上ではその効果が比較的見えやすいのですが、「データドリブンを推進した結果、意思決定の精度が上がった」という効果はなかなか判定が難しいところがあります。
データ分析の現場には数多く立ち会いましたが、その「効果検証」まで伴走できた例は少なく、しかも効果検証の妥当なやり方も悩ましい。

自身の経験で言えば、提案したマーケ施策の妥当性を検証するために、支店Aには新施策を導入。支店Bは今までのやり方を継続。半年後に成績の差を見る。・・・といったことをやりました。支店ごとの元々の水準の差もあるため単純比較ではダメで、DID（差の差法）を用いた効果測定をしたのですが、結果的に有意な差は見られず。
説明責任も負わされましたが、私としても提案した施策が悪いのか、ローデータの問題なのか、そもそも支店Aの全員が新施策を実施してくれたのか、支店Bの全員が今までの方法を継続してくれたのか・・・それにDIDにおいての大前提「施策以外の要因が支店AとBで共通である」という"平行トレンド仮定"が満たされているのかも怪しい、などなど一体何が原因なのか。
最終的にはこちらから提案した施策をレポート化し、現場の意思決定者がそこから取捨選択して一定の業務改善に活用されることにはなりましたが、この時、データ利活用の導入効果・導入価値なんて明確に測れるものではないということを痛感しました。

しかし現実問題こういうことは良く起こります。とりわけ人間の行動改善を目的とするようなテーマでは行動経済学的な要因による数値のブレも起こるわけで、短期間で施策効果を明確に測ることはそもそも難しいのです。つまり結果がすぐ目で見て現れることは稀なわけです。これでは「データ活用で業務改善！」と言っても予算や人的リソースを割く意思決定者の理解を得にくい面があるのは仕方ないでしょう。

もちろん「何はともあれデータドリブンにする」自体に価値を覚えてくれる企業さんも多いですし、「まずはデータの一元化を図り、データ利活用を進める体制を作る」という姿勢自体は具体的なコスト云々とは別に大事だと思います。

3. 「人の勘」を手放すことへの心理的ハードル

これも現実的な問題として避けて通れないでしょう。現場の有識者にとって、長年の経験で培った直感や判断を、機械的に算出された数値に委ねることへの抵抗感。これは非合理なことではありません。技術的にいくら正しくてもまったく現場で使われないことは十分ありえます。
むしろデータが少ない領域や、文脈の読み取りが必要な判断では、熟練者の勘の方が正確であるケースも実際に存在します。「データに基づいた方が正しい」という思い込みはそれはそれで危ないです。

仮に技術的には完璧で反論の余地がない状況があったとしても、過去に発生した経験がないイレギュラーが起こればデータ分析の結果の信頼性は下がるわけですし、「なんとなく今後はこうなっていきそう」だとか「なんとなくあのお客さんとは仲良くしておいたほうがいい」というおおよそ定量化できないベテランのフィーリングは完全に無視できるものではありません。
だからこそ単純に「心理的ハードルは飛び越えてください」と言えば済む話でもない、ここが厄介な点ではあります。

これからの統計学との向き合い方

では、これらの「使いづらさ」を踏まえ、私たちはビジネスの場において統計学やその周辺学問とどう付き合っていくべきなのでしょうか。

1. 「人の勘」を底上げするものとして位置づける

統計分析の役割を「人間の直感に頼らず、客観的な指標で業務改善を図るもの」ではなく、「人の判断の精度を高め、見落としを減らすもの」として定義し直すことが大切だと思います。データ分析は意思決定を代替するためにあるのではなく、より良い意思決定を支援するためにある。この認識の違いは、現場への導入のしやすさに大きく影響します。

ただここはバランス感覚が必要で、確かに統計学は意思決定を代替するものではありませんが人の勘に従属するものでもありません。勘を補強することもあれば、勘を疑うこともある。たまに自分の考えと同様の結果が出た面だけ強調し、持論の論理武装をするためにデータ分析を使うような場面も見かけますが、それはそれで違います。

統計解析はあくまで不確実性込みで客観的な評価を提示する道具。その情報を加味した上で、最終的に「人間が良い判断をする」支援をするものです。それは意思決定者も分析者も共通認識として持っておくべきです。
意思決定者は定量的・機械的な情報の価値というものを理解し、フェアに結果を見る姿勢が必要ですし、技術者は現場の声に寄り添う姿勢が必要です。

この姿勢を持てば、導入効果の測り方も見えてくるでしょう。統計解析の価値は諸々の判断基準が明確になること、仮説検証のサイクルが回ること、施策の振り返りが可能になること、といったような意思決定プロセスの変化です。これは人間の判断に示唆を与えてくれるものであって、それ単体で導入効果が明確に現れる類のものではありません。
したがって、データ活用の導入効果を評価する際には、「この施策で何％改善したか」「工数が何％減ったか」というような具体的な効果を見るべきでなく、「より良い判断をするための材料が増えたか」という観点で見るべきでしょう。

2. 「データで解ける問い」と「解けない問い」を最初に切り分ける

分析を始める前に「この問いはそもそもデータで答えられる性質のものか」を問うことが必要です。たとえば売上予測は過去のパターンが参考になりますが、新規事業のアイデアの良し悪しはデータだけでは評価できません。何でもデータで答えようとすることはそもそも無謀であり、まずは現場が持つ「解決したい課題」ありきで、それらを分解して「データ分析で解決できそうなもの」「そうでないもの」を分離する。いわゆるロジックツリー的な思考を持ってまずは問いを分解し、「何をデータに任せるのか」「何を人間が判断するのか」を切り分けた上で分析に入ることが大切です。

大前提、データで解くべき課題と、解くべきでない（解けない）課題があります。そもそも統計解析自体が不適当なテーマに統計解析を適用して「使い物にならない」というのはお門違いです。テーマやデータが与えられた段階でいきなり分析作業に取り掛かるのでなく、きちんと課題を分解してデータ利活用のターゲットを見定めるフェーズを挟むことで、"無駄な分析"はかなり減るはずです。

3. なるべく統計量に依存せず、意思決定者が判断可能な言葉で効果を説明する

分析手法を選ぶにしても、精度指標を設計するにしても、「2値分類だからAUCで評価」だとか「p<0.05だから有意」だとか、そんな一辺倒な判断をするだけで終わりなら、もはやこの時代、生成AIにやらせれば充分なわけです。そうでなく、「この分析の結果をどう使うか」「どのくらいの精度・確度があれば現場の意思決定に使えるか」といった取り決めの方が圧倒的に大切なことで、分析の"ゴール"と"合格基準"は、技術面どうこうより先に定義されなければならないものです。

そこから逆算して具体的な分析の設計に入ると良いのですが、しかし「統計学が使いづらい理由」の1.で述べたとおり、統計分析の多くは「実際に分析しないとどのくらいの水準になるか分からない統計量」を多々扱うわけで、ゴールも合格基準も事前に設定しづらい。ここにビジネス的な意思決定の流れとの相反が生まれています。

ただこれはどうしようもない話ではなく、分析の設計次第で一定は解決します。例えば性能評価のゴール設定において「RMSEが100以下を目指す」というような「それは良いの？悪いの？」と疑問を持たれそうな目標を立てるよりは、「予測値が、正解の±20%以内に収まる確率が8割以上になることを目指す」というようにした方が、その予測モデルがどれだけ使い物になりそうか、誰の目にも理解しやすく、意思決定はしやすいでしょう。

p値でも相関係数でもそうですが、統計量ひとつではまず納得は得られません。その前提で、「この分析結果が、どうビジネス判断に使われるか」という基準を最初に合意しておく。そして分析者は「意思決定者は、この結果をこのように解釈するだろう」といったように、意思決定者が結果を見た際の納得感をイメージした上で分析の設計に取り掛かることが大切です。その姿勢を持つだけで、データ分析の現場活用率は大きく変わってくるはずです。

4. 分析結果を鵜呑みにせず、疑う目を持つ

先に述べたように「何を解くべきか」「どう解釈すべきか」という上流の設計、これが何よりも大切な部分です。さて、ではそこから先の実装やコーディングの部分は生成AI（もしくは非専門家）に丸投げして構わないのか・・・というとそういう訳でもなく、ここに統計家／データサイエンティストにとっての重要な役割が潜んでいます。

たとえば、「この結果、精度が良すぎる。何かおかしいのでは？」「集計の粒度がこの問いに対して粗すぎる／細かすぎるのでは？」などなど。こうした判断は、単純な技術力とは別のところにあるデータを見慣れた人間の感覚から来るものです。統計家やデータサイエンティストが長い実務の中で培ってきた「なんか、これおかしくない？」という嗅覚とでも言うべきものです。

生成AIは一定のデータ加工や手法選定、そしてコーディングと機械的な結果の解釈だってできますが、「この結果を信頼していいのか」という判断は、今のところ人間に委ねられています。生成AIはローデータ自体や分析設計の妥当性まで評価しきれませんし、ハルシネーションの問題も依然として付き纏います。そして統計的に意味のある結果とそうでない結果の区別を、生成AIに全面的に依存するのはリスクがあります。

つまり、統計家に求められる技術力として、「結果を疑える力」の重要性が増すということです。実装は丸ごと任せるにしても、その出力をチェックできる目を持っていなければ、上流でいくら良い設計をしても崩れてしまうことがあります。
これは、ある程度現場に出て、自分で手を動かした経験が無いと身につきづらい感覚だと思います。生成AIをうまく使いこなしているデータサイエンティストほど、「任せていい部分」と「自分で確認しなければならない部分」の境界線をよく知っています。その境界線を引く能力。このような「統計家としての肌感覚」を持つことが大切だと考えます。

おわりに

整理してみると、ここ10年で感じた統計学の使いづらさは、統計学そのものの問題というより、統計学と現場の接続が充分に設計されていないことから来ていると捉えられます。ただ、時の流れの中でその使いづらさの正体をいくばくかは言語化できるようになり、そして生成AIという強力な相棒が現れたことで、統計学との正しい向き合い方を改めて議論すべきフェーズに入ってきたとも感じています。

少なくともビジネスの現場において、統計学は単なる分析の学問ではなく、意思決定を支える学問として捉え直される必要があるのではないでしょうか。人間が意思決定をする一連の流れの中で、何をデータ・統計学に委ね、何を人間が判断するのか。そしてその両者をどう接続するのか。その設計こそがこれからますます重要になっていくはずです。
加えて、生成AIによって分析の実装や解釈の一部までもが自動化されつつある今、最後に人間の側へ残るのは、適切に問いを立てること、そして適切に数字を意思決定に接続することなのでしょう。

数字は意思決定を代わりに引き受けてはくれません。しかし、良い問いと良い接続があれば、人の判断を確かに支えてくれます。統計学の使いづらさを考えることは、統計学を遠ざけるためではなく「人間にしかできないことは何か」を問い直し、統計学とより密接に付き合っていくために必要なことなのだと思います。