AIに統計は無理という誤解が広がっている（追記あり）

慶應義塾大学の川原繁人教授が、Xにこんな投稿をした。

表示回数は8万超。「やはりAIに統計は無理だ」という反応が相次いだ。

計算していない

まず押さえておきたい事実がある。ChatGPTのようなLLM（大規模言語モデル）は、テキストを確率的に生成するシステムだ。「次に来そうな単語」を繋いでいく。

データを渡して「t検定して」と頼んだとき、内部で数値計算が走っているとは限らない。「統計結果として尤もらしい文章」を出力しているだけの場合がある。毎回数値がバラつくのは、計算が不正確なのではない。そもそも計算していない。

川原教授が公開したグラフを見ると、報告されるt値は実際の1.79に対して2〜3付近に偏り、p値は本来の0.077ではなく0.01〜0.03あたりに集中していた。「有意差あり」の方向へ系統的にズレている。

なぜ「有意」に偏るのか

ランダムにバラつくだけなら、まだわかる。だが結果は一方向に偏っていた。「有意差あり」の側に。

これには理由がある。学術論文には、有意な結果が選択的に掲載されやすい傾向がある。出版バイアスと呼ばれる現象だ。p < .05で有意差が出た研究は論文になりやすく、有意差が出なかった研究はお蔵入りになりやすい。結果として、世に出回る論文は「有意だった」という結論に偏る。

LLMは大量のテキストデータから言語パターンを学習する。学術論文も当然その中に含まれる。つまりLLMは、出版バイアスがかかった状態のテキストを「正しい統計報告の典型」として学んでいる可能性がある。t値が2〜3、p値が0.01〜0.03あたりに集中したのは、学習データの中でその範囲の数値が最も頻出するからだろう。

LLMは計算を間違えたのではない。「論文に載っていそうな数値」を生成した。皮肉なことに、これは人間の学術界が抱えるバイアスをそのまま映し出している。

コードを書かせればいい

今のChatGPTにはCode Interpreter（コード実行機能）がある。データを渡して解析を依頼すれば、Pythonコードを自動生成して実行するのが標準的な挙動だ。コードによる計算は決定論的で、同じデータなら何度やっても同じ結果が返る。

「t検定するPythonのコードを書いて」と頼む。生成されたコードを実行する。出力を確認する。それだけで済む。scipy.stats.ttest_ind() が走れば、正確な数値が毎回同じように出てくる。

Xのリプライ欄でも「GPTに直でデータぶちこんでそのまま解析させる変なやつなんています？普通はコード出させるでしょ」「モデル名を書け」という指摘が複数あった。まっとうな反応だと思う。

Xのポストでは見えなかった前提条件

気になるのは、川原教授のポストにモデル名が書かれていないことだ。プロンプトの内容も、Code Interpreterの使用有無も不明。どんな条件で100回繰り返したのかがわからない。

今のChatGPTなら、データを渡せばコードを書いて実行する可能性が高い。毎回数値がバラつくという結果が出たなら、古いモデルだったのか、コード実行を意図的に回避したのか、何かしらの条件があったはずだ。再現性を重視する学術の世界にいる方の発信として、この情報の欠落は見過ごせない。

【2026年3月11日追記】 川原教授ご本人からコメントをいただいた。本記事はXのポストを主な参照元として執筆したが、川原教授のnote記事にはモデル名（gpt-5.2-chat-latest）、API経由での実行であること、使用したプロンプト、OSFでのデータ・スクリプト公開まで明記されていた。「前提条件が伏せられている」という本セクションの記述は、元記事の確認が不十分なまま書いたものであり、お詫びして訂正する。 なお、川原教授の実験意図は「AIの使い方を知らない学生が陥りそうな状況の再現」であり、「AIを使うな」という主張ではないとのことだった。「AIを正しく使ってほしい」という点で意見は一致している。

ChatGPT側の問題

使い方が悪いだけで片付く話でもない。ChatGPT側にも非はある。

計算を求められているのに、コードを実行せず「それっぽい数値」をテキストで返すことがある。これはハルシネーションの一種だ。「計算できない」と断るか「コードを実行しましょうか」と確認するのが誠実な挙動だろう。間違った数値を自信満々に返すのは、ツールとして問題がある。

ただ、それは正しい使い方を知っていれば回避できる。「AIに統計は危険」とは別の話だ。

バイブコーディングという使い方

最近「バイブコーディング」という言葉を耳にする機会が増えた。コードの中身を逐一理解しなくても、AIに自然言語で指示を出し、生成されたコードを実行して目的を達成する。そういうスタイルを指す。

統計解析でも考え方は同じだ。PythonやRの文法を完璧に覚えていなくても、「この2群のデータでウェルチのt検定をして、結果をグラフにして」と伝えれば、動くコードが出てくる。自分で一から書くより速いし、文法エラーで詰まることも少ない。

もちろん、出てきたコードが正しいかどうかを判断する力は要る。検定の選び方が適切か、前提条件を満たしているか。統計の基礎知識は依然として必要だ。ただ、「コードが書けないから統計ができない」という障壁はかなり下がった。

LLMに直接計算させるのではなく、LLMにコードを書かせて実行する。この一段階の違いが、結果の信頼性を根本から変える。川原教授の実験が図らずも示したのは、この区別を知らないことのリスクだ。

使うなではなく、こう使え

川原教授の背景には、AIの出力をそのままレポートに貼り付けてくる学生への苛立ちがあるのだろう。その気持ちはわかる。

ただ「AIは統計に危険」という発信は、正しい使い方を学ぶ機会を潰す。学生に伝えるべきは「使うな」ではなく「こう使え」のはずだ。

LLMのテキスト生成とコード実行は別物だと知ること。数値が欲しいなら必ずコードを書かせて実行させること。出力を鵜呑みにせず検証する習慣を持つこと。これはAIに限った話ではなく、Excelでも統計ソフトでも同じだ。

道具の使い方を間違えて「道具が悪い」とは言えない

Xの反応を眺めると、「やっぱりAIはこの程度」「夢を見るのはやめましょう」という声が目立った。「コード書かせるのが普通でしょ」という正しい指摘は、あまり拡散されていない。

検証が不十分なまま「AIは危険だ」を鵜呑みにさせる発信は、検証せずにAIの出力を鵜呑みにすることと構造が同じだ。

道具は正しく使えば力になる。間違えれば役に立たない。メスでもMRIでも統計ソフトでも変わらない。問われているのはAIの能力ではなく、使う側のリテラシーだと思う。

読んでいただきありがとうございました。
コメント、記事購入、チップ等いつもありがとうございます。
大変感謝しております。
関連記事もありますので、下記サイトマップを参照していただければ幸いです。