その分析、データを見なくても書けませんか——AIに“それっぽいレポート”を出させない3つの関所
プロローグ 見覚えのあるレポート
「このデータ、分析しておいて」
そう頼んだ数分後、AIは見事なレポートを返してきました。グラフが並び、要点が箇条書きになり、最後には「改善提案」まで付いています。いわく——継続率の改善が重要です。初回体験の強化を推奨します。ユーザーセグメントごとのアプローチを検討しましょう。
読み終えて、私は妙な既視感に襲われました。
どこかで見たことがある。それもそのはずで、この結論、データを一行も見なくても書けるのです。継続率が大事じゃないサービスなんてありません。初回体験はいつだって強化すべきです。つまりこのレポートは、何も間違っていない代わりに、何も言っていない。
私はデータ分析の仕事を15年以上やってきました。そしてここ数年、AIに分析を手伝ってもらうようになって、この「それっぽいが、何も言っていないレポート」に何度も出会いました。自分が受け取るだけではありません。AIの登場で、いままで私たちアナリストに分析を依頼していた企画職や営業やマーケターが、自分の手で分析できるようになった。その人たちが持ってくるレポートにも、同じ既視感がある。
怖いのは、これが間違いではないことです。間違ったレポートは会議で誰かが止めてくれます。でも「データを見なくても言える正しいこと」は、誰も止めません。それっぽいまま意思決定を素通りして、数ヶ月後に「あの分析、結局なんだったんだっけ」になる。
AIは嘘をついたわけではありません。渡されたデータの中で、平均的に正しいことを言っただけです。問題はAIではなく、頼み方にありました。
この記事は、これからAIを使って自分で分析を始める人——いままでアナリストに「ちょっとデータ見てもらえます？」と頼んでいた側の人——に向けて書きます。AIから“平均的な答え”ではなく“あなたのチームでしか出せない発見”を引き出すために、何をすればいいのか。15年分の暗黙知を、3つの関所として言語化してみます。
第1章 AIが民主化したのは「作業」であって「分析」ではない
まずは地図を描きます。データ分析の仕事は、実際にはこういう工程でできています。
問いを立てる（何を知りたいのか）
データを用意する（どこから、何を、どう取るか）
見る（数字をまとめ、グラフにする、気になるところを見つける）
切る（どの軸で比較するか）
読む（結果をどこまで信じ、どう解釈するか）
決める（意思決定につなげる）
このうちAIは、すべてを自動化したかもしれません。頼めばデータも取ってくるし、問いも立てるし、切り口も提案するし、解釈まで書いてくれます。が、AIのパワーを大きく感じるのは、2、3の作業の部分です。
誤解しないでほしいのですが、これはすごいことです。私が駆け出しの頃に徹夜でデータを整理、加工していた作業や、Excelの神業、グラフの整形も、いまやAIが数秒でやってくれます。多くのアナリストが時間を費やしてきた、分析の「真ん中」の作業は、確かに民主化されました。
では、残りの工程はどうか。AIも「できる」。でも、「できる」と「任せていい」は別物です。どんなデータを渡すかを決める入口。どの軸で切るかを決める切り口。出てきた結果をどこまで信じるかを判断する出口。この3つは、AIにできるかどうかではなく、人間が守るかどうかで分析の質が決まる場所—つまり関所のようなチェック、何を通過させるのか決める作業です。
入口、切り口、出口——奇しくも、ぜんぶ「口」が付きます。覚え方はこれで十分です。
そして冒頭の「それっぽいレポート」の正体は、この3つの関所を全部素通りした分析です。入口で何も絞らず、切り口を指定せず、出口で疑わなければ、AIは平均的なデータから平均的な結論を出します。それが「データを見なくても書けるレポート」の製造工程です。
逆に言えば、関所を3つ押さえるだけで、AIはあなたの強力な分析パートナーになります。順番に見ていきましょう。
第2章 関所①〈入口〉データは「絞って」渡す
最初の関所は、AIにデータを渡す前にあります。
アナリストの世界には古い格言があります。Garbage in, garbage out——ゴミを入れれば、ゴミが出る。AIはこの格言を無効にしません。むしろ増幅します。AIは渡されたデータの中では驚くほど正しく働くので、渡したものが歪んでいると、歪んだ結論が“それっぽく”仕上がって返ってくるのです。
生データを丸ごと渡さない。最終形まで固めすぎない
AI以前の私は、最終アウトプットを頭の中でイメージして、そこから結果が見えるよう逆算した集計SQLを書いていました。完成形のテーブルを作るので、すぐに分析ができる。しかし、その方法だと、別の集計を試すのに時間がかかりました。
AI時代は違います。いま私がやっているのは、生データと最終形の中間——「プチ集計」くらいのデータを準備して渡すことです。ユーザー×日単位くらいまで軽くまとめたデータを渡しておくと、処理が速くなるうえに、AIにいろんな集計パターンを試してもらえる。最終形まで固めてしまうと、AIの「試行回数」という最大の強みを殺してしまうのです。
指標の断捨離——Must、あればいい、なくてもいい
ただし、プチ集計データはレコード数が多くなります。だからこそ肝になるのが、項目を必要最低限に絞ることです。
私は指標を3つに分けます。
Must：この問いに答えるために絶対に要る指標
あればいい：解釈の補助になる指標
なくてもいい：あっても今回の問いには効かない指標
そして「なくてもいい」を落とす。ここで思い切りが要ります。たとえば今回の分析にPV（ページビュー）があるなら、Imp（表示回数）は落とせないか？と考えてみる。似た指標は、どちらかで代表させる。経験的には、Mustプラス1〜3個くらいがちょうどいい。
機械学習が盛り上がり、いまのAI時代になって、「インプットは多ければ多いほどいい」という流れがあります。でも、ドメイン知識を持っている人であれば、そこをあえて絞ることのメリットは大きいと考えています。当たり前の結果や、因果が逆の結果が出るのを防げるからです。相関関係を見て統計的に変数を外す方法もありますが、ドメイン知識があるのなら、その強みを活かすべきです。
指標を絞ると、AIの分析はみるみる筋が良くなります。人間と同じで、机の上に関係ない資料が積んであると、AIも気が散るのです。
入口の問い（チェックリスト）
AIにデータを渡す前に、3つだけ自問してください。
この分析のMust指標は何か？ 落とせる指標はどれか？
期間と対象をどう区切るか？（直近何ヶ月か、全ユーザーか新規だけか。絞るほど変化は見えやすくなるが、一般化できない事象が増えるトレードオフがある）
誰を除外するか？（テストアカウント、社内利用、botなど、分析を歪ませるデータは先に外しておく）
第3章 関所②〈切り口〉ストーリーを先に想像する
2つ目の関所は、分析の途中にあります。
AIに「このデータを分析して」とだけ頼むと、返ってくるのは平均と合計です。全体の平均継続率、月ごとの合計売上。間違っていません。そして、たいてい何の発見もなく、ふーんで終わります。
分析の前に、ちゃんとデータを見ましょう。データの傾向を掴むんです。トレンドを見たり、データの偏りを見たり——平均や率を出すだけでは消えてしまう、データの意味を知る必要があります。この作業は、AIがサポートしてくれます。AIに「データを理解するための可視化」を頼んでみてください。そして、動きがあるところなど、データから見える違和感の理由を考えてみましょう。
それが切り口になっていきます。「なぜ」を確認するための切り口です。新規と既存で分けたら？ 曜日で分けたら？ ある機能を使った人と使っていない人で分けたら？——切り方を変えた瞬間に、平均の中に埋もれていた物語が浮かび上がる。分析の面白さは、ほぼここに集約されます。
データの違和感から切り口を見つけるのがボトムアップの方法だとすれば、もうひとつ、逆方向からのやり方があります。
いい結果バージョンと、悪い結果バージョン
私のやり方は、分析を始める前にアウトプットのストーリーを先に想像することです。
何を知りたいのか、できるだけ具体的にイメージする。そして「いい結果だった場合のストーリー」と「悪い結果だった場合のストーリー」を、両方とも先に頭の中で書いてしまう。
たとえば新機能の分析なら——いい結果バージョンは「新機能を使った人は継続率が高い。特に初週に使った人で顕著。だから初週の導線を強化しよう」。ここで大事なのは、なぜ、新機能を使うと継続率が上がるのかまで考えることです。新機能を使うと利用頻度が上がるのか、利用時間（回遊率）が上がるのか。その仮説をもとに、何の数字が重要なのかがわかってきます。悪い結果バージョンは「使った人と使わない人で差がない。機能の問題というより、そもそも気づかれていないのかもしれない」。それはなぜかを考えると、告知の仕方や、告知のタイミングなのかもしれない。であれば、過去の告知のタイミングとPVの関係が大事になるかもしれません。こうやって「なぜ」を埋めていくストーリーが大事になります。
2つのストーリーを先に書くと、必要な切り口が自動的に決まります。いまの例なら「機能利用の有無×利用タイミング×機能告知のアクセス有無」で切ればいい。ストーリーが先、切り口が後。この順番が肝心です。
どうしてもストーリーが思いつかないときは、「このデータの裏で、どんなことが起こっていそうか？」を想像することです。データは数字の羅列ですが、自分が知っている・見ているユーザーをリンクさせる。この機能によってユーザーは何に喜び、どこでつまずいていそうか。そうやって具体的な人の動きを思い浮かべると、切り口のイメージは必ず見つります。
AIの「平均的な答え」から抜け出す、たったひとつの方法
ここで白状すると、切り口の想像力には元手が要ります。ドメイン知識です。
AIは世界中の平均的な知識を持っています。だからAIに任せきりの分析は、平均的な切り口の、平均的な結論になる。そこに「あなたしか知らないこと」を一滴混ぜたとき、初めてAIは平均の外側を探し始めます。
私が実践しているのは、単純なことです。分析対象のサービスを、ユーザーとして使い込む。自分で投稿し、自分で課金し、引っかかった場所を覚えておく。ユーザーの感想や意見にもできるだけ目を通しておく。すると「数字がこう動いたのは、あの体験のせいじゃないか？」という仮説が、自分の身体から出てくるようになります。
アンテナを張っておく、と言うと当たり前すぎるので、こう言い換えます。仕事だと思ってやらなくていいことを、分析したほうがいい。興味があるものを追いかけ続けた分だけ、切り口の引き出しは増えていきます。
切り口の問い（チェックリスト）
分析の前に、データを可視化して眺めたか？ 違和感はどこにあったか？
いい結果／悪い結果、それぞれのストーリーを先に言えるか？ その「なぜ」まで言えるか？
そのストーリーを確かめるには、何と何を比較すればいいか？
自分がユーザーとして知っていることを、仮説に1つ混ぜたか？
第4章 関所③〈出口〉納得するためではなく、否定するために読む
最後の関所は、結果が出たあとにあります。ここが一番、アナリストとそれ以外の人の差が出る場所です。
AIのレポートは、できが良い。グラフは美しく、文章は流暢で、結論は自信に満ちています。だから人は納得するために読んでしまう。「なるほど、そういうことか」と。
私は逆です。レポートは、否定しながら読みます。
このグラフは本当にこの結論を支えているか？ 別の解釈はないか？ この差は定義のせいで出ているだけではないか？——ひたすら「Noと言える理由」を探しながら読んでいく。そして、どうしても否定しきれなかったものだけを信じる。否定するところが見つからないアウトプットこそが、いいアウトプットです。
これは私がAIのために発明した方法ではありません。人間のアナリストのレビューを何年もやる中で身についた、レビューの技法そのものです。AIの分析が人間の分析と同じ品質管理を必要とするのは、考えてみれば当たり前のことでした。
「良すぎる結果」はまずデータを疑う
否定的に読む技術の中で、いちばん費用対効果が高いのがこれです。都合のいい結果ほど、疑う。
施策の効果が想定の3倍出ている。あるセグメントだけ継続率が異常に高い。——うれしい数字を見た瞬間こそ、関所の出番です。経験上、「良すぎる結果」の大半は、本物の大発見ではなく、データ側の事故です。疑う順番も決まっています。
集計ミスではないか（重複カウント、期間のズレ）
定義のズレではないか（分母に誰が入っているか）
構成の変化ではないか（ユーザーの中身が入れ替わっただけで、行動は変わっていない）
それでも残ったら——おめでとうございます、本物かもしれません
もうひとつ、何度も引っかかってきたのが外部要因です。施策の効果があったと思ったときに、実は外部要因——急にユーザー登録が増えた、人気の記事が投稿されたなど——によるものだったことがあります。数字は、あなたの施策のためだけに動いてくれるわけではありません。こういうケースに惑わされないためには、常にデータに関心を持っておくことも重要です。「今週はいつもと動きが違うな」に気づける人は、良すぎる結果にも騙されません。
AIに対しても、私はこの読み方をそのまま使っています。具体的には、レポートを受け取ったら「この結論を否定する理由を10個挙げて」とAI自身に頼む。AIは書くのも得意ですが、壊すのも得意です。自分の書いたレポートを、平気で10通りに否定してくれます。その10個を眺めて、本当に効いていそうな反論だけ検証する。これだけで、それっぽいレポートの化けの皮は大体はがれます。
出口の問い（チェックリスト）
この結論にNoと言える理由を、いくつ挙げられるか？
「良すぎる結果」に対して、集計ミス→定義→構成変化の順で疑ったか？ 外部要因（世の中側の事情）は確認したか？
否定しきれずに残ったものは何か？（それだけを会議に持っていく）
第5章 実践——明日、AIにこう頼めばいい
3つの関所を、そのままAIへの頼み方に翻訳します。以下はテンプレートです。コピーして、【】を埋めて使ってください。
# 分析の依頼
## 知りたいこと（問い）
【例：新機能Xは継続率——「新規ユーザーが1週間後も訪問する割合」——に効いているのか。
次の開発リソースを張るべきか判断したい】
## 私の仮説（ストーリー）
- いい結果ならこうなっているはず：【例：Xを初週に使った人の継続率が高い。
なぜなら、回遊が増えて記事がたくさん読まれ、サービスの価値を理解してもらえるから】
- 悪い結果ならこうなっているはず：【例：利用有無で差がない。そもそも利用率自体が低い。
利用状況のウォッチが必要】
- 私がユーザーとして知っていること：【例：Xは導線が深く、気づきにくい場所にある】
## データ
- 対象と期間：【例：直近3ヶ月に登録した新規ユーザー】
- 除外：【例：テストアカウント、社内利用】
- 指標はこれだけ使ってください（Must＋1〜3個）：【例：新規ユーザー数、1週間後訪問数、X利用有無、初回利用日】
## お願いすること
1. まず、渡したデータの前提でおかしい点があれば分析の前に指摘して。
そのとき、それぞれのデータの傾向がわかるように可視化して
2. 仮説を確かめる集計と、仮説の外にある切り口を1つずつ提案して
3. 結果が出たら、その結論を否定する理由を10個挙げて
4. 否定しきれずに残った結論だけを、最後にまとめてポイントは、このテンプレートが分析の「答え」を何も書いていないことです。書いているのは、問い、ストーリー、データの絞り方、疑い方——つまり3つの関所だけ。真ん中の作業は、全部AIに任せます。
もうひとつのコツは、指標を「継続率」という言葉のままにしないこと。誰が、どれくらい使えば「継続」とみなすのか——「新規ユーザーが1週間後も訪問する割合」のように、測れる定義まで具体化して書きます。言葉のままにしておくと、定義はAIが勝手に決めます。第2章で見たとおり、そこは人間が守る関所です。
役割分担を一行で言えばこうです。あなたは関所を守る。AIは関所の間を走る。
実際のやりとりは、こうなる
このテンプレートで頼むと、どんな分析になるのか。架空の例で、やりとりの流れをお見せします。
AI：分析の前に2点、確認です。①初回利用日が空欄のユーザーが12%います。Xを一度も使っていない人と解釈し、「未利用」として扱います。②5月の最終週だけ、新規登録が急増しています。キャンペーンなどの心当たりはありますか？ この週を含めるかどうかで、結果が変わる可能性があります。——あわせて、各指標の分布と日次トレンドを可視化しました。X利用率は全体の18%で、利用は登録初週に偏っています。
——この時点で、すでに関所の点検が始まっています。登録の急増は、第4章で見た「外部要因」そのものです。
私：その週はキャンペーンをやっていた。含めた場合と除いた場合、両方で見て。
AI：両方で集計しました。Xを初週に使ったユーザーの「1週間後訪問率」は42%、未利用ユーザーは23%。キャンペーン週を除いても、差はほぼ変わりません。仮説の外の切り口として「登録曜日別」も見ましたが、こちらに大きな差はありませんでした。
私：その結論を否定する理由を、10個挙げて。
AI：たとえば——「Xを使うようなユーザーは、もともと熱心（因果が逆）」「Xは導線が深いので、たどり着けた時点でそもそも回遊が多い」「初週にXを使う人は、登録動機が強い層に偏っている」……
AIが挙げた10個のうち、本当に効いていそうな反論は、この3つでした。この３つを選ぶ作業はあなたの仕事です。どこまでAIが頑張っても自分で決めなければいけないものは残ります。3つに共通するのは「Xが継続を生んだのではなく、続く人がXを使っただけではないか」という疑いです。つまりこの分析で言い切れるのは、「Xの利用と継続には、強い関係がある」まで。「Xを使わせれば継続が上がる」とまでは言えません。そこを確かめたければ、導線を変えて試すABテストが次の一手になります。
「思ったより言い切れないな」と感じたでしょうか。でも、どこまで言えて、どこから先は言えないのかが分かっている分析は、それだけで会議の質を変えます。データを見なくても書けるレポートとの違いは、まさにここにあります。
エピローグ AIに教えることは、自分の仕事を言語化すること
最後に、少しだけ自分の話をします。
私は15年以上、データ分析を仕事にしてきました。ニールセンでブランド調査をするところから始まり、ソーシャルゲームというクローズな環境でグロースや立ち上げを経験し、いまはnoteという大きなコンテンツプラットフォームで、多種多様なデータを見ながら、大きく跳ねた成功も、日の目を見なかった数々の失敗も見てきました。
正直に言うと、AIが分析を始めたとき、複雑な気持ちがなかったといえば嘘になります。私が長い時間をかけて覚えたSQLやでデータの知識を、AIは一瞬で書く。私の「真ん中」の仕事は、確かにAIに移りました。
でも、AIに分析の頼み方を教えようとして、不思議なことが起きました。期間をどう切るか。どの指標を落とすか。結果をどこまで信じるか。——15年間、無意識に、ほとんど反射でやってきた判断を、AIに渡すためには言葉にしなければならない。言葉にして初めて、私は自分が毎日何をしていたのかを知ったのです。
この記事に書いた「3つの関所」は、その言語化の途中経過です。そしてこれは、分析に限った話ではないと思っています。営業にも、編集にも、経理にも、その道の人が無意識でやっている判断——渡す前に絞る、先にストーリーを想像する、疑いながら読む——が必ずある。AIに仕事を教えることは、仕事を奪われることではなく、自分の仕事の正体を知ることでした。
専門家の価値は、AIに消されるのではありません。言語化できた人から順に、次の場所に運ばれていくのだと思います。
あなたの仕事の関所は、どこにあるのか。その答えを言葉にしたとき、AIはあなたの代わりではなく、あなたの分身になってくれるのではないかと思います。
