科学の「門番」はもう人間じゃなくてもいい？論文査読AIをめぐる5つの意外な真実

科学論文の査読（ピアレビュー）と聞くと、多くの人は厳格で信頼性の高い、科学の品質を保証する「門番」のようなシステムを思い浮かべるでしょう。その理想像は、専門家による公平かつ緻密な評価を通じて、研究の質を担保するというものです。この門番がいるからこそ、私たちは医療、政策、テクノロジーの根幹をなす科学を信頼できるのです。

しかし、その門番は今、疲弊し、機能不全に陥りつつあります。論文が出版されるまでに数ヶ月から1年以上かかる遅延。米国だけで年間15億ドル（約2300億円）以上と試算される膨大なコスト。そして、全査読業務の約半分を、わずか上位10%の研究者が担っているという、一部への極端な負担集中。理想とは裏腹に、現在の査読システムは音を立てて崩れ始めているのです。

この「壊れた」システムを、AIは救うことができるのでしょうか？本記事では、論文査読AIをめぐる議論の中で見過ごされがちな、私たちの常識を覆す5つの意外な真実を、最新の研究データに基づいて解説します。それは単なる脅威か救世主かという二元論を超え、科学の未来そのものを再設計する鍵となるかもしれません。

1. 驚愕の事実：人間の論文査読は、すでに「かなり壊れている」

AIの性能を議論する前に、まず私たちが比較対象とすべき「人間の査読」の現状を直視する必要があります。データが示す現実は、驚くほど脆弱です。まず、査読者たちが下す「受理」「修正」「却下」といった推奨の一致率は、「偶然をわずかに上回る程度」しかありません（Kravitz et al., 2010）。誰が査読者になるかという運が、論文の採否を大きく左右しているのです。さらに、意図的に8つの重大な欠陥を埋め込んだ論文を査読させた衝撃的な実験では、査読者が検出できた欠陥は平均でわずか2つ、全体の4分の1に過ぎませんでした（Godlee et al., 1998）。品質保証の役割を果たせていない実態がそこにあります。加えて、システムはバイアスに満ちています。有名な著者や一流大学の論文が優遇される傾向（Tomkins et al. 2017）や、男性著者の論文がわずかに受理されやすくなる性別による偏り（Murray et al., 2019）も報告されています。そしてこのシステムは、世界中の研究者が年間1億時間以上を費やす、数十億ドル規模の無償労働によって支えられているのです（Aczel et al., 2021, Publons, 2018）。
AI査読を評価する際には、理想化された完璧な人間ではなく、この欠陥だらけの現状と比較するという冷静な視点が不可欠です。

2. 予想外の品質：AIの査読は、驚くほど「人間と同等かそれ以上」

この惨状を前に、AIに期待がかかるのは当然かもしれません。しかし、多くの人が抱く「AIのレビューは質が低い」という懸念は、果たして事実に即しているのでしょうか？最新の研究は、その常識を根底から覆す結果を示しています。
Nature誌などのトップジャーナルに投稿された論文を含む大規模な研究では、研究者の82.4%が、GPT-4（現在は旧モデル）が生成した査読レポートを「少なくとも一部の人間の査読者より役立つ」と評価しました（Liang et al. 2024）。さらに、査読者間の一致率についても、AIと人間の査読内容の一致率（例：30.9%）が、人間同士の一致率（例：28.6%）と同等か、わずかに高いことが示されました（Liang et al. 2024）。これは、AIの評価が人間の専門家と遜色ないレベルに達していることを示唆しています。
もちろん、これらの研究はまだ初期段階のものであり、AIの性能を結論づけるのは時期尚早です。しかし、少なくともAIが人間の査読に匹敵する、あるいはそれを超える可能性を秘めていることを示す、重要な兆候と言えるでしょう。すでに旧世代となったモデルでこの結果なのですから、最新AIの潜在能力は計り知れません。

3. 逆転の発想：AIの欠点とされる「幻覚」や「バイアス」は、人間も抱える問題である

AIの導入に際して、最も懸念されるのが「幻覚（ハルシネーション）」と「バイアス」の問題です。しかし、この問題を考える上でも、現状の人間システムとの比較が重要になります。
AIが事実に基づかない情報を生成する「幻覚」は、AI固有の欠陥というよりも、使い方に起因する「ユーザーエラー」の一種と捉えるべきだという見解があります。ある専門家が指摘するように、AIの「幻覚」は、AIが論文データベースのような外部情報源にアクセスできない状態で無理に答えさせようとすると、決定的な答えの代わりに「もっともらしい例やテンプレート」を生成してしまう現象なのです。
また、AIが訓練データからバイアスを学習する懸念は事実です。しかし、思い出してください。第一章で見たように、人間もまた、有名大学の著者を優遇し、性別による偏見を示すなど、深刻なバイアスから逃れられていません。ここで重要な違いは、「AIのバイアスは、人間のバイアスよりも監査や体系的な修正がはるかに容易である」という点です。人間の無意識の偏見を正すのは困難ですが、AIのバイアスは技術的なアプローチによって特定し、体系的に是正することが可能なのです。

4. 未来の姿：査読を行うのは「一体のAI」ではなく、「専門家AIチーム」

未来のAI査読は、単一の汎用AIがすべての評価を行うような単純なものではありません。私たちが目の当たりにするのは、複数の専門家AIがチームを組んで査読にあたる、より高度な「マルチエージェント・システム」です。
それはまるで、各分野の専門家が集う夢の委員会です。一人のAIが統計の妥当性を厳しくチェックし、別のAIが研究の新規性を過去の論文と照らし合わせ、さらに別のAIがその論文が社会に与えるインパクトを予測する。彼らは互いに議論し、時には意見を戦わせながら、一つの統合された査読レポートを練り上げていくのです。すでに、特定分野のデータで訓練された専門AI「OpenReviewer」がGPT-4の2倍の精度を達成した事例（Idahl & Ahmadi, 2024）や、このようなAIチームが人間の査読者よりも論文の採択を正確に予測したという研究（Bougie & Watanabe 2024）も報告されています。
この「専門家AIチーム」によるアプローチは、複数の分野にまたがる学際的な研究を評価したり、特定の学派に偏らない多角的な視点を提供したりする上で、特に強力なツールとなるでしょう。

5. 本当の課題：問題はAIの知能ではなく、人間の「過信」と「スキル低下」

AI査読の導入における最大の障壁は、技術的な問題よりもむしろ人間側にあります。特に深刻なのが「自動化バイアス」と「スキル低下」のリスクです。
自動化バイアスとは、人間がAIの提案を無批判に受け入れ、自らの専門的判断を放棄してしまう現象です。放射線医学の分野で、経験豊富な医師がAIの誤った診断を信じて自らの正しい判断を覆してしまった事例（Dratsch et al. 2023）も報告されており、査読においても同様のリスクが懸念されます。また、他者の論文を批判的に読む査読という行為は、研究者にとって重要な訓練の機会です。AIへの過度な依存が、科学コミュニティ全体の批判的思考力を低下させてしまう「デスキリング」の恐れもあります。
しかし、この問題を「スキル低下」ではなく「専門性の再調整」と捉え直すべきです。電卓が普及して暗算能力の重要性は低下しましたが、その分、人々はより高度な数学的問題に取り組めるようになりました。同様に、AIが定型業務を代行することで、人間はより本質的な概念の評価や創造性の吟味に集中できるようになります。この変化は、研究者のキャリアパスとも重なります。若手研究者は論文を書く「作り手」ですが、シニアになるにつれて他者の研究を評価する「評価者」へと役割がシフトします。AIの監視役を担うことは、この自然な専門性の進化の一環なのです。私たちに求められるのは、AIの出力を鵜呑みにすることなく、それを批判的に評価し、戦略的に活用するための新しい「AIメタスキル」なのです。

結論：科学の未来を形作るための、私たちの選択

本記事で見てきたように、人間による現在の査読システムは深刻な欠陥を抱えており、AIはそれを改善する大きな可能性を秘めています。AIの品質はすでに人間と遜色ないレベルに達しつつあり、その欠点とされるバイアスなどは、人間が抱える問題と比較すれば、むしろ対処しやすい側面さえあります。未来の査読は専門家AIチームが担うかもしれませんが、本当の課題は技術ではなく、それを扱う人間の過信やスキルの変化にあるのです。
AIを、人間の代替物としてではなく、人間の判断を「拡張するツール」として位置づけることが重要です。無批判な導入も、感情的な拒絶も、科学の進歩を妨げます。私たちに必要なのは、慎重な実証実験と透明性の高いガバナンス設計を通じて、AIを科学の発展にどう活用していくかを冷静に議論することです。
科学的知識の正当性を保証するこの「門番」の仕組みを、私たちはこれからどのように再設計していくべきでしょうか？その答えは、技術だけでなく、私たちの選択にかかっています。

解説動画：

その他記事、コラム、書籍はこちら↓