ロボットによるシステマティックレビュー

📖 文献情報 と 抄録和訳

実世界のシステマティックレビューにおける機械学習によるリスクオブバイアス評価の精度と効率性。非劣性ランダム化比較試験

📕Arno, Anneliese, et al. "Accuracy and Efficiency of Machine Learning–Assisted Risk-of-Bias Assessments in “Real-World” Systematic Reviews: A Noninferiority Randomized Controlled Trial." Annals of Internal Medicine (2022). https://doi.org/10.7326/M22-0092
🔗 DOI, PubMed, Google Scholar 🌲MORE⤴ >>> Connected Papers
※ Connected Papersとは？ >>> note. https://note.com/super_human/n/ncf081a0e1d6d

🔑 Key points
・システマティックレビュー(Systematic review, SR)の半自動化技術(robot reviewer, RR)
・RRのバイアスリスク評価の精度を調査
・RRによる評価は人間のみと比較して精度が劣っていない
・RRは人間のみと比較して早いかもしれない

[背景・目的] 自動化は、最新の高品質な健康エビデンスを維持することがますます困難になっていることに対する解決策として提案されている。リスクオブバイアス（Risk of Bias, RoB）評価など，半自動化されたデータ統合の有効性を評価するエビデンスは乏しい．目的：RobotReviewerを用いたRoB評価は、人間のみで行う評価と比較して、精度や効率において劣らないかどうかを判断すること。

[方法] デザイン：2群並行、非劣性、無作為化試験。(モナシュ研究室プロジェクト11256）。参加者2018年2月から2020年5月の間にCochrane RoB評価を完了した、これまでRobotReviewerを使用していなかったシステマティックレビュー担当者。介入：介入群では、査読者はRobotReviewerによって事前に入力されたRoBフォームを受け取り、比較群では、査読者は白紙のフォームを受け取りました。研究は、単純無作為化により、RobotReviewerの支援を受けるために、レビュアー1またはレビュアー2のいずれかに1対1の割合で割り当てられた。参加者は、各RoBフォームの作業を開始する前に、研究の割り当てについて盲検化された。主要アウトカムは、個々のレビュアーのRoB評価の正確さと、個々の評価を完了するために必要な人の時間であった。領域レベルのRoB精度は副次的な結果であった。

[結果] 募集した15のレビューチームのうち、7チームが試験を完了した（145の研究が含まれる）。

■ RoB評価精度
RobotReviewerの統合により、RoB評価精度は全体的に劣らないものとなった（リスク差、-0.014［95％CI、-0.093～0.065］；介入群。88.8％の正確な評価、対照群。介入群：正確な評価88.8％、対照群：正確な評価90.2％）。

■ レビュー時間
人の時間のアウトカムについては、データは決定的ではなかった（RobotReviewerは1.40分［CI, -5.20～2.41 分］を節約した）。ユーザーの行動にばらつきがあり、評価可能なレビューの数が限られていたため、時間のアウトカムの推定が不正確であった。

[結論] 健康関連のシステマティックレビューにおいて、RobotReviewerによる支援で行われるRoB評価は、RobotReviewerによる支援なしで行われる評価よりも精度が劣っていないことが示された。

🌱 So What?：何が面白いと感じたか？

今回、ちょっと暑苦しく、危機的に、勢い込んで書くと思う！ #見捨てずについてきて
この論文のタイトルを見たときに、僕はこう思った。

「やばい、機械がエビデンスレベルのピラミッドを駆け上がっている！」

これまで僕が見てきたのは、機械学習による「単一の原著論文」だった。
それは、業界に1つの事実を与えるが、それがそのまま真実にはならない。
「ああ、そういう結果が出たのね。でも、多数の論文の結果を束ねてみないと真実はわからないよね」と。
じゃあ、その真実はどうやってわかるか？
それは、エビデンスレベルの頂上付近で決されることが多いと思う。
すなわち、システマティックレビュー、メタアナリシス、あるいはそれより高次元のレビューだ。

🌍 参考サイト >>> site.

そして、その「真実」がなぜ重要か？
人間の行動やシステム、そして医療の方向性を決めているから。
もっとわかりやすく言えば、その真実によって、各診療ガイドラインが構成されやすい。
今回の論文を見て思った危機感は、機械がこの頂上付近にまで迫っているという焦りだ。
機械がピラミッドを駆け上がってきている。
頂点まで上がりきったとき、そのとき、世界の意思決定は誰が持っていることになるのだろう。人間？機械？

生殺与奪の権を他人に握らせるな
冨岡義勇

確かに、機械は便利で、効率的で、正確かもしれない。
その一方で、利便性には、その仕組みの隠蔽が必ずつきまとう。コインサイドがある。
そして、どんな仕組みがあったとしても、人間は利便性には抗いにくいことは、歴史が証明している。
たとえば、洗濯機。
子どもを殺す危険性があるからといって、今更洗濯板持ち出しますか？という話。
だから、僕たちがやれることは多分「機械は使わない」ということではない気がしている。

僕が思うのは、倫理、道徳の検証は他のドメインより『太字・赤字・蛍光黄色マーカー』にすべきじゃないかってことだ。そして、人間による検証は、主にその部分に時間をかけよということ。
いいか。機械は「正しい」ものを検出するんだ。
そして、正しさ同士の衝突が、最大の暴力(War)になりうるということを忘れてはいけない。
僕たち人間は、「正しく」てかつ、「善い」ものを選ぶんだ。
善悪の彼岸に、僕たちは今立たされている。

「善悪？そりゃお前の主観だろ！科学に主観を持ち込むな！」

いや違う。断じて違う！
それを言ってたら、生殺与奪の権は機械に移る。
主観を、善悪を急いで科学しなきゃならん、という話なんだ。
以下の問いに答えてほしい。

「あなたにとって、ほんとうの『善さ』はなんですか？」

効果の大きさですか、コストですか、効率性ですか、人権保護ですか、安全性ですか。
たくさんの良さの中から、いくつかの『善さ』を選択しなければならない。
そして、それらを機械にしっかり教えること、それが人間の責務だろう。
禰󠄀豆子に「人を食べない & 守る」ことをしっかりプログラミングした鱗滝さんのように。
人間性を脅かす可能性があるテクノロジーには、過度に慎重になった方がいい。

モモの「モモ」、ジュラシックパークの「マルコム」、ラピュタの「パズーとシータ」、最近ではそばかすの姫の「Belle」。ファンタジーやSF映画の中で、いつも、ここぞで世界を救ってきたのは、『人間性』を尊重してきた彼らだった。
彼らは、現実そのものではないかもしれない。
だが、真実性を有するからこそ、これほどまでに僕たちの心を打つと信じっている。
その教育の成果を、今こそ出そうじゃないか！
さあ、問いは既にある…

「善さとは、何だ？」

○●━━━━━━━━━━━・・・‥ ‥ ‥ ‥
良質なリハ医学関連・英論文抄読『アリ：ARI』
こちらから♪
↓↓↓

‥ ‥ ‥ ‥・・・━━━━━━━━━━━●○

#️⃣ #理学療法 #臨床研究 #研究 #リハビリテーション #英論文 #文献抄読 #英文抄読 #エビデンス #サイエンス #毎日更新 #最近の学び