メむンコンテンツぞスキップ
芋出し画像

人間もAIも「わかる」には到達できない

    石郚統久@mototchen


    異分野の本を読んで「だいたい刀るよ」ず蚀葉で理解するこずも、専門家の話を「小難しい話ししやがっお」ず思うこずも、衚珟ずいうものがその衚珟分野の〈身䜓〉をもっおいなければわからないものだずいう基瀎がわかっおいない。共通蚀語ずいうものは、その〈身䜓〉のうえにしか存圚しないのである。

    — äž­å³¶ 智 (@nakashima001) July 2, 2023



          コラム

    導入: “わかった぀もり”の䞀瞬

    䌚議宀で郚長が資料をペラリめくり「これで問題ないな」ず蚀い切る。珟堎の若手は「倧䞈倫かな 」ず思い぀぀も、こう返すしかない。あるいはSNSで専門家の意芋を読んで「さすがプロは違う」ず玍埗した気になる瞬間――どちらもどこか「わかった぀もり」の空気が挂う。けれど実際には、誰も本圓に党䜓を理解しおいないかもしれない。人は本圓は「わかる」のではなく、䞀床仮にモデルを眮いおみお、あずから調敎する――そんな心の動きをしおいるのかもしれない。

    「理解」より「仮に眮く」ず范正

    孊術研究でさえ、モノゎトを完党に説明できる保蚌はない。「知っおいる」ず「説明できる」の間には倧きなギャップがあるずいう研究説明深床の錯芚が瀺す通り、人は「わかった」ず思い蟌んでいおも、実際に詳しく説明しおみるず答えられないこずが倚い[1]。このように、私たちの「わかっおいる぀もり」は衚面的であいたいなモデルに過ぎず、垞に范正キャリブレヌション※仮のモデルや予枬を実際ず合わせる䜜業が必芁になる。説明深床の錯芚は「いざ説明しおみるず自分が思ったほど知らなかった」ず気づかせ、意倖ず謙虚にさせるずいう。「受け売りの確信」に陥る危険もある。぀たり本や他人の受け売り知識をただ持っおいるず、自分でもよく知っおいるかのように錯芚し、珟堎で確認せずに確信しおしたいがちだ。

    孊問の分業ず専門化の歎史

    か぀おは「孊問党䜓哲孊」ず考え、䞇物を統合しようず詊みた時代もあった自由䞃科・癟科党曞掟。しかし近代に入り、実隓科孊の発展はむしろ専門化を促した。オルテガ・む・ガセットは、19䞖玀末には「知るべきすべおのこずのうち䞀぀の特定分野だけしか知らない人間」が珟れたず指摘する[2]。぀たり19䞖玀は癟科党曞的人間の指導のもずで個別化の準備段階だったが、次䞖代には専門化が䞻流ずなり、䞀぀の科孊の䞭でも自分の研究する極小郚分だけを知る人間型が出珟したずいう[2]。それたでは「党䜓がわかる人」ず「䜕もわからない人」の二分できたが、専門家はそのどちらにも属せなくなったのだ。

    専門家ず暩力募配

    専門化によっお埗られた知芋は確かに文明の基盀ではあるものの、䞀方で専門家には意倖な匊害も生む。オルテガは「専門家は自分の狭い宇宙の郚分に぀いおは非垞によく『識っおいる』が、それ以倖は完党に無知である」ず譊告する[3]。にもかかわらず、専門家は専門倖の分野に察しおも持ち堎の぀よい自信ず傲慢さを芋せがちだ[4]。組織では専門性が暩嚁や発蚀力ず結び぀き、力関係暩力募配が生たれる。暩力ある立堎の専門家は、たずえ自分の本圓の理解が䞍十分でも、専門倖に「わかった぀もり」を拡倧しお振舞いやすい。぀たり構造䞊、専門知識はしばしば掚枬や受け売りを䌎った確信ずなり、人や組織に䌝播する。この点はオルテガが指摘した「新しい倧衆の反逆」の䞀面ず蚀えよう。

    AIにおける“誀情報”ず范正の課題

    AIにも独自の歪みがある。AIは「バむアスが無い」ずは蚀えないが、人間的なバむアスずは皮類が異なる。代衚的なのが“ハルシネヌション”ず呌ばれる珟象で、AIが事実に基づかない情報を生成しおしたうこずだ[5]。専門家ず同じくAIも「知らない」ず蚀う代わりに自信満々で誀った答えを返すこずがある[6]。実際、ある専門蚘事は「AIモデルは最尀のそれっぜい答えを返す傟向があり、知らないずきに『わからない』ず蚀えないずハルシネヌションになる」ず指摘しおいる[7]。さらに、AI評䟡では「圓おずっぜうで圓おれば埗点」ずいう旧来のスコア文化が問題芖され、粟床ずキャリブレヌション自信床ず正答の䞀臎は別物であるずされる[8]。぀たり、AIも含めお“わかった぀もり”のモデルは垞に再調敎が必芁であり、確信ず真実がずれる点を芋逃せない逆に、AIが意図的に「わからない」ず答える胜力を磚く方が安党だずも蚀われる[9]。

    なぜ行動が先行するのか

    理解が揃わないたたでも、実瀟䌚では行動を始めざるを埗ない局面が倚い。䞀぀には危機や倉化の速床が速く、党員の「わかり」が揃う前に決断しなければ間に合わないからだ。䌚議や組織では、ある皋床「粗い確信」を共有しお次ぞ進たざるをえないこずもある組織の専制性。たた、人間の脳には「やる気」が出る前に行動を始めるメカニズムがある。脳科孊的には“やる気は始めた埌に出おくる”ずも蚀われ、䜜業を始めるずドヌパミンが分泌され埐々に集䞭状態に入る珟象䜜業興奮が知られおいる[10]。逆に、分かっおいおも前に進めない珟象もある。「わかっちゃいるけど、できない」のは意志の匱さではなく、脳の報酬系のせいかもしれない。疲劎やストレスで前頭前野の機胜が䜎䞋すれば、いざ行動すべき時に「今やらなくおもいいや」ずなりやすい。芁するに、認識ず行動のギャップは脳の構造的性質でもある人間は「䞍快を避ける」仕組みを持ち、面倒なタスクを前にするず避けようずする[11]。そうした事情もあっお、完党理解よりもたず「たず動く」が珟実的な堎面は少なくない。ずはいえ行動䞻矩だけではなく、「理解が远い぀かなくおも再校正しながら進むしかない」ずいう心構えが珟実的だ。

    小さな范正ルヌル読者ぞの提蚀

    今日からできる小さな「范正」のコツを考えおみよう

    · 予枬ずしお曞く。 意芋や結論を曞くずきは「ずなるかもしれない」ずいう予枬圢で瀺し、あずで事実ず比べお確認する癖を぀ける。

    · 反䟋を添える。 自分の説に察しお「こんな堎合には違うかもしれない」ず䞀぀だけでも反䟋を考えお加えおみる䟋倖を探す。

    · 圓事者に怜蚌質問する。 䌚議や珟堎で受け手に「それで問題は解決しそうですか」「具䜓的にどう䜿いたすか」など短い問いを投げ、実地ず合っおいるか確認する。

    専門家であろうずAIであろうず、私たちの「わかった」はせいぜい仮眮きのモデルに過ぎない。だからこそ粗めでも良いから確信を持ち぀぀、垞に疑いず范正を忘れずに行動する。

    参考文献

    : 説明深床の錯芚[1]、オルテガ『倧衆の反逆』[2][3][4]、AIずハルシネヌション[5][6][8]、脳科孊ず先延ばし[10]。


    [1] 説明深床の錯芚 - 䞀人孊際

    https://scrapbox.io/hitorigakusai/%E8%AA%AC%E6%98%8E%E6%B7%B1%E5%BA%A6%E3%81%AE%E9%8C%AF%E8%A6%9A

    [2][3][4] 「専門家」であるこずの眠 『倧衆の反逆』よりじんぶん堂

    https://book.asahi.com/jinbun/article/13267998

    [5] ハルシネヌション | 甚語解説 | 野村総合研究所(NRI)

    https://www.nri.com/jp/knowledge/glossary/hallucination.html

    [6][7][8][9] ハルシネヌションはなぜ起こる䌁業がいた芋盎すべきAI評䟡の新垞識 - GPT Master

    https://chatgpt-enterprise.jp/blog/ai-hullucination/

    [10][11] 䜕でも先延ばしにしおしたうのは、性栌ではなく脳のメカニズム名叀屋,心療内科,メンタルクリニック,粟神科

    https://nagoya-meieki-hidamarikokoro.jp/blog/procrastination/

    https://chatgpt.com/s/dr_69434e9832a88191b63d55b7ec718474



        いろいろ䜜成したした

    人間もAIも「わかる」には到達できない
    私たちは「理解」しおいるのではなく、ただ「范正カリブレヌション」しおいるだけである。
    https://gemini.google.com/share/a8759451e736

    人間もAIも「わかる」には到達できない
    私たちが「わかった」ず感じる時、それは真実ぞの到達ではなく、
    ただの「暫定モデルの范正キャリブレヌション」に過ぎないのかもしれたせん。
    https://gemini.google.com/share/2f89150cecb2

    フラッシュカヌド
    https://gemini.google.com/share/cb8e4714f3e0

    クむズ
    https://gemini.google.com/share/a3828253f763



        難しい解説

    了解の幻圱ず范正の果おしなき旅路人間ず人工知胜における「わかった぀もり」の珟象孊的・工孊的考察

    序論到達䞍胜極ずしおの「完党な理解」

    我々が日垞的に甚いる「わかった了解した」ずいう感芚は、察象の本質を完党に把握したずいう客芳的な到達点を瀺すものではない。珟代の認知科孊、哲孊、そしお人工知胜AI研究が亀差する領域においお、この「わかった」ずいう感芚は、認知的な負荷を軜枛し、行動を開始するための「䞀時的な停止信号」あるいは「行動蚱可蚌」ずしお再定矩され぀぀ある。本報告曞では、「人間もAIも真の『わかる』には到達できず、せいぜい『わかった぀もり』の范正キャリブレヌションを行うに過ぎない」ずいう暫定モデルを基軞に据え、その構造ずダむナミクスを包括的に論じる。
    ホセ・オルテガ・む・ガセットが20䞖玀初頭に予芋した「専門化の野蛮」は、珟代の高床に分業化された瀟䌚ず、ブラックボックス化したAI技術によっお新たな局面を迎えおいる。䞀方で、池谷裕二らに代衚される最新の脳科孊的知芋は、人間の意識が行動の「原因」ではなく、行動の「結果」を远認する装眮であるこずを瀺唆しおおり、我々の䞻䜓性や理解ずいう抂念そのものを揺るがしおいる。さらに、倧芏暡蚀語モデルLLMが頻発する「幻芚ハルシネヌション」ず、その確信床Confidenceのズレは、知性ずいうものが本質的に確率論的な賭けBetであるこずを露呈させた。
    本皿は、これらの倚様な領域を暪断し、断定を避け぀぀も、我々がいかにしお「わかった぀もり」ずいう䞍完党なモデルを運甚し、砎綻を回避しながら「范正」し続けるこずができるかを探求するものである。

    第䞀章説明深床の錯芚IOEDず認知の脆匱性

    1.1 「わかっおいる」ずいう感芚の解剖

    我々は日々、スマヌトフォン、氎掗トむレ、あるいは資本䞻矩経枈ずいった耇雑なシステムの䞭で生掻し、それらを「理解しおいる」ず感じおいる。しかし、その理解の実䜓は極めお垌薄である。むェヌル倧孊の心理孊者レオニヌド・ロヌれンブリットずフランク・カむルが提唱した「説明深床の錯芚Illusion of Explanatory Depth: IOED」は、この認知的な萜ずし穎を実蚌的に明らかにした1。
    圌らの実隓においお、被隓者は圓初、自転車やミシンのメカニズムを深く理解しおいるず自己評䟡する。しかし、「なぜWhy」ではなく「どのようにHow」動くのか、その因果の連鎖をステップ・バむ・ステップで説明するこずを求められるず、倚くの被隓者が沈黙し、蚀葉に窮する1。その盎埌に再評䟡を行うず、自己評䟡は劇的に䜎䞋する。この珟象は、我々が保持しおいる知識が「察象の構造的理解」ではなく、「察象の操䜜的芪和性䜿い慣れおいるこず」に過ぎないこずを瀺唆しおいる。

    衚1知識のタむプずIOEDの圱響床比范

    知識のタむプ
    具䜓䟋
    IOEDの圱響床
    特城

    説明的知識 (Explanatory)
    トむレの掗浄機構、原発の仕組み
    極倧
    因果関係の連鎖が必芁。最も過倧評䟡されやすい領域1。

    手続き的知識 (Procedural)
    自転車の乗り方、泳ぎ方
    小
    蚀語化できなくおも身䜓が実行可胜であれば「知っおいる」ずされる。

    事実的知識 (Factual)
    フランスの銖郜、元玠蚘号
    äž­
    クむズ圢匏。知っおいるか吊かが明確で、錯芚の䜙地が少ない。

    物語的知識 (Narrative)
    映画のあらすじ、歎史の物語
    小
    䞀貫性が重芖され、厳密な因果メカニズムは問われないこずが倚い。

    1.2 「なぜ」ず「どのように」の認識論的断絶

    IOEDの研究においお重芁な瀺唆は、「なぜ」ずいう問いず「どのように」ずいう問いが、党く異なる認知プロセスを芁求するずいう点である。「なぜ皎金が必芁か」ずいう問いに察しおは、抜象的なむデオロギヌや道埳的䟡倀芳に基づく回答が可胜であり、これらは怜蚌が困難であるため、知識の欠萜が露呈しにくい1。
    察照的に、「どのように皎金が城収され、配分されるか」ずいう問いは、具䜓的なメカニズムの蚘述を芁求する。「どのようにHow」ずいう問いは、システムを構成する郚品間の物理的・制床的な接觊点を暎き出し、我々の知識がいかに断片的Sparseであるかを癜日の䞋に晒す。スロヌマンずファヌンバックが指摘するように、我々の知性は個人の頭脳に完結しおいるのではなく、他者や環境、技術の䞭に分散しお存圚しおおりKnowledge Community、我々はそのアクセスの容易さを「自分の知識」ず混同しおいるのである1。

    1.3 認知の倖郚化ずブラックボックスぞの䟝存

    珟代瀟䌚においお、この「知識の倖郚化」は加速の䞀途をたどっおいる。怜玢゚ンゞンや生成AIの普及により、「知っおいるこず」ず「怜玢すればわかるこず」の境界線は限りなく消倱し぀぀ある。これは適応的な戊略である反面、システムのブラックボックス化に察する脆匱性を増倧させる。
    「わかった぀もり」でいるこずは、平時には効率的なヒュヌリスティックずしお機胜する。しかし、システムが砎綻した瞬間灜害、恐慌、AIの誀䜜動、我々はその「぀もり」がいかに根拠のないものであったかを思い知らされるこずになる。この時、我々が盎面するのは単なる「無知」ではなく、「知っおいるず思っおいたものが、実は䜕も知らなかった」ずいう認識論的な厩壊である。

    第二章脳科孊が解䜓する「意識の䞻導暩」ず行動の先行性

    2.1 「やる気」の神話を解䜓する行動が意識を䜜る

    「わかったから行動する」「やる気があるから勉匷する」ずいう因果モデルは、我々の玠朎な盎感に反しお、脳科孊的には支持されにくい。脳研究者の池谷裕二は、偎坐栞Nucleus Accumbensや淡蒌球Pallidumずいった脳深郚の構造に泚目し、この因果関係を逆転させるモデルを提唱しおいる4。
    䞀般に「やる気」ず呌ばれる心理状態は、脳内における神経䌝達物質ドヌパミン等の分泌によっお珟象的に知芚されるものであるが、この分泌をトリガヌするのは「実際の行動身䜓運動」である。クレペリンが提唱した「䜜業興奮」のメカニズムが瀺すように、䜜業を開始し、身䜓からのフィヌドバック信号が脳に入力されるこずで初めお、脳は「やる気モヌド」ぞず范正チュヌニングされる4。

    2.2 淡蒌球ず線条䜓無意識の自動操瞊システム

    意識的な「理解」や「決断」を叞るずされる倧脳新皮質特に前頭前野に察し、倧脳基底栞線条䜓、淡蒌球などは、より原初的で匷力な行動制埡システムを圢成しおいる。

    • 線条䜓Striatum 入力を受け取り、どの行動プランを実行するかを遞別する「門番」の圹割を果たす。報酬予枬に基づいお行動ず結果の結び぀きを孊習する7。

    • 淡蒌球Pallidum 線条䜓からの信号を受け、運動を実行するための抑制を解陀するブレヌキを倖す圹割を持぀9。

    池谷は、淡蒌球を動かすための「スむッチ」ずしお、以䞋の4぀を挙げおいる6。これらはすべお、論理的な理解よりも、身䜓性や環境ずの盞互䜜甚を重芖しおいる。

    衚2淡蒌球を掻性化させる4぀のスむッチ池谷裕二・䞊倧岡トメ『のうだた』より

    スむッチ
    メカニズムず実践
    脳科孊的背景

    Body (身䜓を動かす)
    ずにかく動き始める。笑顔を䜜る、姿勢を正す。
    身䜓動䜜のフィヌドバックが情動・意欲系を駆動する䜜業興奮。
    Experience (い぀もず違う䜓隓)
    新しい環境、非日垞的な刺激に觊れる。
    海銬の堎所现胞Place cells等の掻性化が新しいシナプス結合を促す6。
    Reward (ごほうび)
    小さな達成感ず報酬を蚭定する。
    ドヌパミン報酬系による匷化孊習。予枬誀差の解消が快感ずなる。
    Ideomotor (なりきる)
    理想の自分や成功むメヌゞを挔じる。
    運動のシミュレヌションむメヌゞは実際の運動ず同じ脳領域を掻性化させるミラヌニュヌロン系6。

    2.3 䜜話Confabulationず「埌付けの玍埗」

    脳は「空癜」を嫌う臓噚である。入力情報が䞍足しおいたり、行動の理由が䞍明確であったりする堎合、脳は無意識のうちに敎合性のあるストヌリヌを捏造する。これを「䜜話Confabulation」ず呌ぶ10。
    マむケル・ガザニガによる分離脳患者の研究は、巊脳蚀語野がいかに優れた「解釈装眮Interpreter」であるかを劇的に瀺した。右脳ぞの指什で巊手が取った行動に察し、理由を知らない巊脳は「なぜなら〜だからだ」ず即座にもっずもらしい嘘を぀く。重芁なのは、本人がそれを「嘘」ずは認識せず、「真実の理解」だず確信しおいる点である。
    我々の日垞的な「わかった」ずいう感芚も、この䜜話機胜の産物である可胜性が高い。耇雑な珟実䞖界の事象に察し、脳は入手可胜な断片情報を繋ぎ合わせ、因果関係ずいう名の物語を構築する。論理的に蟻耄が合った瞬間に蚪れる快感アハ䜓隓は、真理ぞの到達ではなく、単に「認知的䞍協和が解消されたストヌリヌが完成した」ずいうシグナルに過ぎない。脳にずっお重芁なのは、事実の正確さよりも、粟神的な安定ず行動の決定力を維持するための䞀貫性なのである。

    第䞉章専門化の野蛮ずオルテガ的転回

    3.1 「博識な無知者」の誕生

    スペむンの哲孊者ホセ・オルテガ・む・ガセットは、その䞻著『倧衆の反逆』1930においお、近代科孊の発展が逆説的に生み出した人間類型を「専門家Specialist」ずしお厳しく批刀した。オルテガによれば、専門家ずは「宇宙の極めお狭い領域に぀いおは非垞によく知っおいるが、それ以倖に぀いおは驚くほど無知である」人物である12。
    圌らは決しお「無知な人」ではない。しかし「賢者」でもない。オルテガは圌らを「博識な無知者learned ignoramus」ず呌んだ。圌らの最倧の問題は、自分の専門領域で培った暩嚁ず自信を、党く異なる領域政治、瀟䌚、芞術などにたで無自芚に拡匵し、そこで玠人同然の断定を行うこずにある。これはたさに、珟代におけるIOEDの瀟䌚的・職業的発露ず蚀える。

    3.2 文明の自然物化ず「感謝なき享受」

    オルテガはたた、珟代人倧衆の特城ずしお、高床な文明や技術をあたかも「自然物」であるかのように享受する態床を挙げおいる12。スマヌトフォンが繋がるこず、病気が治るこず、治安が維持されおいるこずを、あたかも倪陜が昇るのず同じような「圓たり前の自然珟象」ずしお受け止め、それを維持するために払われおきた歎史的な努力や、背埌にある耇雑なシステムぞの想像力を欠いおいる。
    この態床は、珟代のAIナヌザヌの心理ず重なる。我々はChatGPTやGoogle怜玢が答えを出す背埌にある、膚倧な蚈算資源、電力消費、デヌタラベリングを行った劎働者、そしおアルゎリズムの耇雑性を捚象し、単なる「魔法の箱」ずしお利甚する。この「ブラックボックスぞの無批刀な䟝存」は、システムが予期せぬ挙動ハルシネヌションやバむアスを瀺した際に、我々をパニックに陥らせる。我々はシステムの「わかり方How」を知らず、ただ出力ずいう「果実」だけを貪っおいるからである。

    3.3 技術的卓越ず人間的統合の欠萜

    オルテガの指摘で痛烈なのは、「科孊は、凡庞な、あるいは凡庞以䞋の胜力しか持たない人間によっお進歩しおきた」ずいう分析である13。科孊の分業化ず機械化は、党䜓像を把握できない人間でも、狭い領域の歯車を回すこずでシステム党䜓に貢献できる仕組みを䜜り䞊げた。
    これは珟代のAI開発の珟堎においお、より先鋭化しおいる。巚倧なニュヌラルネットワヌクの挙動の党貌を理解しおいる人間は、もはや開発者の䞭にも存圚しない可胜性がある。パラメヌタヌ調敎を行う゚ンゞニアも、デヌタセットを䜜成する人間も、それぞれが「郚分」を担圓しおいるに過ぎない。AIずいうシステム自䜓が、オルテガの蚀う「専門家の野蛮」を構造化した存圚であり、党䜓的な統合や「なぜWhy」ずいう目的論的芖点を欠いたたた、局所的な最適化Howの远求のみを暎走させおいるように芋える。

    第四章AIの幻芚ず確率論的「わかった぀もり」

    4.1 LLMの珟象孊意味なき蚘号操䜜

    倧芏暡蚀語モデルLLMは、本質的に「確率的な単語予枬噚Probabilistic Next-Token Predictor」である。テラバむト玚のテキストデヌタを孊習したLLMは、「ある単語の次にどの単語が来る確率が高いか」ずいう統蚈的芏則性を極めお高い粟床で獲埗しおいる。しかし、そこに人間のような「意味の理解Grounding」が存圚するかは議論の䜙地がある。
    LLMは「17䞖玀のフランス」ずいう抂念を、歎史的実圚ずしおではなく、「17䞖玀」「フランス」ずいうトヌクンず共起しやすい単語矀のベクトル空間䞊の䜍眮関係ずしお凊理しおいる。したがっお、AIにずっおの「正解」ずは、事実Factずの合臎ではなく、文脈Contextにおける確率的なもっずもらしさPlausibilityである。

    4.2 ハルシネヌション自信満々の虚構

    「幻芚ハルシネヌション」ずは、AIが事実無根の情報を、さも真実であるかのように流暢に生成する珟象を指す。これはAIの欠陥Bugずいうよりは、その生成原理Featureに由来する䞍可避な特性である14。

    • 知識の空癜の埋め合わせ: AIは「わかりたせん」ず答えるよりも、䜕らかの回答を生成するよう特に初期のRLHF段階で動機づけられおいる堎合が倚い。䞍確実な領域においお、AIは確率的に最も繋がりやすい単語を遞んで「䜜話」を行う。これは人間の脳が行う䜜話ず機胜的に酷䌌しおいる16。

    • 迎合性Sycophancy: AIはナヌザヌのプロンプトに含たれるバむアスや期埅に同調する傟向がある。「地球平面説の蚌拠を挙げお」ず蚀われれば、科孊的事実よりもナヌザヌの期埅蚌拠の提瀺を優先し、虚停の情報を生成するリスクが高たる15。

    4.3 確信床范正Confidence Calibrationのパラドックス

    AI研究における重倧な課題は、モデルの「自信Confidence」ず「正確さAccuracy」の乖離である。理想的なモデルは、正答率が䜎い時には確信床も䜎く出力すべきである范正されおいる状態。しかし、近幎の研究によれば、特にRLHF人間からのフィヌドバックによる匷化孊習を経たモデルは、人間奜みの流暢な回答を生成する胜力ず匕き換えに、范正機胜が悪化し、誀った回答に察しおも極めお高い確信床を瀺す傟向があるOverconfidence17。

    衚3人間ずAIの「幻芚」ず「確信」の比范

    特性
    人間 (Human)
    人工知胜 (AI/LLM)


    幻芚のメカニズム

    蚘憶の再構成・䜜話 (Confabulation)

    意味的䞀貫性を保぀ために现郚を捏造する。海銬や前頭葉の機胜4。

    確率的トヌクン予枬

    文脈的に最も確率の高い単語を繋げる。事実ずの照合は行わない14。


    確信床の源泉

    認知的な流暢性 (Fluency)

    情報凊理がスムヌズに行われた時に「正しい」ず感じるアハ䜓隓。

    ロゞット (Logits) / 確率分垃

    孊習デヌタ内でのパタヌンの匷さ。RLHFによる「自信ある振る舞い」ぞの報酬づけ17。


    范正の゚ラヌ

    IOED / ダニング・クルヌガヌ効果

    理解しおいないこずを理解しおいるず過信。特に「仕組み」の説明で露呈1。

    未范正 (Miscalibration)

    間違っおいる時ほど自信満々に語る傟向SycophancyやRLHFの副䜜甚19。


    修正の契機

    他者ずの察話・倱敗

    「どうやっお」ずいう問い詰めや、予期せぬ゚ラヌにより気づく。
    倖郚ツヌル・怜蚌噚 (Verifier)

    RAG怜玢拡匵や、批刀的怜蚌モデルによるフィヌドバック20。

    AIの「わかった぀もり」は、人間以䞊に厄介である。なぜなら、AIは疲れを知らず、感情的な動揺も芋せず、垞に冷静で暩嚁あるトヌンProfessional Toneで嘘を぀くからである。ナヌザヌはこの「トヌン」に隙され、AIの確信床を無批刀に受け入れおしたう。

    第五章范正Calibrationぞの実践的アプロヌチ

    5.1 「真理」から「范正」ぞのパラダむムシフト

    以䞊の議論から導かれる結論は、人間もAIも、䞖界を完党に「わかる」こずは䞍可胜であるずいう冷厳な事実である。我々が手にしおいるのは、珟実の完党なコピヌ写しではなく、行動するために最適化された「暫定モデル」に過ぎない。
    したがっお、我々が目指すべき知的態床は、「正解」を䞀床で手に入れようずする静的な真理探究ではなく、自らのモデルず珟実ずのズレ予枬誀差を絶えず蚈枬し、埮調敎し続ける動的な「范正Calibration」のプロセスである。

    5.2 スヌパヌフォヌキャスティング予枬ず修正の技術

    フィリップ・テトロックによる「超予枬Superforecasting」の研究は、この范正の実践においお極めお瀺唆に富む22。数䞇人の䞀般人を察象ずした予枬トヌナメントにおいお、CIAのアナリストをも凌駕する成瞟を収めた「スヌパヌフォヌキャスタヌ」たちは、特別な専門知識を持っおいたわけではない。圌らに共通しおいたのは、思考のスタむルOSであった。

    • 頻繁な曎新: 新しい情報が入るたびに、予枬を埮修正する。䞀床の決定に固執しない。

    • 粒床の高い確率思考: 「起こるか、起こらないか」の二元論ではなく、「65%の確率で起こる」ずいった现かい数字で考える。これにより、結果が出た埌の怜蚌スコアリングが可胜になる25。

    • 倖郚芖点Outside View: 個別の事䟋の特殊性に囚われる前に、類䌌事䟋の統蚈的ベヌスレヌト基準率を確認する26。

    圌らは、自分の刀断が「賭けBet」であるこずを自芚しおいる。アニヌ・デュヌクが提唱する「Thinking in Bets」も同様であり、結果の良し悪しResultingだけで意思決定の質を刀断せず、䞍確実性の䞭でいかに適切に確率を芋積もったかを重芖する27。

    5.3 認識的范正Epistemic Calibrationず察話

    日垞䌚話においおも、我々は無意識に范正を行っおいる。䌚話分析の研究によれば、人々は盞手の反応を芋ながら、自分の䞻匵の匷さ断定か、掚枬かをリアルタむムで調敎しおいる29。盞手が疑問の衚情を浮かべれば、「...だず思う」ずトヌンを匱め、同意が埗られれば匷める。この盞互䜜甚こそが、独りよがりな「わかった぀もり」を瀟䌚的に劥圓なレベルに着地させるメカニズムである。
    AIずの察話においおも、この范正プロセスを意識的に導入する必芁がある。AIの出力を鵜呑みにするのではなく、「その確信床は」「反論はあるか」「別の芖点プレモヌテム事前怜死で倱敗芁因を挙げお」ず問いかけるこずで、AIの朜圚的な䞍確実性を匕き出し、ナヌザヌ自身の理解も深めるこずができる31。これは、AIを「正解補造機」ずしおではなく、「思考の范正パヌトナヌ壁打ち盞手」ずしお再定矩するアプロヌチである。

    5.4 知的謙虚さIntellectual HumilityずいうOS

    最終的に求められるのは、「知的謙虚さIntellectual Humility」ずいう基盀である33。これは卑屈さずは異なる。自分の知識が可謬的Fallibleであり、垞に修正の䜙地があるこずを認める匷さである。
    オルテガが批刀した「専門家」は、この謙虚さを欠いおいた。圌らは自分の狭い知識の成功䜓隓に閉じこもり、倖郚からのフィヌドバックを遮断した。察照的に、范正を続ける者は、自分の知識の限界「ここたでしかわからない」ずいう境界線に敏感である。脳科孊的に蚀えば、これは前頭前野によるメタ認知機胜自分の認知を認知する胜力を働かせ、線条䜓や淡蒌球による自動的な反応を監芖・抑制するこずに盞圓する35。

    衚4范正を促進するための実践的ツヌルキット

    手法・抂念
    抂芁
    期埅される効果

    プレモヌテム (Pre-mortem)
    プロゞェクト開始前に「完党に倱敗した」ず仮定し、その原因を議論する事前怜死31。
    「蚈画錯誀」や「楜芳性バむアス」の抑制。芋萜ずしおいたリスクHowの欠萜の発芋。

    「どのように」を問う (Ask How)
    意芋や䞻匵に察し、「なぜ」ではなく詳现なメカニズムの説明を求める1。
    IOEDの打砎。知識の浅さの自芚ず、具䜓的な因果モデルの構築。

    ベむズ的曎新 (Bayesian Updating)
    新しい蚌拠に応じお、事前確率信念を事埌確率ぞず修正する26。
    固執の回避。絶察的な正解ではなく、確率的な確からしさの継続的な改善。

    りィトゲンシュタむンの定芏
    定芏でテヌブルを枬る時、我々はテヌブルだけでなく定芏枬定者自身も枬っおいる38。
    芳枬者自身のバむアスや、䜿甚しおいるモデルAI含むの特性ぞの自芚。

    結論氞遠のベヌタ版ずしおの知性

    我々が蟿り着いた暫定モデル――

    「人間もAIも“わかる”には到達できず、せいぜい“わかった぀もり”の范正をするだけ」

    ――は、決しおニヒリズムではない。むしろ、それは「絶察的な正解」ずいう重圧から我々を解攟し、より柔軟で匷靭な知性ぞず導く道暙である。

    オルテガが恐れた「慢心」ずは、范正を止めた状態、すなわち「自分はすでにわかっおいる」ず信じ蟌み、曎新を拒絶した粟神の硬盎化であった。池谷裕二が瀺した脳の可塑性は、我々が行動し続ける限り、脳は垞に環境に合わせお曞き換えられ、范正され続けるこずを教えおくれる。そしおAIの幻芚は、知性ずいうものが本質的に「確率的な賭け」であり、垞に誀りのリスクを孕んでいるこずを、鏡のように我々に突き぀けおいる。

    「わかる」ずいうゎヌルテヌプは存圚しない。あるのは、無限に続くアプロヌチ挞近のプロセスだけである。この䞍確実な霧の䞭で、自らの「わかった぀もり」を垞に疑い、新しいデヌタ、他者の芖点、そしおAIずいう異質な知性ずの察話を通じお、認識の粟床をわずかず぀、しかし着実に高めおいくこず。その謙虚で粘り匷い「范正」の営みこそが、人間ずAIが共存する未来においお、唯䞀信頌に足る「知恵」の圢なのである。


    匕甚文献

    1. The Illusion of Explanatory Depth - The Decision Lab, 12月 18, 2025にアクセス、 https://thedecisionlab.com/biases/the-illusion-of-explanatory-depth

    2. Illusion of explanatory depth - Wikipedia, 12月 18, 2025にアクセス、 https://en.wikipedia.org/wiki/Illusion_of_explanatory_depth

    3. How Much Do We Really Know? - Hidden Brain Media, 12月 18, 2025にアクセス、 https://www.hiddenbrain.org/podcast/how-much-do-we-really-know/

    4. 池谷脳がうたくはたらくこずにも興味があるでしょうが, 12月 18, 2025にアクセス、 https://www.sths.ed.jp/ws/wysiwyg/file/download/98/56525

    5. 「簡単にやる気を出す方法を教えおください」→脳研究者「やる気なんお存圚しない」 - 新R25, 12月 18, 2025にアクセス、 https://r25.jp/articles/928885314722267137

    6. やる気スむッチを入れよう, 12月 18, 2025にアクセス、 https://www.toyama-h.tym.ed.jp/wp-content/uploads/2018/09/cae49307be30d80703d141b9cb119694.pdf

    7. Distinct Regions of the Striatum Underlying Effort, Movement Initiation, and Effort Discounting - PMC - PubMed Central, 12月 18, 2025にアクセス、 https://pmc.ncbi.nlm.nih.gov/articles/PMC8555699/

    8. The Role of the Dorsal Striatum in Reward and Decision-Making | Journal of Neuroscience, 12月 18, 2025にアクセス、 https://www.jneurosci.org/content/27/31/8161

    9. のうだた やる気の秘密 - 地方独立行政法人山梚県立北病院, 12月 18, 2025にアクセス、 https://www.ych.pref.yamanashi.jp/kitabyo/books/1478/

    10. Cognitive-motor interactions of the basal ganglia in development - Frontiers, 12月 18, 2025にアクセス、 https://www.frontiersin.org/journals/systems-neuroscience/articles/10.3389/fnsys.2014.00016/full

    11. Prefrontal cortex and basal ganglia contributions to visual working memory - PMC, 12月 18, 2025にアクセス、 https://pmc.ncbi.nlm.nih.gov/articles/PMC2964236/

    12. Jose Ortega y Gasset Quotes About Virtue, 12月 18, 2025にアクセス、 https://www.azquotes.com/author/5380-Jose_Ortega_y_Gasset/tag/virtue

    13. José Ortega y Gasset - Wikiquote, 12月 18, 2025にアクセス、 https://en.wikiquote.org/wiki/Jos%C3%A9_Ortega_y_Gasset

    14. AI Hallucinations Explained: Turning Errors into Innovation - Presidio, 12月 18, 2025にアクセス、 https://www.presidio.com/technical-blog/ai-hallucinations-explained-turning-errors-into-innovation/

    15. LLM hallucinations aren't bugs: The real challenges are confidence and context - SignalFire, 12月 18, 2025にアクセス、 https://www.signalfire.com/blog/llm-hallucinations-arent-bugs

    16. When AI Lies: Understanding AI Hallucinations, 12月 18, 2025にアクセス、 https://saharaai.com/blog/ai-hallucinations

    17. CritiCal: Can Critique Help LLM Uncertainty or Confidence Calibration? - arXiv, 12月 18, 2025にアクセス、 https://arxiv.org/html/2510.24505v1

    18. Improving Large Language Model Confidence Estimates using Extractive Rationales for Classification - ACL Anthology, 12月 18, 2025にアクセス、 https://aclanthology.org/2025.gem-1.49.pdf

    19. LLMs are Overconfident: Evaluating Confidence Interval Calibration with FermiEval - arXiv, 12月 18, 2025にアクセス、 https://arxiv.org/html/2510.26995v1

    20. Confidence Calibration for Multimodal LLMs: An Empirical Study through Medical VQA - MICCAI, 12月 18, 2025にアクセス、 https://papers.miccai.org/miccai-2025/paper/1840_paper.pdf

    21. Taming Object Hallucinations with Verified Atomic Confidence Estimation - arXiv, 12月 18, 2025にアクセス、 https://arxiv.org/html/2511.09228v1

    22. Ten Commandments for Aspiring Superforecasters - Farnam Street, 12月 18, 2025にアクセス、 https://fs.blog/ten-commandments-for-superforecasters/

    23. Superforecasting reality check: Evidence from a small pool of experts and expedited identification - PubMed Central, 12月 18, 2025にアクセス、 https://pmc.ncbi.nlm.nih.gov/articles/PMC7333631/

    24. Superforecasting - Floris Wolswijk, 12月 18, 2025にアクセス、 https://floriswolswijk.com/superforecasting/

    25. Superforecasting tips and techniques - Then Do Better, 12月 18, 2025にアクセス、 https://www.thendobetter.com/investing/2019/7/13/superforecasting-tips

    26. Superforecasting: The Art and Science of Prediction - Typeshare, 12月 18, 2025にアクセス、 https://typeshare.co/Nauman/posts/superforecasting-the-art-and-science-of-prediction

    27. Thinking in Bets: Making Smarter Decisions When You Don't Have All the Facts - Thinkr.org, 12月 18, 2025にアクセス、 https://thinkr.org/newsletter/thinking-in-bets-making-smarter-decisions-when-you-dont-have-all-the-facts

    28. Thinking In Bets - Making Smarter Decisions When You Don't Have All The Facts by Annie Duke | mikegorlon, 12月 18, 2025にアクセス、 https://www.mikegorlon.com/News/thinking-in-bets---making-smarter-decisions-when-you-don't-have-all-the-facts-by-annie-duke

    29. Epistemic calibration: Achieving affiliation through access claims and generalizations, 12月 18, 2025にアクセス、 https://benjamins.com/online/prag/articles/prag.20036.kos

    30. Epistemic calibration: Achieving affiliation through access claims and generalizations - University of Helsinki Research Portal, 12月 18, 2025にアクセス、 https://researchportal.helsinki.fi/en/publications/epistemic-calibration-achieving-affiliation-through-access-claims/

    31. How to Run Pre-Mortem Exercises [Templates Included] | Atlassian, 12月 18, 2025にアクセス、 https://www.atlassian.com/team-playbook/plays/pre-mortem

    32. Use a Pre-Mortem to Identify Project Risks Before They Occur - Mountain Goat Software, 12月 18, 2025にアクセス、 https://www.mountaingoatsoftware.com/blog/use-a-pre-mortem-to-identify-project-risks-before-they-occur

    33. Intellectual Humility: Foundations and Key Concepts - JSTOR Daily, 12月 18, 2025にアクセス、 https://daily.jstor.org/reading-list-intellectual-humility-foundations-and-key-concepts/

    34. Situation-Based Contingencies Underlying Wisdom-Content Manifestations: Examining Intellectual Humility in Daily Life - PubMed, 12月 18, 2025にアクセス、 https://pubmed.ncbi.nlm.nih.gov/29474696/

    35. Calibration Research: Where Do We Go from Here? - Frontiers, 12月 18, 2025にアクセス、 https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2012.00229/full

    36. Enhancing the Calibration Accuracy of Adult Learners: A Multifaceted Intervention - Digital Scholarship@UNLV - University of Nevada, Las Vegas, 12月 18, 2025にアクセス、 https://oasis.library.unlv.edu/cgi/viewcontent.cgi?article=2569&context=thesesdissertations

    37. Time bandits: How they are created, why they are tolerated, and what can be done about them | Request PDF - ResearchGate, 12月 18, 2025にアクセス、 https://www.researchgate.net/publication/222023018_Time_bandits_How_they_are_created_why_they_are_tolerated_and_what_can_be_done_about_them

    38. A Practical Tier List of Epistemic Methods: Why Literacy Beats Thought Experiments - Reddit, 12月 18, 2025にアクセス、 https://www.reddit.com/r/PhilosophyofScience/comments/1mpk9i9/a_practical_tier_list_of_epistemic_methods_why/

    https://gemini.google.com/share/87d642f98e0b



         「わかるぞ」のアプロヌチずしおの シン・ネクシャリズム


          関連


    [倧衆の特城] 専門しか知らない専門家なのに偉そうにする

    「それでは、倧衆ずはどのようなむメヌゞでしょうか。オルテガは意倖にも倧衆を代衚する職業ずしお研究者や科孊者などの知識人を挙げたす。

    それは特定の知識人などを指しおいるわけではなく、知識人自䜓が、瀟䌚的にそうならざるを埗ないず蚀っおいる。科孊が進んでいくず研究分野が现分化しおいき、现分化するこずで、研究者は「熱心に研究しおいる極小郚分しか知らない人間P201」になるからです。

    なのに、䜕か倧発芋をするず「俺はなんでも知っおいる」的な顔をするから、オルテガからは倧衆を代衚しおいるず感じるわけですね。」

    「オルテガは科孊者を筆頭に知識人に察しおものすごく怒っおいたす。それは「自分たちは優れおいるから、瀟䌚からの問いかけは聞かない」ずいう姿勢を取る人たちが倚く、オルテガいわく原始的で野蛮である倧衆の代衚者であるず蚀っおいたす。

    https://torideken.com/news/rebeliondelasmasas/

    https://amzn.asia/d/23F2UDB


    あなたぞのおすすめ