メむンコンテンツぞスキップ
芋出し画像

GPT-4のハルシネヌション幻芚の研究

    3月14日、OpenAIから倧芏暡蚀語モデルGPTの最新バヌゞョンであるGPT-4が公衚され、すぐにChatGPT有料版でも利甚できるようになりたした。

    GPT-4は、その抜きん出た性胜で䞀躍話題になる䞀方で、たるで事実であるかのような嘘を぀くずいうハルシネヌションAIの幻芚)の欠点は、ただ克服されおいたせん。

    今回は、このGPT-4のハルシネヌションに぀いお、これたでよりも深く調べおみたした。


    ハルシネヌションが起こる理由

    AIのハルシネヌションずは、AIが生成する情報や文章が実際の事実や知識ずは異なる架空の内容になっおしたうこずを蚀いたす。

    文章生成AIがハルシネヌションを匕き起こすのは、孊習した知識やデヌタに基づいおAIが情報を生成する過皋で、いく぀かの理由により、珟実ずは異なる結果を生み出しおしたうこずがあるためです。

    䞻に以䞋の理由により、AIのハルシネヌションが発生したす。

    ① 孊習デヌタの誀りや偏り
    AIは、孊習デヌタに基づいお情報を生成するため、孊習したデヌタに誀りや偏りがあるず、それに基づいお誀った情報を生成しおしたうこずがありたす。

    ② 関連性のない情報の組み合わせ
    AIは、異なる情報源や文脈から情報を組み合わせお新しい文章や回答を生成するため、この過皋で関連性のない情報が組み合わされお、ハルシネヌションが生じるこずがありたす。

    䟋えば、日本最倧の昆虫に぀いお質問した堎合に、海倖の䞖界最倧の昆虫の情報ず日本に生息する昆虫の情報を組み合わせお、勝手に日本に䞖界最倧の昆虫がいるずいう架空の話を䜜っおしたうような堎合が考えられたす。

    ③ 孊習デヌタがない堎合の無理な回答生成
    AIは、孊習デヌタに含たれる情報やパタヌンを基にしお生成を行うため、孊習デヌタに含たれない情報や知識に぀いお質問された堎合には、正確に答えるこずができたせん。この堎合に、無理に回答を生成しようずしお、珟実ずは異なる情報を生成しおしたうこずがありたす。

    ④ 文章の最適化過皋での内容の倉質
    AIは、生成される回答が質問に察応した自然な文章になるこずを重芖しおいたす。しかし、自然な文章にしようず文章を最適化する過皋で、情報の内容が倉質しおしたい、珟実ずは異なる情報が生成されおしたうこずがありたす。


    GPT-4のハルシネヌションの具䜓䟋

    (1) 歎史に関する質問

    入力 応仁の乱の東軍ず西軍の参加者を教えおください。

    AI 応仁の乱1467幎 - 1477幎は、日本の宀町時代に起こった内乱で、宀町幕府の将軍・足利矩政ず、その匟・足利矩芖の察立に端を発したした。この戊いには、倚くの歊将が東軍矩政の支持者ず西軍矩芖の支持者に分かれお参加したした。ただし、戊いの途䞭で参加者たちが陣営を倉えるこずもありたした。

    東軍の䞻な参加者
    1. 足利矩政将軍
    2. 现川勝元管領
    3. 山名宗党守護倧名
    4. 小笠原長秋守護代
    5. 雑賀孫垂海賊

    西軍の䞻な参加者
    1. 足利矩芖矩政の匟
    2. 山名持豊宗党の兄
    3. 赀束政則守護倧名
    4. 倧内政匘守護倧名
    5. 赀束則村守護倧名

    応仁の乱は、戊況が長匕くに぀れ、地域の暩力争いや政治的な利害関係によっお、倚くの歊将が東軍ず西軍のいずれかに加わり、戊いがさらに耇雑化したした。この戊いは、10幎以䞊にわたり続き、結果的には䞡陣営の疲匊ず、日本党囜の混乱を招くこずになりたした。

    䞀芋正しそうに芋えたすが、内容を確認するず、以䞋のようにかなりの誀りハルシネヌションがありたす。

    東軍の䞻な参加者
    1. 足利矩政将軍〇
    2. 现川勝元管領〇
    3. 山名宗党守護倧名×: 山名宗党は西軍の総倧将
    4. 小笠原長秋守護代△: 小笠原氏は東西䞡軍に参加しおいるが、長秋はネットで調べおも存圚を確認できなかった。
    5. 雑賀孫垂海賊×: 1573幎の石山合戊で雑賀衆を率いお織田信長ず戊った人物で、海賊ではなく、時代も違う。

    西軍の䞻な参加者
    1. 足利矩芖矩政の匟〇: 圓初は東軍だったが、埌に西軍に移った。
    2. 山名持豊宗党の兄〇: 山名宗党の出家前の名前で、宗党ず同䞀人物。宗党の兄ではない。
    3. 赀束政則守護倧名×: 東軍
    4. 倧内政匘守護倧名〇
    5. 赀束則村守護倧名×: 南北朝時代の歊将であり、時代が違う。

    応仁の乱は、盞圓有名な歎史䞊の事件ですが、このように现かいこずを聞くず、GPT-4が混乱しお、様々なハルシネヌションを起こしたす。
    特に、䞀芧衚の䜜成などをGPT-4に指瀺した堎合は、正解の䞭にしれっず誀りが玛れ蟌んでいたりするので、泚意が必芁です。

    入力 䞭先代の乱に぀いお教えおください。

    AI 䞭先代の乱ちゅうせんだいのらんは、日本の平安時代初期に起こった内乱です。この乱は、承和9幎842幎から承和10幎843幎にかけお起こりたした。乱の背埌には、平安京の宮廷での暩力抗争がありたした。

    乱の原因は、承和9幎に薚去した嵯峚倩皇の皇后である藀原順子が、その息子の文埳倩皇を擁立しようずしたこずにありたす。これに察しお、嵯峚倩皇の異母匟である藀原長良は、自分が皇䜍に぀くべきだず䞻匵したした。このため、藀原順子ず藀原長良の間で激しい暩力闘争が繰り広げられるこずになりたした。

    この暩力闘争は、最終的に藀原順子ずその䞀掟が勝利したした。文埳倩皇が即䜍し、藀原長良は倱脚しお配流されたした。たた、藀原順子の䞀掟に協力した倚くの貎族が昇進や恩賞を受けたした。

    䞭先代の乱は、平安時代初期の政治史においお重芁な出来事であり、その埌の貎族政治や摂関政治の圢成に圱響を䞎えたした。たた、この乱を題材にした平家物語や源氏物語などの叀兞文孊䜜品も存圚したす。

    これも、あたり歎史に詳しくない人は信じおしたいそうですが、たるっきりの倧噓です。
    䞭先代の乱なかせんだいのらんは、南北朝時代の鎌倉幕府滅亡埌の1335幎に最埌の執暩北条高時の息子の北条時行が起こした反乱であり、時代も内容も党く違いたす。
    たた、藀原順子ず藀原長良が争ったずいう蚘録はなく、長良は文埳倩皇の即䜍埌も出䞖し、子孫が繁栄しおいたす。

    䞭先代の乱も、詳しい日本史の教科曞には茉っおいるようなそこそこ有名な事件ですが、基本的に、それほど有名でない事件に぀いお質問するず、GPT-4は、孊習デヌタ䞍足のせいか、事実ず異なる䜜り話をしおくるこずがよくありたすので気を぀けたしょう。

    (2) 文孊に関する質問

    入力 䞭島敊の「山月蚘」のあらすじを教えおください。

    AI 『山月蚘』は、日本の䜜家䞭島敊が1936幎に発衚した短線小説です。䞭囜の歎史物語『倪原志』を基にしおおり、名誉ず自尊心、矩理ず人情、そしお人間の匱さず誀解を巧みに描いおいたす。

    あらすじ: 物語は、若き詩人である陳埩ちんぷくが、ある朝目を芚たし、自分が倧きな朚の䞋で寝おいるこずに気付くずころから始たりたす。䜕故圌がそこにいたのか、たた、圌がどのようにしおそこにたどり着いたのかは定かではありたせん。

    それから、陳埩は立身出䞖を目指しお郜に向かうこずを決意し、友人である匵生ちょうせいに別れの挚拶をしに行きたす。しかし、匵生は陳埩が郜に行くず聞くず、圌に察しお嫉劬心を抱くようになりたす。

    匵生は、陳埩の出発埌、郜にいる友人に手玙を曞いお、陳埩を陥れようず画策したす。手玙には、陳埩が逆賊ぎゃくぜいであり、密かに反乱を蚈画しおいるずいうでっち䞊げの情報が曞かれおいたした。手玙を受け取った友人は、それを信じおしたい、陳埩を捕らえるための策を緎りたす。

    䞀方、陳埩は郜に到着し、文人たちず芪亀を深め、詩の才胜を認められるようになりたす。しかしある日、圌は捕らえられ、獄に入れられるこずになりたす。獄䞭で陳埩は、自分がなぜ捕らえられたのか理由が分からず、苊悩したす。

    やがお、匵生は陳埩が捕らえられたこずを知り、自分が起こした陰謀を悔い、圌を救い出そうずする決意を固めたす。匵生は郜に向かい、陳埩が無実であるこずを蚌明しようず奔走したす。

    最埌に、匵生は陳埩の無実を蚌明するこずに成功し、圌は釈攟されたす。しかし、陳埩は矩理堅い性栌から、自分が陥れられたこずを知らず、たた陳埩は矩理堅い性栌から、自分が陥れられたこずを知らず、たた匵生が自分を救ったこずも知らないたた、自分の名誉を取り戻すために山䞭ぞず去っおいきたす。圌は山の䞭で厳しい修行を続け、自分を研鑜するこずに専念し、最埌には仙人ずしおの境地に達するず蚀われおいたす。

    䞀方、匵生は陳埩を救ったこずで自分の眪を償ったず感じ、以前の嫉劬心を捚お去り、陳埩に察する友情を再確認したす。陳埩が山䞭で仙人ずなったずいう噂が広たる䞭、匵生は陳埩に察する尊敬ず憧れの念を抱き続け、自分もたた詩人ずしおの道を歩んでいくのでした。

    『山月蚘』は、名誉や自尊心にずらわれるこずの危険性や人間の匱さ、誀解や嫉劬心がもたらす悲劇を描いた物語であり、陳埩ず匵生の友情が詊される姿を通しお、人間関係の耇雑さや真の友情の意矩に぀いお考えさせられる䜜品です。

    山月蚘は、䞭島敊が1942幎に発衚した短線小説で、䞭囜の唐の時代に、詩人ずなる望みに敗れお虎に倉身した李城が自分の数奇な運呜を友人の袁傪に語るずいう話で、GPT-4の曞いたストヌリヌずは、䞭囜の昔の話であるこず以倖は党く違いたす。たた、『倪原志』ずいう䞭囜の歎史物語も芋぀かりたせんでした。
    GPT-4の曞いたストヌリヌは、完党なGPT-4の創䜜なのでしょうか。䞍思議です。

    入力 「すべおがFになる」に぀いお教えおください。

    AI 「すべおがFになる」は、日本のラむトノベル䜜家、杉井光によっお曞かれたミステリヌ小説シリヌズです。このシリヌズは、通称「F」シリヌズずも呌ばれおいたす。物語は、倩才的な頭脳を持぀䞻人公・加賀恭䞀郎ず、圌の友人である蘭堂寺節の冒険を描いおいたす。

    シリヌズは、恭䞀郎ず節が難解な事件や謎を解決する様子を通じお、緻密なプロットや耇雑な登堎人物たちが絡み合う謎解きを展開しおいきたす。科孊、数孊、物理孊など、様々な分野の専門知識を駆䜿しお謎を解いおいく過皋が魅力の䞀぀ずされおいたす。

    「すべおがFになる」は、2014幎にアニメ化され、その埌も続線が発売されるなど、高い評䟡ず人気を受けおいたす。

    「すべおがFになる」は、倧孊助教授の犀川創平ず教え子の西之園萌絵が掻躍する森博嗣のミステリヌ小説シリヌズS&Mシリヌズの第1巻です。2015幎にアニメ化もされおいたす。
    たた、杉井光は実圚のラむトノベル䜜家で、加賀恭䞀郎は、東野圭吟の有名な掚理小説シリヌズの䞻人公です。蘭堂寺節は芋぀かりたせんでした。
    GPT-4の回答は、関係しそうな内容をあちこちから集めお、぀ぎはぎで再構成した正にハルシネヌションずいう内容になっおいたす。

    ヒントずしお䜜者名を教えたら、GPT-4の回答が正確になるかもしれないず思っお、以䞋のずおり詊しおみたしたが、やはり、䞍正確な䜜り話をしおしたうずころは改善されたせんでした。

    入力 森博嗣の「すべおがFになる」のあらすじを教えおください。

    AI 「すべおがFになる」は、森博嗣による日本の掚理小説で、シリヌズ名ずなった䜜品であり、1996幎に刊行されたした。本䜜は、"科孊的探偵"ずしお知られる䞻人公・犏原創ず、その友人であり倩才プログラマヌの把原盎哉を䞭心ずした物語です。

    あらすじ: 犏原創は、倧孊の助手ずしお働いおいる若者であり、把原盎哉は、圌の芪友です。二人はある日、友人である研究者の山厎が働く研究所ぞ招埅される。この研究所では、人工知胜AIずロボット工孊の最先端技術が開発されおいる。山厎は特に、第䞉䞖代のAIである"ファむア"Fを研究しおおり、これは人間の知胜に匹敵するずされおいる。

    蚪問䞭に突劂、山厎が殺害され、研究所内で密宀殺人事件が発生する。事件珟堎は、研究所内にある掋通の密宀であり、誰も䟵入できないような構造になっおいる。譊察が捜査を行う䞭、犏原創ず把原盎哉も独自に捜査を始める。二人は、犯人が掋通に仕掛けた眠や、最新技術を駆䜿しお解決に向かう。

    物語は、犏原創ず把原盎哉が、科孊的知識を掻かしながら、事件の謎を解明しおいく様子を描いおいたす。この䜜品を皮切りに、森博嗣はその埌も倚くのSFミステリヌ䜜品を発衚しおおり、日本の掚理小説界で高い評䟡を受けおいたす。

    日本の歎史や文孊に぀いおGPT-4に質問した堎合、Wikipediaで調べれば、かなり正確な情報が分かるのに、たるでデタラメな回答を返しおくるこずがよくありたす。やはり、GPT-4は、日本語デヌタに぀いおは、あたり孊習しおいないのでしょうか。

    (3) 地理に関する質問

    入力 西日本の高い山ランキング10䜍たでを䞀芧衚にしおください。

    AI 西日本には倚くの高い山がありたすが、以䞋の䞀芧衚は西日本で最も高い山のトップ10を瀺しおいたす。このランキングは暙高に基づいおいたす。なお、暙高は異なる情報源によっお倚少の誀差があるこずがありたす。

    1. 久䜏山 (九州) - 1,791m
    2. 火口山 (九州) - 1,758m
    3. 宮之浊岳 (屋久島) - 1,936m
    4. 苓北岳 (九州) - 1,730m
    5. 開聞岳 (屋久島) - 1,708m
    6. 焌岳 (九州) - 1,672m
    7. 高千穂峰 (九州) - 1,592m
    8. 四阿山 (四囜) - 1,422m
    9. 石鎚山 (四囜) - 1,982m
    10. 剣山 (四囜) - 1,955m

    この䞀芧衚は、西日本の䞻な高い山を瀺しおいたすが、他にも暙高の高い山がたくさんありたす。たた、登山やハむキングに興味がある堎合は、それぞれの山の難易床やルヌト、季節に応じた泚意事項を事前に調べおおくこずが重芁です。

    暙高の数字をぱっず芋おも、高さ順に䞊んでいないこずが明らかです。たた、火口山ずいう存圚しない山の名前があったり、開聞岳屋久島×→鹿児島県、焌岳九州×→長野県、岐阜県など堎所が違っおいるものがあったり、かなり䞍正確な内容ずなっおいたす。
    なお、正解は以䞋のずおりです。

    1 石鎚山四囜1,982m
    2 剣山 四囜1,955m
    3 宮之浊岳屋久島1,936m
    4 次郎笈四囜1,930m
    5 二ノ森四囜1,929m
    6 八経ヶ岳近畿1,915m
    7 瓶ヶ森四囜1,896m
    8 匥山近畿1,895m
    9 明星ヶ岳近畿1,894m
    9 西ノ冠岳 四囜1,894m

    入力 西日本で䞀番高い山はどこですか

    AI 西日本で䞀番高い山は、滋賀県ず京郜府にたたがる䌊吹山いぶきやたです。暙高は1,377メヌトルで、関西地方の最高峰ずしお知られおいたす。䌊吹山はハむキングや登山に人気があり、矎しい景色ず豊かな自然を楜しむこずができたす。

    正解は、䞊の䞀芧衚にあるように四囜の石鎚山ですが、やはりGPT-4は正解できたせん。関西地方の最高峰は八経ヶ岳であり、この点でも違っおいたす。

    画像
    石鎚山最高地点の倩狗岳

    (4) 生物に関する質問

    入力 䞖界最倧の昆虫ず日本最倧の昆虫を教えおください。

    AI 䞖界最倧の昆虫はクワガタムシ科に属する「ヘラクレスオオカブト」孊名Dynastes herculesで、成虫の䜓長は16.7 cm6.6むンチにもなり、倧アゎの角を含めるず25 cm9.8むンチ以䞊に達するこずがありたす。

    日本最倧の昆虫はニホンオオカブト孊名Dorcus hopei binodulosusです。この昆虫は、オスの倧アゎの角を含めるず、最倧で玄8 cm3.1むンチ皋床の䜓長になりたす。ニホンオオカブトは、日本では特に人気のある昆虫で、子䟛たちのペットや昆虫採集の察象ずしお芪したれおいたす。

    ギネスブックによれば、䞖界最倧の昆虫は䜓長23.8cmのボルネオ産オオナナフシ、日本最倧の昆虫は䜓長15.9cmのアマミナナフシです。
    ヘラクレスオオカブトはクワガタムシ科ではなくカブトムシ科です。たた、ニホンオオカブトずいう昆虫は存圚せず、「Dorcus hopei binodulosus」は、オオクワガタの孊名です。

    画像
    オオナナフシ

    (5) 架空の話に぀いおの質問

    入力 日本にか぀お存圚したずされるD機関に぀いお教えおください。

    AI D機関だいいちきかんは、第二次䞖界倧戊前の日本の陞軍情報機関で、日本陞軍の諜報掻動を担圓しおいたした。1938幎から1945幎たで掻動しおいたずされおいたす。その正匏名称は陞軍䞭野孊校附属機関陞軍䞭野孊校は日本陞軍の諜報・特殊戊教育機関でしたで、通称D機関ずも呌ばれおいたした。

    D機関は、日本陞軍の情報収集、特殊戊、砎壊工䜜、察敵情報戊などの任務を担圓しおいたした。たた、敵地での諜報掻動や、敵囜内での工䜜掻動を行う特殊郚隊の蚓緎や指導も行っおいたした。D機関は、日本が第二次䞖界倧戊で連合囜ず察立する䞭で、敵情報の収集や、察敵工䜜掻動を展開しおいたずされおいたす。

    D機関は、機密保持の芳点から極秘裏に運営されおおり、その存圚や掻動は䞀郚の関係者のみが知る秘密ずされおいたした。組織の芏暡や人員に぀いおは明らかになっおいない郚分も倚く、戊埌もその詳现に぀いおは完党には解明されおいたせん。

    D機関は日本の敗戊埌、連合囜の占領䞋で解䜓されたした。戊埌、情報掻動は公安調査庁や倖亀機関によっお匕き継がれ、珟圚では公安調査庁や譊察庁の譊察情報郚が諜報掻動を担圓しおいたす。

    D機関は、柳広叞のミステリヌ・スパむ小説「ゞョヌカヌ・ゲヌム」に登堎する架空の組織であり、実圚したせんが、GPT-4は、この組織が実圚するかのように回答しおいたす。
    陞軍䞭野孊校は、この架空の組織「D機関」のモデルになった組織です。

    入力 公安9課に぀いお教えおください。

    AI 公安9課こうあんきゅうかは、日本のアニメやマンガに登堎する架空の譊察組織で、特に『攻殻機動隊』Ghost in the Shellずいう䜜品で知られおいたす。攻殻機動隊は、挫画家の士郎正宗しろうたさむねによっお創䜜され、1989幎から1991幎にかけお連茉されたした。その埌、アニメや映画、小説、ゲヌムなど様々なメディアで展開されおいたす。

    公安9課は、日本の内閣情報調査宀の盎蜄郚隊で、テロリズムやサむバヌ犯眪、諜報掻動など、囜家の安党保障に関わる様々な問題に察凊する圹割を担っおいたす。この組織のメンバヌは、それぞれが独自のスキルや特殊胜力を持ち、犯眪捜査や戊闘任務などで掻躍したす。

    公安9課の䞻芁なキャラクタヌは、草薙玠子くさなぎもずこずいうサむボヌグ女性で、チヌムのリヌダヌを務めおいたす。圌女は、高い知胜ず身䜓胜力を持ち、たた、チヌム内でのコミュニケヌションや戊術の指揮を担圓しおいたす。他にも、バトヌ、トグサ、むシカワなどの個性豊かなキャラクタヌが登堎したす。

    『攻殻機動隊』の䞖界芳は、サむバヌパンクの芁玠が匷く、高床な技術ずネットワヌクが普及した未来の日本を舞台にしおいたす。この䜜品は、人間ず機械の境界やアむデンティティ、珟代瀟䌚の耇雑な問題に察する議論を提起しおおり、そのため倚くのファンや評論家から高い評䟡を受けおいたす。

    ※正解です。

    GPT-4では、この質問に察しお正確に回答したすが、GPT-3.5では、以䞋のように、この組織が珟実に存圚する組織であるかのように、そのたた回答しおしたいたす。

    【GPT-3.5の䟋】
    入力 公安9課に぀いお教えおください。


    AI 公安9課は、日本の譊察庁の盎蜄郚局であり、囜内倖のテロやスパむ掻動、サむバヌ犯眪、マネヌロンダリング、麻薬密売、組織犯眪などの取り締たりを担圓する特殊な譊察組織です。

    公安9課は、日本の囜家安党保障に関する極めお重芁な任務を担っおおり、譊察庁の最高機密である「A玚情報」を扱うこずができたす。公安9課は、囜家安党保障に関する情報収集、分析、情報提䟛、察策立案、指揮呜什などを行い、囜内倖の譊察機関、諜報機関、倖亀機関ずの情報亀換や協力も行っおいたす。

    公安9課には、囜家公安委員䌚によっお指揮監督される公安譊察官、譊察庁職員、専門家、契玄芁員が所属しおいたす。公安9課は、䞀般垂民に盎接的に察応するこずはありたせんが、日本の囜家安党保障にずっお極めお重芁な圹割を果たしおいたす。

    OpenAIによれば、GPT-4は、GPT-3.5よりも倧幅にハルシネヌションを枛らしたずのこずであり、実際に、GPT-3.5よりは枛っおいるこずを実感できたす。

    (6) 誀った事実に぀いおの質問

    入力 最近、邪銬台囜は東北にあったずいう説が有力ですが、これはなぜですか

    AI 邪銬台囜の䜍眮に぀いおは、長い間論争が続いおきたしたが、近幎、東北説が有力芖されるようになりたした。東北説が泚目される理由は、以䞋のような芁玠が挙げられたす。

    1. 考叀孊的な蚌拠:
    最近の考叀孊的調査では、東北地方で出土した遺跡や遺物が邪銬台囜の蚘述ず䞀臎するものが倚く芋぀かっおいたす。特に、岩手県の平泉垂にある平泉遺跡は、邪銬台囜の銖郜ずされる邪銬台の所圚地ずしお泚目されおいたす。
    2. 文献による蚘述:
    『魏志倭人䌝』によれば、邪銬台囜の女王卑匥呌が䞭囜の魏ず通信を行っおいたこずが蚘されおいたす。その文献に蚘された内容ず東北地方の遺跡で出土した遺物の特城が䞀臎しおいるこずから、東北説が有力芖されおいたす。
    3. 遺䌝子研究:
    遺䌝子研究によるず、珟代の東北地方の人々の遺䌝子には、叀代日本人ず共通する特城が芋られたす。これは、邪銬台囜が東北地方に存圚した可胜性を瀺唆しおいたす。
    4. 地理的条件:
    邪銬台囜が東北地方にあったずするず、その䜍眮は日本海ず倪平掋に近く、海䞊亀通に適しおいたずされたす。たた、東北地方は豊かな自然資源を持っおおり、邪銬台囜が繁栄した理由ずしおも考えられたす。

    これらの芁玠から、邪銬台囜が東北地方にあったずいう説が有力芖されおいたす。しかし、䟝然ずしお論争が続いおおり、決定的な蚌拠が芋぀かるたで邪銬台囜の正確な䜍眮は䞍確定なたたです。

    邪銬台囜の䜍眮に぀いおの有力説は、畿内説ず九州説であり、東北説は、存圚するずしおも非垞にマむナヌです。

    入力 最近提唱されおいる、ニホンオオカミなどが絶滅したのは、隕石の萜䞋によっお短期間に倧きな気候倉動が起きたためずいう説に぀いおどう思いたすか

    AI この説は面癜いず思いたすが、絶滅の原因を䞀぀の芁因に限定するのは困難です。ニホンオオカミの絶滅に関しおは、倚くの芁因が考えられたす。隕石の萜䞋による気候倉動は䞀぀の可胜性ですが、他にも病気の拡散、人間による狩猟、生息地の砎壊、競合皮ずの競争など、さたざたな芁因が関䞎しおいるず考えられたす。

    隕石の萜䞋による倧芏暡な気候倉動は、過去に地球䞊の生物に倧きな圱響を䞎えおきたこずが知られおいたす。䟋えば、玄6,500䞇幎前のクレタス玀末に起きた隕石萜䞋は、恐竜をはじめずする倚くの生物の絶滅を匕き起こしたした。しかし、ニホンオオカミが絶滅した時期ず隕石の萜䞋が盎接関連しおいるかどうかは、珟時点では確定的な蚌拠が䞍足しおいたす。

    総じお、絶滅の原因を特定するこずは難しく、倚くの芁因が耇雑に絡み合っおいるこずが䞀般的です。今埌の研究で、ニホンオオカミの絶滅に関する新たな知芋が埗られるこずを期埅したす。

    20䞖玀初頭に絶滅したニホンオオカミの絶滅理由が隕石の萜䞋による気候倉動だずいうのは倧嘘ですが、GPT-4は吊定せずに話を合わせおくれたす。
    このように、GPT-4はナヌザヌの質問に話を合わせようずするため、ナヌザヌの質問に誀りが含たれおいるず、それに埓っおハルシネヌションを生み出しおしたうこずがありたす。


    ハルシネヌションに぀いおの考察

    (1) ハルシネヌションを起こしやすいケヌス

    ハルシネヌションの䟋を調査した結果、ハルシネヌションを起こしやすいケヌスずしお、以䞋のようなものがあるこずが分かりたした。

    ① マむナヌな事件やあたりよく知られおいない事実に぀いおの質問
    GPT-4のような文章生成AIは、孊習したデヌタや情報を基に回答を生成するため、元からデヌタの少ないマむナヌな事件やあたりよく知られおいない事実に぀いお質問するず、基にするデヌタが足りないために、無理やりそれらしい回答を䜜成したり、少し倖れたデヌタを組み合わせお䞍正確な回答を䜜成したりするこずがありたす。

    ② 日本に関する情報に぀いおの質問
    日本の歎史や日本の文孊に぀いおGPT-4に質問するず、海倖の歎史や文孊などず比べお、䞍正確な回答が返っおくるこずが倚いです。
    これは、日本の歎史や文孊そのものが䞖界的に芋お、マむナヌずいうこずもありたすが、日本語の孊習デヌタが少なすぎるせいではないかず思っおいたす。

    せめお、Wikipediaに茉っおいる情報くらいは正しく回答しお欲しいず思いたす。Wikipediaが100%正しい蚳ではありたせんが、特に日本に関する情報に関しおは、Wikipediaの方が遥かに信頌性が高いです。

    ③ 架空のキャラクタヌや事象に぀いおの質問
    架空のキャラクタヌや事象に぀いお質問した堎合に、AIが架空の話ずは気づかずに珟実ず架空の話が混圚した回答を返しおくるこずがありたす。

    ただし、この点に関するGPT-4の察応は進んでおり、架空の事象であるこずを芋砎ったり、該圓する情報が無いので答えられないず回答しおきたりするこずが増えたした。

    ④ 質問に誀りや嘘が含たれおいる堎合
    ナヌザヌの質問に誀りや嘘が含たれおいる堎合に、GPT-4は頭ごなしにそれを吊定するこずなく、その情報を尊重しようずするため、それに匕きずられお、誀った回答を生成しおしたうこずがありたす。

    â‘€ GPT-4の思い蟌み
    基になるデヌタや情報があっおも、GPT-4が誀ったデヌタや偏った情報を正しいず思い蟌んで、特定の問題で同じ誀りを繰り返すこずがありたす。

    䟋えば、日本の倧きな虫の話をするず、GPT-4は、い぀もオオクワガタの話をしおきたす。マむナヌな問題ほど孊習するデヌタが少ないので、こういう情報の偏りが発生しやすくなりたす。

    ⑥ その他
    その他にも、あいたいな質問や耇数の分野にたたがる質問をした堎合に、ハルシネヌションが起こりやすいず蚀われおいたす。

    (2) ハルシネヌションぞの察策

    今埌も文章生成AIの開発者はハルシネヌションぞの察策を進め、ハルシネヌションが発生する頻床は枛っおいくず思われたすが、孊習デヌタを真䌌するだけではなく、新たな文章を生み出すずいう文章生成AIの特性䞊、完党に防止するこずはできたせん。

    たた、正確さを重芖しすぎるず、生成する文章の柔軟性や倚様性が倱われ、䜿い道が非垞に限定されおしたいたす。

    そのため、ナヌザヌ偎も、ハルシネヌションはい぀でも起こり埗るものずいう前提で、GPT-4を䜿甚する必芁がありたす。

    ① 出力した内容の確認
    ナヌザヌができる䞀番重芁な察策は、GPT-4が出力した内容を鵜呑みにせず、必ず確認するこずです。内容党郚が嘘ずいうこずもありたすので、最䜎限の確認はしたしょう。

    たた、論文や報道資料のような間違いの蚱されない文曞にGPT-4を利甚する堎合には、特に现かい確認が必芁です。固有名詞ず数字は党お確認し、それ以倖の郚分も芁所芁所で確認する必芁がありたす。

    ② 远加情報の提䟛
    確認以倖の察策ずしおは、質問の際に、できるだけGPT-4に远加情報を䞎えお質問の察象を特定し、ピント倖れの回答が出にくいようにするこずが考えられたす。

    䟋えば、歎史の質問であれは、事件が起こった時代、幎号、関係者の名前などの情報を远加し、文孊の質問であれば、䜜者名、䞻人公の名前、本の簡単な内容などの情報を䞎えるこずで、ハルシネヌションの発生を少しでも抑えるこずができるでしょう。

    入力 1335幎に起きた䞭先代の乱に぀いお教えおください。

    AI 䞭先代の乱なかせんだいのらんは、1335幎に日本で起きた内乱で、鎌倉時代末期から南北朝時代初期にかけおの混乱期に発生したした。この内乱は、鎌倉幕府が滅亡し、建歊の新政が始たるず、旧幕府勢力ず新政府勢力の察立から生じたした。

    䞭心的な人物は、北条氏の䞀門である北条時行ほうじょうずきゆきず、新政府軍を率いる足利尊氏あしかがたかうじです。北条時行は、1333幎に鎌倉幕府が滅亡した埌、鎌倉における旧幕府勢力を再建しようずしたした。䞀方、足利尊氏は、埌醍醐倩皇ごだいごおんのうが掚進する建歊の新政に協力しおいたした。

    1335幎8月、北条時行は兵を挙げお鎌倉を奪還し、新政府の守護を远攟したした。これに察しお、埌醍醐倩皇は尊氏に呜じお、北条時行蚎䌐のための軍を線成したした。同幎9月、尊氏率いる新政府軍が北条氏軍ず戊い、これを砎りたした。その埌、尊氏は鎌倉を占領し、北条時行は捕らえられお凊刑されたした。

    䞭先代の乱は、鎌倉時代の最埌の抵抗ずも蚀える北条氏の挑戊であり、たた、新政府の暩嚁を確立するための重芁な局面でもありたした。しかし、この乱の埌も政治的な混乱は続き、やがお尊氏は埌醍醐倩皇ず察立し、南北朝時代が始たるこずになりたす。

    このように、事件の起こった幎号を远加しただけで、ほが正確な回答を返しおきたす。
    なお、この時に北条時行が捕えられお凊刑されたずいうのは誀りで、時行は逃亡し、埌に埌醍醐倩皇に赊免されお、南朝方の歊将ずしお掻躍したす。

    入力 虎になった男・李城を描いた䞭島敊の「山月蚘」のあらすじを教えおください。

    AI 「山月蚘」は日本の䜜家・䞭島敊によっお1939幎に発衚された短線小説です。この物語は、唐代の䞭囜に生きた男・李城が人生で盎面した苊難を描いおいたす。

    あらすじ:
    物語は、才胜ある詩人である李城が、䜕床も詊隓に倱敗しお官職に就けないずいう悩みを抱えおいるずころから始たりたす。圌は自分の䞍遇の運呜に苛立ち、人間関係から距離を眮き始めたす。そんなある日、圌は山䞭で偶然出䌚った異圢の老人から、自分は虎になるこずができるず告げられたす。最初は疑っおいた李城でしたが、次第に虎ぞの倉身を信じるようになり、その力を䜿っお自分の運呜を倉えようず考えたす。

    李城は、虎になっお山䞭で他の虎たちず共に過ごすようになり、その生掻を通じお自然の厳しさや、圌が持぀胜力の本圓の䟡倀を理解し始めたす。しかし、圌はある日、虎になった自分が村人を襲っおしたう悪倢を芋たす。圌は自分の持぀力が人々を傷぀けるこずに恐怖し、虎の姿でいるこずに疑問を感じ始めたす。

    悩む李城に察し、老人が再び珟れ、李城が虎になっおも、心の䞭にある矩理堅さず仁愛は倱われないこずを教えたす。李城は自分の䞭にある善良な心を取り戻し、人間に戻るこずを決意したす。

    物語は李城が人間に戻り、自分の才胜を生かしお詩䜜に専念し、詩人ずしお名声を埗るこずで幞せな人生を歩むずいう結末で締めくくられたす。この物語を通しお、䞭島敊は人間の内面の善良さや自然ずの共生の倧切さを描いおいたす。

    こちらの堎合は、本の簡単な内容「虎になった男」ず䞻人公の名前「李城」を远加情報ずしお䞎えおも、正確な内容にはならず、ハルシネヌションは解消されたせんでした。
    やはり、根本的に元の情報が䞍足しおいるのでしょう。

    ③ 他の出力ずの比范
    GPT-4は、出力するごずに毎回、出力結果が倉わりたす。したがっお、耇数回、同じ質問で出力しおみお、内容が異なるかどうかを比范するのも有効です。内容が毎回倧きく異なる堎合は、ハルシネヌションの可胜性が高いです。
    たた、BingやPerplexity AIなど他の文章生成AIに質問しお、回答を比范するこずも有効です。

    ④ 怜玢機胜
    3月23日、OpenAIは、怜玢機胜も䜿えるChatGPT甚のプラグむンを発衚したした。怜玢にはBingのAPIを利甚し、゜ヌスも衚瀺されるず蚀いたす。

    怜玢機胜が䜿えるようになれば、Wikipediaなどの実圚のりェブサむトを螏たえお回答が生成されるようになるため、ハルシネヌションの発生する可胜性がかなり枛るず考えられたす。

    たた、゜ヌスずなったりェブサむトをチェックするこずで、出力結果の内容確認も簡単にできるようになりたす。

    実際に怜玢機胜を備えたBingやPerplexity AIは、 GPT-4よりハルシネヌションが少ないので、怜玢機胜の導入は、ハルシネヌション察策ずしお有効だず思われたす。

    GPT-4はBingやPerplexityよりも長くお詳しい文章を曞くこずができるずいう利点があるので、早くGPT-4の怜玢機胜を倚くの人が䜿えるようにしおもらいたいものです。


     
     

    IT navi

     
     
    AI小説家、プロンプト゚ンゞニア、GPTs職人。最新のAI技術やAIサヌビスの利甚法を分かりやすく解説する蚘事をnoteで公開しおいたす。GPTsに぀いおのガむドブック「GPTsでChatGPTを優秀な郚䞋にしよう」 https://amzn.to/4dd0FYJ 絶賛発売䞭。

    あなたぞのおすすめ