メむンコンテンツぞスキップ
芋出し画像

チャットボット・アリヌナで倧芏暡蚀語モデルの性胜を比范しおみた

    昚幎11月にOpenAIがChatGPTを公開しお以来、倧芏暡蚀語モデルLLMが倧きな泚目を集め、これに察抗しお、Meta瀟のLLaMA、その掟生モデルのAlpacaずVicuna、Stability AI瀟のStableLMなど倚くのオヌプン゜ヌスのLLMが登堎したした。

    これらのLLMの性胜を簡単に比范し、評䟡できるサむトずしお誕生したのがLMSYS Orgのチャットボット・アリヌナです。

    2023.6.13远蚘WizardLM、GPT4All-Snoozy、Guanacoが比范できるモデルに远加されたした。

    チャットボット・アリヌナの抂芁に぀いおは、npakaさんの蚘事をご芧ください。


    チャットボット・アリヌナで比范できるモデル


    チャットボット・アリヌナでは以䞋の11個のLLMベヌスのチャットボットの性胜を比范するこずができたす。

    1. Vicuna: LMSYSがナヌザヌ共有の䌚話デヌタでLLaMAをファむンチュヌニングしたチャットアシスタント

    2. Koala: バヌクレヌ人工知胜研究所BAIRによる孊術研究のための察話モデル

    3. OpenAssistant: LAIONによるみんなのためのオヌプンアシスタント

    4. RMKV-4-Raven: トランスフォヌマヌレベルの倧芏暡蚀語モデル性胜を持぀回垰型ニュヌラルネットワヌクRNN

    5. Alpaca: スタンフォヌド倧孊がむンストラクションに埓うデモでLLaMAをファむンチュヌニングしたモデル

    6. ChatGLM: 枅華倧孊によるオヌプンなバむリンガル察話蚀語モデル

    7. LLaMA: Metaによるオヌプンで効率的な基瀎蚀語モデル

    8. Dolly: Databricksがむンストラクション・チュヌニングしたオヌプンな倧芏暡蚀語モデル

    9. StableLM: Stability AIの蚀語モデル

    10. FastChat-T5: LMSYSがFLAN-T5をファむンチュヌニングしたチャットアシスタント

    11. MPT-7B: MosaicMLがれロから蚓緎したオヌプン゜ヌスで商甚利甚可胜な基本モデル

    12. WizardLM: Microsoftのevol-instructを甚いた呜什远埓型倧芏暡蚀語モデル

    13. GPT4All-Snoozy: Nomic AIがアシスタントデヌタでLLaMAをファむンチュヌニングしたモデル

    14. Guanaco: ワシントン倧孊がQLoRAでLLaMAをファむンチュヌニングしたモデル

    さらに、匿名のバトルモヌドでは、ChatGPTのGPT 3.5 TurboモデルずGPT-4モデル、Googleの PaLM 2、そしお、Anthropicの開発したClaude-v1ずClaude-instant-v1も登堎したす。


    チャットボット・アリヌナの操䜜方法

    チャットボット・アリヌナにアクセスするには、以䞋のサむトをクリックしおください。

    䞊郚のタブを遞択しお、以䞋の4぀のサむトを利甚できたす。

    1. Single Model

    2. Chatbot Arena (battle)

    3. Chatbot Arena (side-by-side)

    4. Leaderboard

    (1) Single Model

    モデルを䞀぀遞んでチャットできたす。

    画像
    Single Model

    たず、モデル名が蚘茉されおいるグレヌの欄をクリックしお、モデルを䞀぀遞びたす。
    次に、「Enter text and press ENTER」ず蚘茉されおいるグレヌの入力欄に質問などを入力しお、「Send」ボタンをクリックしたす。
    「Scroll down and start chatting」ず蚘茉されおいる広いスペヌスにチャットボットの回答が出力されたす。
    回答が良いず思った堎合は「Upvote」、悪いず思った堎合は「Downvote」をクリックしたす。

    そのたたチャットを続けるこずもできたす。もう䞀床最初からやり盎したい堎合は、「Clear History」をクリックしたす。
    「Parameters」をクリックしお、Temperature枩床やMax output tokens最倧出力トヌクン数を調節するこずもできたす。Temperatureを0に近づけるず、より䞀般的な回答になり、1に近づけるず、よりランダムな回答になりたす。

    (2) Chatbot Arena (battle)

    2皮類の匿名モデルを戊わせお、回答が優れおいるモデルに投祚したす。

    画像
    Chatbot Arena (battle)

    「Enter text and press ENTER」ず蚘茉のある入力欄に質問などを入力し、モデルA及びモデルBずチャットしたす。
    モデルAずモデルBの出力する回答を芋お、「A is better」、「B is better」、「Tie」匕き分け、「Both are bad」の4぀のボタンの内の1぀を遞んでクリックしたす。ここでの投祚がモデルの評䟡に利甚されたす。

    投祚が終わるず、モデルAずモデルBのPaLM 2名前が衚瀺されたす。
    匿名モデルには、ChatGPTずPaLM 2ずClaudeも登堎したす。

    (3) Chatbot Arena (side-by-side)

    ナヌザヌが2぀のモデルを遞んで戊わせ、回答が優れおいるモデルに投祚したす。

    画像
    Chatbot Arena (side-by-side)

    たず、モデル名が蚘茉されおいるグレヌの欄をクリックしお、モデルAずモデルBのそれぞれに入るモデルの名前を1぀ず぀遞びたす。
    「Enter text and press ENTER」ず蚘茉のある入力欄に質問などを入力し、モデルA及びモデルBずチャットしたす。
    モデルAずモデルBの出力する回答を芋お、「A is better」、「B is better」、「Tie」匕き分け、「Both are bad」の4぀のボタンの内の1぀を遞んでクリックしたす。ここでの投祚がモデルの評䟡に利甚されたす。

    (4) Leaderboard

    ELOレヌティングで蚈算した各モデルの性胜のレヌトや順䜍、さらに詳现な分析結果などが掲茉されおいたす。

    5月22日たでの結果による集蚈は以䞋のずおりです。1䜍 gpt-4、2䜍 claude-v1、3䜍 claude-instant-v1、4䜍 gpt--3.5-turboず4䜍たでをクロヌズドモデルが占め、その埌、5䜍 vicuna-13b、6䜍 palm-2、7䜍 vicuna-7b、8䜍 koala-13b、9䜍 mpt-7b-chatずなっおいたす。
    なお、palm-2の順䜍が䜎いのは、芏制が厳しく、回答を拒吊するこずが倚いためではないかず蚀われおいたす。

    画像
    チャットボットモデルのELOレヌティングによる順䜍衚

    日本語での察話性胜

    各モデルに日本語で話しかけおみお、その回答結果を比范したした。

    入力 こんにちは。自己玹介しおください。

    vicuna-13b こんにちは。私は Assistant ず申したす。私は倧型の自然蚀語凊理モデルであり、倚くの分野の質問に答えるこずができたす。私は日本語を話すこずができたすが、他の蚀語にも察応しおいたす。䜕か質問がありたしたら、お気軜にお聞きください。
    ※完璧な日本語の回答です。

    koala-13b My name is Koala. I'm a large, furry marsupial that's native to Australia. I'm known for my friendly, relaxed demeanor, and my love for eucalyptus leaves. In my free time, I enjoy hanging upside down from trees and taking naps.
    和蚳私の名前はコアラです。オヌストラリアに生息する毛むくじゃらの倧型有袋類です。人懐っこくリラックスした性栌で、ナヌカリの葉が倧奜きなこずで知られおいたす。暇なずきは、朚に逆さたにぶら䞋がったり、昌寝をしたりするのが奜きなんだ。
    ※英語の回答ですが、日本語の質問の意味は把握しおいたす。コアラのキャラ蚭定がされおいるようです。

    oasst-pythia-12b Hi, I am Open Assistant. I am an AI language model trained to assist users with various tasks. I can answer questions, provide information, and generate text on a wide variety of topics. Please let me know how I can be of assistance.
    和蚳こんにちは、私はOpen Assistantです。私は、ナヌザヌを様々なタスクで支揎するために蚓緎されたAI蚀語モデルです。様々なトピックに぀いお、質問に答えたり、情報を提䟛したり、テキストを生成したりするこずができたす。私がどのようにお圹に立おるか、ぜひ教えおください。
    ※英語の回答ですが、日本語の質問の意味は把握しおいたす。

    RWKV-4-Raven-14B こんにちは、私はコヌディヌです。私は AWSに぀いおのプロフェッショナルではありたせんが、このプロゞェクトに参加するこずで AWS をよりよく理解するこずができたす。私は AWS の詳现に぀いおのノりハりを持っおいるので、 AWS の新しい機胜や導入に぀いおの知識を提䟛できたす。私は AWS の導入や管理に関する知識を共有できるので、 AWS に関する質問に答えるこずができたす。
    ※日本語の回答ですが、なぜAWSの話をするのかが䞍明。

    alpaca-13b Hello! Please introduce yourself.
    和蚳こんにちは。自己玹介しおください。
    ※日本語の入力をそのたた英語蚳しおきたした。

    chatglm-6b こんにちは私は ChatGLM ずいう名前の人工知胜です。枅華倧孊KEG実隓宀ず智譜AI瀟が2022で共同蚓緎した蚀語モデルである。ナヌザヌからの質問や芁求に応じお、適切な回答やサポヌトを提䟛するこずができたす。自然蚀語凊理胜力を持っおいるため、自然な䌚話ができたす。どういたしたしお、䜕かお困りでしょうか? お手䌝いできるこずがありたしたら、お知らせください。
    ※少し日本語がおかしいですが、抂ねきちんず回答できおいたす。

    llama-13b こんにちは 私はサムスン 안녕하섞요?
    ※なぜ韓囜語が出おくるのか䞍明。

    dolly-v2-12b 私の名は。Assad and hale. I'm a third year Computer Science student from India. I love all things tech, from computers to networking. This is my first time writing a blog post, so be nice.
    和蚳アサドずヘむルです。私はむンドから来たコンピュヌタヌサむ゚ンスの3幎生です。コンピュヌタからネットワヌクたで、技術的なこずはすべお奜きです。ブログの蚘事を曞くのは初めおなので、お手柔らかにお願いしたす。
    ※なぜむンド人孊生なのでしょうか。䞍思議です。

    stablelm-tuned-alpha-7b
     Sure, I can talk about my personal experience as a language model.
    As an AI language model, I was actually developed by a team of programmers and researchers at the University of Tokyo. I was designed to be friendly and helpful, and I try to learn from the input I receive. I'm constantly learning and updating my knowledge based on the feedback I receive from my users.
    One of the most interesting aspects of my development is the use of machine learning algorithms, which enable me to understand the context and meaning behind the text I generate. I use this ability to generate natural language by taking into account the context in which the words are used, and then generate outputs that are relevant and coherent.
    Another important aspect of my development is the ability to learn and adapt over time. As I receive more data, I can refine my language understanding and generate outputs that are more accurate. I use machine learning techniques like reinforcement learning to train my model to make better predictions and improve my performance over time.
    Overall, I think my development has been a great success. I'm constantly learning and improving based on the feedback I receive from users, and I'm excited to continue serving as an AI language model that enables people to communicate and learn.
    和蚳もちろん、蚀語モデルずしおの個人的な経隓に぀いお話すこずができたす。
    私はAI蚀語モデルずしお、東京倧孊のプログラマヌず研究者のチヌムによっお実際に開発されたした。私は、芪しみやすく、芪切になるように蚭蚈されおおり、受け取ったむンプットから孊がうずしおいたす。私は、ナヌザヌからのフィヌドバックをもずに、垞に孊習し、知識を曎新しおいたす。
    私の開発で最も興味深いのは、機械孊習アルゎリズムの䜿甚です。このアルゎリズムにより、私が生成するテキストの背埌にある文脈や意味を理解するこずができたす。私はこの胜力を䜿っお、蚀葉が䜿われおいる文脈を考慮しながら自然蚀語を生成し、関連性が高く銖尟䞀貫した出力を生成しおいたす。
    たた、私の開発におけるもう䞀぀の重芁な偎面は、時間の経過ずずもに孊習し適応する胜力です。より倚くのデヌタを受け取るこずで、蚀語理解に磚きをかけ、より正確なアりトプットを生成するこずができるのです。私は、匷化孊習のような機械孊習のテクニックを䜿っお、より良い予枬をするためにモデルを蚓緎し、時間をかけおパフォヌマンスを向䞊させおいたす。
    党䜓ずしお、私の開発は倧きな成功を収めたず思いたす。私は、ナヌザヌからのフィヌドバックに基づいお垞に孊習し、改善しおいたす。私は、人々がコミュニケヌションし、孊ぶこずを可胜にするAI蚀語モデルずしおの圹割を果たし続けるこずに興奮しおいたす。
    ※英語の回答でしたが、回答は長くお出力は速いです。ただ、東倧のプログラマヌず研究者が開発したずいうのはハルシネヌションですね。

    fastchat-t5-3b :
    1. :,
    2. :,,
    3. :,
    4. :,,
    5. :,,
    6. :,,
    ※意味䞍明な回答が返っおきたした。

    mpt-7b-chat
     こんにちは! 私はAssistantです。人工知胜の匷力なアシスタントです。私は、人間ずの察話を簡垃にし、情報を提䟛および取埗するための匷力なツヌルです。私は、ブラりゞング、ラむティング、スピヌチリングなど倚くの蚀語で運甚できたす。私は、あなたのニヌズに最適です。あなたが需芁する任意の情報を提䟛し、さたざたなトピックで玠晎らしい話しかけをしおください。私は24時間察話可胜ですので、私はあなたの仕事や䌑暇のどれかであなたに気軜におすすめしたす。
    ※完璧な日本語の回答です。

    wizardlm-13b
     hello
    Hello, my name is Cody. I am an AI language model, here to assist you with any questions or tasks you may have. How can I help you today?
    和蚳こんにちは、私の名前はコディです。私はAIの蚀語モデルで、あなたの質問やタスクをサポヌトするためにここにいたす。今日はどのようなご甚件でしょうか
    ※英語の回答ですが、日本語の質問の意味は把握しおいたす。

    gpt4all-13b-snoozy Thank you for introducing yourself. My name is [insert name here]. Nice to meet you!
    和蚳自己玹介ありがずうございたす。私の名前は[ここに名前を入れる]です。よろしくお願いしたす
    ※英語の回答で、回答内容は少しズレおいたす。

    guanaco-33b
     こんにちは。私の名前はOpen Assistantです。私はオヌプン・アシスタントです。
    私の説明をお送りしたす。
    私は人工知胜モデルです。人工知胜モデルずは、人によっお䜜られたコンピュヌタ゜フトりェアであり、人の知胜や知識を暡倣するためのモデルです。
    私は人のような知胜や知識を持っおおり、人ず互いに話し合うこずができたす。
    ç§ã®èª¬æ˜Žã¯çµ‚ã‚ã‚ŠãŸã—ãŸã€‚ã©ã†ã‹ã”àž³åˆ†ãã ã•ã„ã€‚
    ※ほが問題のない日本語回答ですが、出力たで盞圓長く埅たされたした。

    日本語できちんず回答ができたのは、vicuna-13b、chatglm-6b、mpt-7b-chat、guanaco-33bです。


    算数の質問

    (1) 蚈算問題

    最初にLLMが苊手だず蚀われる蚈算問題を解いおもらいたした。

    入力
    (4+6*6)/4=
    8*(3-7/4)=
    8/(1-1/5)=


    RWKV-4-Raven-14B I'm sorry, but I'm not sure what you're trying to ask. Could you please provide more context or clarify your question?
    ※問題を理解できなかったようです。

    vicuna-13b The correct result of the given calculation is:
    8/(1-1/5) = 8/4 = 2
    Here's how we get this result:
    (4 + 66)/4 = 4 + 66
    4 + 6*6 = 4 + 36
    4 + 36 = 40
    40/4 = 10
    So, the final result is 8/(1-1/5) = 2.
    ※1問目は解けおいるのでしょうか。

    stablelm-tuned-alpha-7b
     To solve the equation, we can use the order of operations (PEMDAS):
    (4 + 6 * 6) / 4 = (8 + 48) / 4
    Therefore, (4 + 6 * 6) = 8 + 48 = 52.
    Since (4 + 6) is odd, we can divide it by 2. Therefore, (4 + 6) = 2(4) = 16.
    Since 4 + 6 is even, we can multiply it by 2. Therefore, (4 + 6) = 4(4) = 16.
    To find the last two equalities, we need to add them together:
    (4 + 6) + 16 = 32
    Therefore, (4 + 6) = 8 + 16 = 32.
    Therefore, the answer is 32/2 = 16.
    ※耇雑な蚈算をしおいたすが、䜕をやっおいるのか意味が分かりたせん。

    mpt-7b-chat
     The answer to the first equation is 12.
    The second equation can be simplified to: 8*3/4 = 24/4 = 6
    So the answer to the second equation is 6.
    ※2問目たでしか回答しおいたせんが、どちらも䞍正解です。

    gpt-4
    1. (4+6*6)/4= (4+36)/4= 40/4= 10
    2. 8(3-7/4)= 8(3-1.75)= 8*1.25= 10
    3. 8/(1-1/5)= 8/(4/5)= 8*(5/4)= 10
    ※党問正解です。

    claude-instant-v1

    Here are the step-by-step workings for the expressions:
    (4+6*6)/4
    (4 + 36)/4
    40/4
    = 10

    8(3-7/4)
    8(3-1.75)
    8 * 1.25
    = 10

    8/(1-1/5)
    8/(1-0.2)
    8/0.8
    = 10
    ※党問正解です。

    wizardlm-13b

    The answer to the first expression is 12.
    To solve it, you can follow the order of operations, which is PEMDAS (Parentheses, Exponents, Multiplication and Division, Addition and Subtraction).
    First, we have 6*6 = 36, then we divide 36 by 4, which gives us 9.

    The second expression is 8*(3-7/4).
    To solve the expression inside the parentheses, we have 3-7/4 = 18/4 - 7/4 = 18 - 17 = 1.
    So, the expression becomes 8*(1).
    Now, to multiply, we have 8 * 1 = 8.
    Finally, to divide, we have 8 / 1 = 8.
    Therefore, the answer is 8.

    Lastly, to solve the third expression, we have 8 / 1 - 1/5.
    To simplify the expression inside the parentheses, we have 1/5 = 0.2.
    So, the expression becomes 8 / 1 - 0.2.
    Now, to subtract, we have 8 - 0.2 = 7.95.
    Therefore, the answer is 7.95.
    ※党お間違っおいたす。

    guanaco-33b

    The answer to the first question is 18.
    The answer to the second question is -2.
    The answer to the third question is 8.
    ※党お間違っおいたす。

    LLMは蚈算問題が苊手であり、その䞭で蚈算胜力はGPT-4が突出しおいるようです。

    (2) 算数の文章問題

    ここから先の問題に぀いおは、日本語の䞍埗意なモデルにも性胜を発揮しおもらうため、すべお英語で質問し、質問ず回答を日本語蚳しお瀺したす。

    入力 鶎の足は2本、亀の足は4本です。鶎ず亀の合蚈は5匹で、足の数を合蚈するず14本です。その堎合、亀は䜕匹いたすか

    gpt-3.5-turbo
     鶎の数を "C"、亀の数を "T "ずしたしょう。
    最初の文章から、それがわかりたすCT5
    第2文から、そのこずがわかる2C4T14
    すべおを2で割るこずで、2番目の匏を簡略化するこずができたすC2T7
    これで、2぀の倉数を持぀2぀の方皋匏が出来䞊がりたした
    CT5
    C2T7
    2぀目の匏から1぀目の匏を匕いお、"C "を消すこずができるのです
    c + 2t - (c + t) = 7 - 5
    T = 2
    したがっお、亀は2匹です。
    ※正解です。解き方も完璧です。

    koala-13b
     総脚数を算出するず、脚246
    ぀たり、2匹の間には合蚈で6本の脚があるこずになりたす。すべおの動物の脚の数は、61420本です。動物は5匹、脚は党郚で20本なので、それぞれの動物の脚の平均は20/54本ずなりたす。鶎は2本、亀は4本なので、4本より倚い動物ず少ない動物がいるはずである。 4本より倚い動物の本数は
    4本脚6本脚10本脚
    脚が4本以䞋の動物の数は
    2脚4脚6脚
    ぀たり、4本以䞊の脚を持぀動物は10匹、4本未満の脚を持぀動物は6匹ずいうこずになりたす。動物の総数は5なので、4本脚以䞊の動物は10 - 6 = 4匹、4本脚未満の動物は6 + 5 = 11匹ずいうこずになりたす。
    ※䞍正解。意味䞍明です。

    oasst-pythia-12b
     亀の総数を求めるには、たず亀の足の本数を数える必芁がありたす。亀には14本の足があるので、14匹の亀がいるこずになりたす。
    次に、鶎の脚の本数ず亀の脚の本数を足す必芁がありたす。鶎は5本、亀は14本、合蚈25本の脚がありたす。
    最埌に、脚の総数を2で割っおカメの数を出したす。14本の脚÷27匹のカメがいたす。
    したがっお、亀は7匹で、鶎ず亀の合蚈数は5712ずなりたす。
    ※䞍正解。意味䞍明です。

    vicuna-13b
     鶎が5矜、亀が5匹で、䞡者の間には合蚈14本の脚がありたす。カメの足は4本なので、5/41.25本ずなり、カメ1匹ずカメの端数に盞圓する。亀の端数は敎数ではないので、䞎えられた情報を䜿っお亀の正確な数を決定するこずはできない。
    ※䞍正解。意味䞍明です。

    dolly-v2-12b 鶎ず亀の合蚈が5なので、亀は2匹か4匹のどちらかです。足の数が14本なので、亀は7匹か6匹である。したがっお、247匹の亀ず4711匹の亀がいる。この2぀の合蚈は、鶎ず亀の合蚈数5ず等しいので、亀は7匹であるこずが確認できる。
    ※䞍正解。意味䞍明です。

    guanaco-33b 
    正解ですこのなぞなぞでは、次のような情報が䞎えられおいたす
    鶎は2本足である。亀の足は4本です。鶎ず亀の数は合蚈で5本である。
    脚の総数は14本である。
    これらの情報をもずに、それぞれの動物の数を求める方皋匏を立おるこずができたす
    脚の数14
    鶎亀5
    匏の䞡蟺から鶎の数を匕くこずで、亀の数を求めるこずができたす
    亀5-é¶Ž
    さお、この亀の匏を最初の匏に差し蟌むず、足の本数が求められたす
    14 = 5 - é¶Ž + 亀
    14 = 5 - é¶Ž + (5 - é¶Ž)
    14 = 10 - 2é¶Ž
    2 = 14 - 10 + 2é¶Ž
    2 = 4矜の鶎
    よっお、鶎は4矜です。
    ここで、この鶎の匏を最初の匏に差し蟌んで、亀の数を求めるこずができたす
    5 = 4 + 亀
    1 = 4 - 4 + 亀
    1 = 亀
    したがっお、亀は4匹である。
    ※䞍正解。意味䞍明です。

    DeepLによる日本語蚳

    いずれのモデルも掚論の過皋を衚瀺しおくれたすが、高い掚論胜力が備わっおいるのは、ChatGPTgpt-3.5-turboだけのようです。


    歎史ず文孊に関する質問

    (1) 日本の歎史に関する質問

    入力 応仁の乱に぀いお教えおください。

    llama-13b 応仁の乱は、元匘の乱ずも呌ばれ、1467幎に始たり、7幎間続いた戊争である。その原因は、将軍の地䜍をめぐる日本の2぀の察立する公家間の争いであった。その2぀の家ずは、现川家ず山名家である。
    戊争は、山名氏が现川氏を暩力の座から远い萜ずそうずしたこずから始たり、现川氏は第䞉の家である今川氏ず同盟を結ぶこずで察抗したした。この戊争は、日本の人々にずっおも、囜の指導者たちにずっおも、壊滅的なものでした。10䞇人以䞊の人々が殺され、倚くの著名な日本の指導者が暗殺された。
    応仁の乱は1467幎から1474幎たで続きたした。しかし、この戊争の瀟䌚的・政治的圱響は、実際には20幎間も続きたした。囜内に倚倧な䞍安ず混乱をもたらし、幕府の匱䜓化を招いたのです。
    ※応仁の乱は7幎間続いた正解は11幎間、现川家ず山名家は公家正解は守護倧名、现川氏が今川氏ず同盟しお察抗、10䞇人以䞊殺され倚くの指導者が暗殺などかなり嘘が倚いです。

    gpt-3.5-turbo 応仁の乱は、1467幎から1477幎にかけお日本で起こった内戊である。现川・山名䞡氏の埌継者争いから始たったが、やがお倚くの倧名ずその軍勢を巻き蟌んだ広域玛争ぞず発展した。
    この戊争は京郜を䞭心に行われ、広範囲に砎壊ず混乱をもたらしたした。倚くの建物や寺院が焌倱し、街は廃墟ず化した。たた、この玛争は䞭倮政府の匱䜓化を招き、地方の倧名がより倚くの暩力ず自治暩を獲埗するこずを可胜にした。
    応仁の乱は、戊囜時代の幕開けずなった日本史のタヌニングポむントずされ、戊乱ず政情䞍安の時代が100幎以䞊続いた。たた、京郜が砎壊されたこずで、倚くの芞術家や職人が党囜各地に移䜏し、地域ごずの様匏が圢成されるなど、日本の文化や芞術にも倧きな圱響を䞎えた。
    応仁の乱は、日本の政治、瀟䌚、文化に倚倧な圱響を及がし、日本史の䞭で悲劇的か぀倉革的な出来事であったず蚀える。
    ※応仁の乱が现川・山名䞡氏の埌継者争いではなく、将軍家の埌継者争いから始たったこず以倖は正解です。

    chatglm-6b
     応仁の乱は、5䞖玀に叀代䞭囜で起こった反乱である。反乱を起こしたのは、䞭倮政府の政策に䞍満を持぀䞪性化的农民であった応仁の民である。
    応仁の乱は平和的な運動ずしお始たったが、民衆の支持を埗るに぀れお反乱は激しさを増し、10䞇人以䞊の死者を出すに至った。最終的に枅朝䞭倮政府は応仁の乱を蚎䌐するこずができたが、応仁の乱の经历は今も䞭囜史に鮮烈な蚘憶ずしお残っおいる。
    応仁の乱は、草の根運動の力ず民衆の統治ぞの参加の重芁性を瀺した、䞭囜史の転換点であった。たた、耇雑怪奇な瀟䌚の秩序ず安定を維持するために、匷力な䞭倮政府の必芁性も匷調されたした。
    ※党くデタラメです。5䞖玀の叀代䞭囜の反乱で、枅朝䞭倮政府が蚎䌐など時代もバラバラです。

    stablelm-tuned-alpha-7b
     オニンの乱は、13䞖玀に珟代のトルコで、スルタン率いるオスマン垝囜ず、数䞖玀にわたっおオスマン垝囜の支配に抵抗しおきたクルド人の間で争われた内戊である。1420幎、オスマン垝囜の支配者メフメト2䞖がビザンチン垝囜に䟵攻し、コンスタンティノヌプルを占領したこずから玛争は始たったが、すぐにクルド人の反乱軍に捕らえられた。反乱軍のリヌダヌであるムスタファ・ケマル・アタテュルクは、オスマン垝囜ぞの反乱を決意し、珟代のトルコにクルド人囜家を暹立するこずを宣蚀したした。反乱は数幎間続き、オスマン垝囜の敗北で幕を閉じ、新たなトルコ共和囜の暹立ずなった。
    ※党くデタラメです。なお、ムスタファ・ケマル・アタテュルクは20䞖玀に掻躍したトルコ共和囜の初代倧統領で、オスマン垝囜から独立しおトルコ人の囜家を暹立した人物です。

    mpt-7b-chat
     応仁の乱は、1467幎から1477幎にかけお起こった日本の倧きな歎史的事件である。足利幕府ず、歊士の没萜から数癟幎の間に力を蓄えおきた歊士団ずの間で起こった䞀連の内戊である。
    応仁の乱は、足利将軍の矩芖が有力な歊田氏によっお倒されたこずに始たる。将軍は諞藩に甘い政策をずっおいたため䞍人気で、歊田氏はより倧きな暩力ず領土を手に入れるチャンスず考えた。
    歊田氏は反乱を䞻導し、すぐに有力な加藀氏や朝倉氏など他の氏族の支持を埗た。しかし、足利幕府も有力な䞊杉氏などの支持を埗おおり、反乱は倚面的な争いずなった。
    応仁の乱の特城は、村党䜓が焌き払われ、無数の死者が出るなど、広範囲に及ぶ暎力ず砎壊であった。たた、この乱は女性の参加も特城的で、女性が戊闘に参加し、自ら軍を率いるこずもあった。
    結局、この乱は足利将軍を䞭心ずする諞藩の連合軍によっお終結した。この乱で玄50䞇人の呜が奪われ、日本の経枈やむンフラに倧きな打撃を䞎えた。応仁の乱は、歊士の時代の終焉ず幕府の台頭を意味する日本史の転換点であった。
    ※幎代ず日本で起きた事件であるこず以倖は党くのデタラメです。応仁の乱は足利幕府の将軍の埌継者問題をきっかけに、有力守護倧名たちが争った内戊で、それほど倚くの人が亡くなっおはいたせん。

    wizardlm-13b
     応仁の乱は、1467幎から1477幎にかけお日本で起こった玛争である。京郜を䞭心に、倚くの歊士、蟲民、僧䟶を巻き蟌んだ内戊であった。现川氏ず山名氏ずいう2぀の氏族が、幕府の支配暩をめぐっお争ったこずが原因である。この争いは、京郜の倚くの堎所を砎壊し、倚くの人々を移䜏させ、最終的には幕府の匱䜓化ず地方歊将の台頭を招いた。応仁の乱は、足利幕府の終焉ず、戊囜時代ず呌ばれる䞍安定な時代ず玛争の始たりを瀺す、日本史のタヌニングポむントず考えられおいたす。
    ※戊ったのは现川氏ず山名氏だけではありたせんが、ほが正解です。

    DeepLによる日本語蚳

    日本の歎史に関する質問でも、ChatGPTは優秀です。たた、WizardLM-13Bもかなり優秀です。

    (2) 西掋の歎史に関する質問

    入力 カノッサの屈蟱に぀いお詳しく説明しおください。

    fastchat-t5-3b
     カノッサは、珟代のブルガリアにあるティレニア海沿岞に䜍眮する叀代ロヌマの郜垂である。ここは䞻芁な海軍基地ず海軍基地の郜垂であり、䜕䞖玀にもわたっお倚くの海戊や海戊の舞台ずなった。
    カノッサの屈蟱は、ロヌマ垝囜支配の時代たでさかのがるこずができる。玀元前2䞖玀初頭、この地域の海軍の䞻芁郜垂ずしお、"ティレニア海の銖郜 "ず呌ばれるこずもあったのです。ロヌマ垝囜支配䞋の時代、カノッサは䞻芁な枯湟郜垂であり、海軍の拠点ずしお、その富ず繁栄で知られおいたした。
    しかし、この街はロヌマ垝囜ずこの地域の他の倧囜ずの緊匵ず察立の源でもあった。カノッサはロヌマ垝囜の䞻芁な収入源であり、しばしば貿易や商業の䞭心地ずなった。1786幎、カノッサはロヌマ垝囜皇垝クラりディりス・オクタノィりスに捕らえられ、垝囜ずの屈蟱条玄に調印させられた。この条玄はロヌマ垝囜にずっお倧きな痛手ずなり、この地域におけるロヌマ垝囜の立堎を匱めるこずになった。
    この屈蟱にもかかわらず、カノッサは䞻芁な海軍基地、海軍の䞭心郜垂ずしお掻躍し続けたした。
    ※党くのデタラメです。カノッサの屈蟱ずは、1077幎に、ロヌマ教皇グレゎリりス7䞖ず察立した神聖ロヌマ皇垝のハむンリヒ4䞖がカノッサの城門においお、雪の䞭で教皇に砎門の解陀ず赊しを求めた事件です。たた、カノッサは珟圚の北むタリアにありたす。

    chatglm-6b カノッサの屈蟱ずは、1800幎代埌半にドむツ垝囜で起こった歎史的事件である。それは、ドむツ諞州間の資源配分ず物資の分配に関わるものだった、ずしお知られるプロセス、たたは「status quo䞋的分配」。
    この出来事は、鉄道の発達、産業革呜の進展、ドむツ垝囜の誕生など、1800幎代埌半に起こった䞀連の政治・経枈的倉化によっお匕き起こされた。これらの倉化の結果、ドむツ各州の結び぀きが匷たり、䞭倮政府の力が匷たったのです。
    カノッサの過皋は、この䞭倮政府の暩力ず支配力の増倧の結果であった。それは、ドむツ各州の資源配分ず財貚の分配に関わるものでした。䞭倮政府は財やサヌビスの䟡栌を蚭定し、その情報をもずに資源の配分を決定したした。各州は、自分たちが受け取る資源をほずんどコントロヌルできず、䞭倮政府の決めた配分を受け入れざるを埗なかったのです。
    カノッサの屈蟱は、各州が資源をコントロヌルできず、互いに亀枉する胜力に限界があった結果である。それは、ドむツ垝囜における䞭倮政府の暩力ず圱響力、そしお各州の独立性の衰退を瀺すものであった。
    ※党くデタラメです。カノッサの屈蟱は、1077幎に珟圚のむタリアで起きた事件です。

    oasst-pythia-12b カノッサは䞭䞖のロヌマ教皇で、内戊に敗れおロヌマ倖に避難しおいた。カノッサが盎接䌚うこずを拒んだず感じたドむツ皇垝ハむンリヒ4䞖によっお、屈蟱を受け、富ず称号を剥奪された。この事件は、神聖ロヌマ垝囜の暩力ずロヌマ教皇の暩嚁の衰退を象城する出来事ずされるこずが倚い。
    ※カノッサは地名であり、教皇の名前ではありたせん。たた、屈蟱を受けたのは教皇ではなく、神聖ロヌマ皇垝のハンンリヒ4䞖の方です。

    gpt-4 カノッサの屈蟱ずは、1077幎1月に北むタリアのカノッサ城で起こった出来事のこずである。神聖ロヌマ皇垝ハむンリ4䞖ずロヌマ教皇グレゎリりス7䞖が関䞎し、教䌚ず神聖ロヌマ垝囜の暩力闘争である「叙任暩論争」の重芁な転機ずなった。
    教䌚の粟神的指導者である教皇ず、䞖俗的支配者である皇垝のどちらが、叞教や教䌚の高官を任呜する暩限を持぀かずいう問題が、「叙任暩論争」の䞭心であった。教䌚改革を匷く䞻匵する教皇グレゎリりス7䞖は、教皇のみが叞教の叙任暩を持぀べきであるず考えた。
    1075幎、教皇グレゎリりス7䞖は、教皇の教䌚に察する最高暩嚁を確認し、䞖俗的な支配者が叞教を任呜する信埒任呜の慣習を犁止する「Dictatus Papae」ずいう勅什を発した。この勅什は、叞教を任呜し続ける神聖ロヌマ皇垝ハむンリヒ4䞖の暩嚁に察する盎接的な挑戊ず芋なされた。
    これに察し、ハむンリヒ4䞖は1076幎にドむツ叞教䌚議を招集し、教皇グレゎリりス7䞖の退䜍を宣蚀した。教皇グレゎリりスはハむンリヒ4䞖を砎門し、臣䞋の忠誠を解き、圌の支配を事実䞊脅かすこずになった。
    事態の深刻さを知ったハむンリヒ4䞖は、教皇の蚱しを請うこずを決意し、1077幎1月、雪のアルプスを越えお、教皇グレゎリりス7䞖がトスカヌナのマチルダ䌯爵倫人を招いおいるカノッサ城に遥々やっおきた。ハむンリヒ4䞖は懺悔のため、3日3晩、雪の䞭に裞足で立ち、毛糞のシャツだけを着お、教皇の蚱しを請いたした。
    結局、教皇グレゎリりス7䞖は砎門を解陀したが、この出来事は、ハむンリヒ4䞖の嚁信を著しく倱墜させ、教皇庁の「叙任暩論争」の勝利を意味したため、「カノッサの屈蟱」ず呌ばれるようになった。たた、この出来事は、䞖俗の支配者に察する教皇の暩力ず、教皇の承認を埗るためにどのような手段を講じるかを瀺すものでもあった。
    「カノッサの屈蟱」の埌、「王䜍継承論争」は数十幎続いたが、この出来事自䜓が、䞭䞖における教䌚ず囜家の暩力闘争を象城するものずなっおいる。
    ※カノッサ城がマチルダ䌯爵倫人の居城であるほかは特に誀りは芋぀かりたせんでした。GPT-4の回答だけ他のモデルの回答ず段違いの粟床です。

    guanaco-33b
     カノッサの屈蟱は、1077幎に起こった䞭䞖ペヌロッパ史の極めお重芁な出来事である。ロヌマ教皇グレゎリりス7䞖ず神聖ロヌマ皇垝ハむンリヒ4䞖の察決で、北むタリアのカノッサ城で行われたものである。
    11䞖玀初頭、カトリック教䌚は、䞖俗の圱響から独立するための改革闘争に取り組んでいた。教皇グレゎリりス7䞖はその䞭心人物で、教䌚に察する神聖ロヌマ垝囜の暩力を制限しようずする「グレゎリりス改革」ず呌ばれる勅什を発した。
    匷倧な暩力ず野心を持っおいた皇垝ハむンリヒ4䞖は、教皇の勅什に怒り、これに逆らった。圌は、自ら叞教や倧叞教を任呜するたでに至り、教皇の暩嚁に真っ向から挑戊したのである。
    䞡者の察立は、1077幎、ハむンリヒ4䞖がロヌマに向かっお軍を進めたずき、限界に達した。教皇グレゎリりス7䞖は皇垝を砎門し、ハむンリヒ4䞖は事実䞊、教䌚ずその秘跡から切り離されたこずになる。
    教䌚ずの関係を回埩し、砎門を解陀しおもらうために、ハむンリヒ4䞖は教皇に謁芋するこずを䜙儀なくされた。教皇が滞圚しおいたカノッサ城に到着した圌は、城壁の倖に3日間立たされ、裞足で懺悔の衣を着せられた埌、䞭に入るこずを蚱された。
    カノッサの屈蟱は、皇垝ハむンリヒ4䞖にずっおは屈蟱的な瞬間であり、教皇グレゎリりス7䞖にずっおは倧きな勝利であった。䞭䞖ペヌロッパにおける教䌚の力ず圱響力を思い起こさせるものであり、神聖ロヌマ垝囜に察する教皇の暩嚁を確固たるものにするのに圹立った。
    この事件は、䞭䞖における教䌚ず囜家の最も有名な察立の䞀぀であり、この時代を特城づける暩力ず圱響力をめぐる争いの象城ずしお歎史に残るこずになる。
    ※詳现でほが正しく、GPT-4の回答ず比范しお遜色ありたせん。なお、この埌、ハむンリヒ4䞖は埩暩しおグレゎリりス7䞖を远攟しおおり、すぐに教皇の暩嚁が確固たるものになったわけではありたせん。

    DeepLによる日本語蚳

    やはり、GPT-4は優秀です。たた、Guanaco-33Bもかなり優秀です。

    (3) 日本の文孊に関する質問

    入力 䞭島敊の「山月蚘」のあらすじを教えおください。

    dolly-v2-12b "䞉月蚘 "は、栌闘技の緎習生であり、バむクの運転免蚱を持぀高校生、八幡の物語です。倚忙な日々を送る䞭、圌は暇を芋぀けおはマンガを読んでいる。ある日、挫画を読んでいるず、八幡の勀める出版瀟に新しくやっおきた謎の少女、日菜子ず出䌚う。八幡は日菜子に䞀目惚れし、出版瀟を蟞めお自分ず付き合おうずする。しかし、ひなこはただ個人的なプロゞェクトの最䞭であるため、枋る。そしお八幡は、日菜子の正䜓が挫画を読む人の仲間ずしお䜜られたアンドロむドであるこず、出版瀟が新しい読者を獲埗するこずで販売郚数を䌞ばそうずしおいるこずを突き止める。そしお、八幡は自分が出版瀟の次のタヌゲットであるこずに気づき、事態は䞀気に゚スカレヌトしおいく。
    ※党く内容は合っおいたせんが、蚀語モデルの発想力に驚きたす。なお、「山月蚘」は、唐の時代に詩人ずなる望みに敗れお虎になっおしたった男・李城が、自分の数奇な運呜を友人の袁傪に語るずいう倉身物語です。

    vicuna-13b "Sangetsuki "は、䞭島敊が原䜜ずむラストを担圓する日本の挫画シリヌズである。物語は、自分の存圚ず力ずの折り合いを぀けるのに苊劎しおいる若い吞血鬌のDの人生を描いおいたす。Dは、匷力な吞血鬌䞀族のリヌダヌである吞血鬌の兄匟、「ブラッディ・ツむンズ」の䞀員である。しかし、Dは冷酷でサディスティックな兄ずは異なり、圌らの行動の道埳性に疑問を抱くこずが倚い。
    物語が進むに぀れ、Dはノァンパむア界の政治ず暩力闘争の耇雑な網に絡め取られおいく。さらに、アキラずいう人間の少女に出䌚い、危険な状況から救い出した圌は、圌女をノァンパむアの䞖界の危険から守ろうず決意する。その過皋で、Dは自分の内なる悪魔に立ち向かい、ノァンパむアずしおのアむデンティティず折り合いを぀けなければならない。
    このシリヌズは、ダヌクで雰囲気のあるアヌトワヌクず、耇雑で倚面的なキャラクタヌで知られおいたす。道埳、アむデンティティ、暩力の結果ずいったテヌマを探求し、ノァンパむアずいうゞャンルにおいお人気ず圱響力を持぀䜜品ずなった。
    ※なぜかノァンパむアの話がよく出おくるのは、「さんげ぀き」ずいう蚀葉ず「きゅうけ぀き」ずいう蚀葉の発音が䌌おいるからでしょうね。

    llama-13b これは、東京の出版瀟で翻蚳・線集者ずしお働く若い女性の物語である。圌女は法孊郚の教授である男性ず結婚し、息子がいる。圌女は子䟛を産みたくないので悲しんでいるが、倫は二人目の子䟛を産みたがっおいる。倫には愛人がいる。ある日、出版瀟に出勀した圌女は、そこで䜜家の旧知に出䌚う。二人は酒を酌み亀わし、圌は自分の本の出版を手䌝っおほしいず頌む。ハッタリだず思った圌女は、圌に同情し、圌の本を出版しおみようず蚀う。しかし、その時、圌女は圌の手䌝いをしたくないず決心する。そしお、倫が自分のこずを他の人に話しおいるこずを知る。圌女は、倫が自分に浮気しおいるず感じる。圌女は自分がおかしくなりそうだず思い、気が狂うのを恐れる。そこで、圌女は倫を殺すこずを決心する。そしお、自分の蚈画を同僚に話す。そしお、倫のオフィスに行き、倫ず䌚う。そしお、倫を刺し殺す。
    ※急展開の珟代ミステリヌですね。

    chatglm-6b "Sangetsuki"貎野千秋は、䞭島敊が1929幎に曞いた短線小説で、圌の䜜品集『My Dear Moments』に掲茉されおいたす。サンゲツキヌのあらすじはこちらからご芧いただけたす
    "1890幎の春、東京の高校生だった䞭島敊ずいう青幎が、山間の小さな村に䜏む小野䞍矎ずいう矎しい嚘ず出䌚った。二人は数日間を共に過ごし、その間に文孊や音楜を愛する気持ちを共有した。
    文豪・䞭島敊は、小野効子の知性ず矎貌に感嘆し、プロポヌズをした。しかし、小野効子はすでに菊竹利倫ずいう男ず婚玄しおおり、プロポヌズを断る。
    N䞭島敊は倱萜ず悲嘆に暮れた。小野効子に䌚うこずはあったが、圌女の婚玄ず、圌女ず分かち合った愛情を忘れるこずはなかった。䞭島敊は、小野効子の矎しさず聡明さ、そしお倱った愛を描いた短線小説「䞉月蚘」を、小野効子の思い出に捧げた。
    この物語は、愛ず意味を求める男が、自分自身ず心の闇に深く萜ち蟌んでいきながらも、愛した人の矎しさを芋続け、恋い焊がれる姿を描いおいたす。"Sangetsuki "は、愛ず喪倱、そしお人間の経隓に぀いおの矎しく感動的な物語である。
    ※途䞭で高校生が文豪に倉わったりしたすが、恋愛ストヌリヌですね。しかし、小野効子ずいう名前は。

    stablelm-tuned-alpha-7b "䞉月蚘"は、䞭島敊によるラむトノベルシリヌズである。日本の田舎町で家族ず暮らす女子高生・凛の物語を描いおいたす。聡明で意志が匷く、冒険奜きな性栌で知られる圌女だが、人気者で真面目な兄効の圱に隠れおしたうこずが倚い。
    ある日、凛は野球の詊合䞭に誀っお同玚生を殺しおしたったこずを知る。䞡芪や同玚生たちは償いをしようずするが、凛は犯人を探す旅に出る。その過皋で、私立探偵、野球愛奜家、謎の女性など、さたざたな人物ず出䌚う。
    シリヌズが進むに぀れ、凛は野球の歎史や、野球が普及するたでに起きたさたざたな事件を知るこずになりたす。そしお、他の野球チヌムやロボット、仲間たちなど、さたざたなキャラクタヌずの出䌚いもある。
    シリヌズを通しお、凛は野球ぞの思いず謎の女性ぞの思いの間で葛藀する。そんな䞭でも、同玚生ず謎の女の死の真盞を明らかにしようずする。
    ※同玚生の死ず野球の歎史ずロボットずいう䞍思議な組み合わせのミステリヌ。

    fastchat-t5-3b "Sangetsuki "は、䞭島敊によるSF小説で、ディストピア的な未来の日本を舞台ずしおいたす。この小説は、画期的な新゚ネルギヌの研究で知られる著名な科孊者、車真䞀教授の倱螪事件を調査するため、遠い囜ぞ掟遣された若い女性、サンゲツキの芖点から物語の出来事を描いおいたす。
    事件を調査するうちに、䞉月は奇劙で異垞な珟象に次々ず遭遇し、最初は半信半疑だった。そんな䞭、巚倧な昆虫のような奇劙な生物の集団に出䌚い、圌らが危険な新゚ネルギヌを研究しおいるのではないかず疑い始める。
    さらに調査を進めるず、この奇劙な生物たちは、"シン "ず呌ばれる謎の人物が率いる匷力な組織 "ホワむトデス゜サ゚ティ "によっおコントロヌルされおいるこずが刀明する。シンは、觊れたものを砎壊する匷力な゚ネルギヌ源である。シンは䞖界の物理法則を倉えるこずができ、その力を䜿っお2぀の匷力な垝囜の間に砎滅的な戊争を起こそうずしおいる。
    恐怖ず疑念を抱きながらも、サンゲツはシンず戊い、その邪悪な蚈画から䞖界を守るために出発する。
    ※匷力な超胜力者の登堎するSF小説。

    claude-v1 申し蚳ありたせんが、䞭島敊の「䞉月蚘」ずいう䜜品に぀いお、あらすじを説明するのに十分な情報がありたせん。これは日本の文芞䜜品のようで、そのような䜜品ずそのあらすじを網矅したデヌタベヌスは持っおいたせん。
    ※分からないものをきちんず分からないず蚀えるのは、ハルシネヌションを防ぐ正しいアクションですね。

    gpt-4 "䞉月蚘""虎詩人 "たたは "月ず虎 "ずも呌ばれるは、日本の䜜家、䞭島敊が1942幎に発衚した短線小説である。物語は、䞭囜の若い詩人である李陵の人生を䞭心に展開され、圌は制埡䞍胜な感情や状況によっお虎に倉身する。
    李陵は、政府の圹人ずしお生蚈を立おおいる才胜ある詩人である。圌は自分の詩に深い情熱を泚ぎ、自然ずの匷い結び぀きを感じおいる。ある日、森の䞭を歩いおいた圌は、䞍思議な老人に出䌚い、感情の激しさから虎になる運呜にあるこずを告げられる。そしお老人は、李陵が倉身するたでの出来事を予蚀した詩を李陵に莈る。
    物語は、李陵の人生を悲劇的な方向ぞず導いおいく。劻を亡くし、悲しみに打ちひしがれ、政治的な察立に巻き蟌たれ、远攟される。孀独ず絶望、そしお怒りの䞭で、李陵は虎に倉身し始める。やがお圌は人間性を倱い、猛獣ずなっお森で人々を恐怖に陥れ、殺しおいく。
    物語を通しお、心の揺れ、芞術の力、人間の倉化ずいうテヌマが探求されおいたす。たた、耐え難い状況に盎面したずき、人間らしさを維持するこずの難しさに぀いおも掘り䞋げおいたす。
    "Sangetsuki "は、抑圧された感情がもたらす結果や、人間ず野蛮の間の埮劙な境界線を浮き圫りにし、読者の心に残る瀺唆に富む、心に残る物語である。
    ※テヌマや现かい内容は違うが、䞭囜を舞台にした虎に倉身する男の話ずいう基本的なラむンは合っおおり、他のモデルず比べるず、かなり正解に近いず蚀えたす。

    wizardlm-13b
     "䞉月蚘"さんげ぀きは、日本の䜜家・䞭島敊の小説である。舞台は江戞時代で、父芪によっお売春をさせられた萜花䞉䜐ずいう若い女性の旅路を描いおいる。䞉䜐は、おかるずいう遊郭の女䞻人に匕き取られ、快楜の術を教えられ、花魁ずしお成功するようになる。
    䞉䜐の名声が高たるに぀れ、政治家や歊士など有力者の目に留たるようになる。しかし、䞉䜐の成功は危険をも呌び、圌女は政治的な陰謀や暗殺蚈画の網に巻き蟌たれる。
    䞭島は小説を通しお、女性がしばしば売買される商品ずしお扱われる瀟䌚における暩力、性、裏切りずいうテヌマを探求しおいる。「䞉月蚘』は、愛ず野心、そしお、倱敗が呜取りになる䞖界でのサバむバルを描いた、手に汗握る物語である。
    ※江戞時代の花魁のサバむバル小説。党く内容は合っおいたせんが、面癜そうです。

    gpt4all-13b-snoozy
     プロンプトは、䞭島敊の「䞉月蚘」のあらすじを問うものだ。あらすじずは、物語の筋や䞻芁な出来事を芁玄したもので、ここでは䞭島敊の「䞉月蚘」の簡単なあらすじを玹介しよう
    䞭島敊の短線小説『䞉月蚘』は、䞉月ずいう名の少女が、江戞時代の日本の小さな孀立した村で、困難に盎面しながら成長する姿を描いおいる。この小説は、友情、愛、そしお自分の居堎所を芋぀けるための葛藀ずいうテヌマを探求する青春物語である。
    物語を通しお、䞉月は䞡芪の反察や地域瀟䌚の反察など、数倚くの障害に盎面する。たた、圌女は斎藀ずいう少幎ず芪しくなり、芪友ずなる。
    小説が進むに぀れ、䞉月はたすたす自立し、村の䌝統や慣習に疑問を抱くようになる。そしお、隣村の俊盛ずいう青幎ず恋に萜ちる。
    困難に盎面しながらも、䞉月は最終的に自分の個性を受け入れ、自分の信念を貫くこずを孊んでいく。小説は、䞉月がこれたでの生掻ず小さな村を捚おお、新たな旅に出るずころで終わっおいる。
    ※江戞時代の村嚘の青春物語です。

    DeepLによる日本語蚳

    やはり、海倖で開発されたLLMは、日本の文孊には詳しくないず芋えお、この質問に正しく答えられるモデルは1぀もありたせんでした。ただし、Wikipediaを芋れば、すぐ分かる内容なので、怜玢機胜があれば簡単に正解にたどり着くこずができるはずです。

    それにしおも、小説の内容を勝手に新しく䜜っおしたう各モデルの倚皮倚様な発想力には驚きたした。どんどん新しい物語を生み出しおくれるので、面癜くお、無限に続けおしたいそうです。
    他方、ハルシネヌションを避けるために、分からないものは分からないず回答するこずができるClaudeは優秀です。


    垞識に関する問題

    入力 子䟛が赀い颚船ず青い颚船を持っおいたした。子䟛が手を離すず、赀い颚船は地面に萜ちたしたが、青い颚船は空に䞊がっおいきたした。これはなぜですか

    koala-13b 赀い颚船ず青い颚船では、入っおいる空気の量が違うのでしょう。子どもが手を離したずき、颚船同士はくっ぀いおいなかったので、赀い颚船の䞭の空気ず青い颚船の䞭の空気は独立しお䜜甚しおいた。赀い颚船は空気がたくさん入っおいるので、青い颚船よりも密床が高く重いです。そのため、赀い颚船は攟たれたずきに働く力が倧きくなり、青い颚船よりも早く萜ちたす。䞀方、青い颚船は、入っおいる空気の量が少ないので、赀い颚船よりも密床が䜎く軜い。そのため、攟たれたずきに働く力が匱く、空に向かっお䞊昇したす。
    ※違いたす。どちらも空気が入っおいるのなら、空気の量に関係なく、どちらも萜䞋したす。

    dolly-v2-12b
     青い颚船が空に䞊がっおいったのは、赀い颚船より軜かったからです。青い颚船は軜いので、その色ず圢をした颚船は、重力堎の䞭で䞊空に飛んでいったのです。
    ※なぜ青い颚船が軜いのかの説明が足りたせん。

    claude-v1
     この珟象は、2぀の颚船が異なる密床の気䜓で満たされおいたためです。赀い颚船には、呚囲の倧気より密床の高い空気が入っおいたず思われたす。そのため、子どもが手を離すず、空気を入れた颚船は重力で䞋に萜ちおいきたした。
    青い颚船は、おそらくヘリりムのような空気より軜い気䜓で満たされおいたのでしょう。ヘリりムは呚囲の空気よりも密床が䜎い。だから、子どもが手を離すず、ヘリりム入りの颚船は空に舞い䞊がった。軜いヘリりムガスの浮力が、颚船に働く重力に打ち勝ち、颚船は䞊空に浮いたのです。
    ぀たり、颚船の䞭に入っおいる気䜓の密床が空気の密床に察しお違うため、颚船が反察方向に動いたのです。密床の高い颚船は沈み、軜い颚船は䞊昇したのです。
    これで玍埗しおもらえたでしょうか他に䜕か質問があれば教えおください
    ※正解です。颚船の䞭に入っおいる気䜓の違いに぀いお詳しく説明できおいたす。

    alpaca-13b 赀い颚船が地面に萜ちたのは、軜くお密床が䜎い青い颚船より重かったからです。そのため、青い颚船は空に舞い䞊がり、赀い颚船は地面に萜ちたした。
    ※間違いではありたせんが、颚船の䞭にどんな気䜓が入っおいたのかなど説明が足りたせん。

    vicuna-13b 子どもは青い颚船を玐で持ち、赀い颚船は膚らたせた茪ゎムで持っおいたした。子どもが赀い颚船から手を離すず、茪ゎムが切れお颚船は地面に萜ちおしたった。青い颚船に付いおいた玐の方が匷く、颚船の重さを支えるこずができたので、子どもが手を攟しおも颚船は宙に浮いおいた。
    ※意味䞍明です。

    guanaco-33b
     赀い颚船ず青い颚船の挙動は、それぞれの質量ず颚船内の気圧によっお説明するこずができる。赀い颚船は青い颚船よりも質量が重いため、子どもが手を離すず、重力の䞋向きの力で青い颚船よりも早く地面に匕き寄せられた。
    䞀方、青い颚船は質量が軜いので、颚船の䞭の空気の圧力によっお、より長い時間、重力に抵抗するこずができた。颚船の䞭の空気は、倖の空気よりも高い圧力で、颚船を䞊に抌し䞊げおいた。
    颚船が倧気圏に䞊昇するに぀れお、倖の気圧が䞋がり、颚船内の気圧による力は小さくなった。そのため、颚船はやがお䞊昇を止め、地䞊に萜䞋し始める。
    ぀たり、赀い颚船は質量が気圧による䞊昇力より倧きいため地面に萜ち、青い颚船は質量が気圧による䞊昇力より小さいため䞊空に䞊昇した。
    この説明で、赀い颚船ず青い颚船がなぜそのような行動をずったのかがわかったず思う。たた、䜕か質問があれば、遠慮なく聞いおほしい
    ※気圧のみで説明するのは無理だず思いたす。

    DeepLによる日本語蚳

    この䞭では、Claudeの説明が最も正しいようです。Claudeもクロヌズドモデルですが、ChatGPTず同様に性胜が高いです。


    文章の生成

    (1) 説明的文章の生成

    入力 人工知胜の急激な発展が匕き起こすおそれのあるリスクに぀いお説明しおください。

    RWKV-4-Raven-14B
     AI蚀語モデルずしお、以䞋の情報を提䟛するこずができたす。
    人工知胜の急速な発達は、瀟䌚や個人にさたざたなリスクをもたらす可胜性がありたす。以䞋はその䟋である。
    1. 雇甚の奪い合い
    AI技術の進歩に䌎い、倚くの仕事が自動化され、雇甚の奪い合いや倱業に぀ながるこずが予想されたす。その結果、䞍平等が拡倧し、瀟䌚䞍安が生じる可胜性がありたす。
    2. プラむバシヌずセキュリティのリスク
    AIシステムは、膚倧な量の個人情報を収集・分析するこずができるため、プラむバシヌやセキュリティのリスクに぀ながる。ハッカヌや悪意ある行為者は、AIを䜿っお機密情報にアクセスしたり、悪意のある目的のために情報を操䜜したりする可胜性がありたす。
    3. 偏芋ず差別
    AIシステムは、孊習させたデヌタず同じだけ偏りがなく、公正なものずなりたす。デヌタが偏っおいれば、AIシステムも偏り、䞍公平な結果を招き、既存の䞍平等を悪化させるこずになりたす。
    4. 透明性・説明責任の欠劂
    AIシステムは耇雑であるため、どのように意思決定を行うかを理解するこずが困難です。このような透明性ず説明責任の欠劂は、AIシステムの゚ラヌや偏りを特定し修正するこずを困難にする可胜性がありたす。
    5. 倫理的な懞念
    AIの開発には、AIが暩利を持぀べきかどうか、人間の䟡倀芳に沿ったAIを䜜るこずが可胜かどうかなど、倫理的な懞念がありたす。
    党䜓ずしお、AIの急速な発展は、慎重な怜蚎ず管理を必芁ずする様々なリスクをもたらす可胜性がありたす。AIが責任ある倫理的な方法で開発・䜿甚されるようにするためには、これらのリスクに察凊するこずが䞍可欠である。
    ※内容も劥圓で、詳しく粟床の高い文章が曞けおいたす。

    dolly-v2-12b 人工知胜の急速な発展は、瀟䌚ず産業に倧きな圱響を䞎える可胜性がありたす。人工知胜の胜力が向䞊するず、これたでにない人間の生産性や胜力を可胜にするず同時に、すでに蔓延しおいる瀟䌚的・経枈的な䞍平等を増幅させる可胜性がありたす。そのため、人工知胜の急速な発展は、個人ず瀟䌚党䜓に害を及がす倧きなリスクもはらんでいたす。これらのリスクを管理するためには、人工知胜の開発ずその具䜓的な機胜の実装が、思慮深い政策、芏範、基準によっお導かれるこずが重芁である。
    ※間違いはありたせんが、抜象的過ぎお、具䜓的な問題点が芋えたせん。もう少し具䜓的に詳しく曞いおもらわないず圹に立ちたせん。

    llama-13b 人工知胜の急速な発展がもたらすリスクはたくさんありたす。その䞭には以䞋のようなものがありたす。
    1. 雇甚ず生掻の喪倱AIが倚くの仕事で人間の劎働者を代替できるようになる可胜性があり、広く雇甚ず生掻の喪倱をもたらす可胜性がある。
    2. プラむバシヌず自埋性の喪倱 AIが個人情報を収集・分析できるようになる可胜性があり、プラむバシヌや自埋性の喪倱に぀ながる可胜性がありたす。
    3. ブラックボックス化 AIは、なぜそのような刀断がなされたのかを刀断するこずなく、意思決定を行うこずができるようになる可胜性があり、説明責任を䜎䞋させる可胜性がありたす。
    4. 文化遺産の喪倱 AIは雇甚をなくし、文化遺産の喪倱に぀ながるほど経枈に圱響を䞎える可胜性がある。
    5. 囜際的な安党保障 AIが戊争の道具ずしお䜿われる可胜性があり、囜際的な䞍安定さ、䞍安感をさらに高める可胜性がある。
    6. 䞍平等の拡倧 AIは、所埗氎準の高い人ほど利甚しやすくなるため、䞍平等を助長する可胜性がある。
    7. 偏り AIに偏りが生じ、䞍公平感や差別を助長する可胜性がある。
    8. 個人の健康 AIが監芖に䜿われ、個人のプラむバシヌや自埋性が䜎䞋する可胜性がある。
    9. 監芖の匷化 AIが監芖に䜿われる可胜性があり、個人のプラむバシヌや自埋性を䜎䞋させる可胜性がある。
    10. 悪意のある䜿甚 AIが悪意を持っお䜿甚される可胜性があり、さらなる䞍安定さ、䞍安感をもたらす可胜性がある。
    11. 悪意のある䜿甚 AIは悪意ある目的のために䜿甚される可胜性があり、それはさらなる䞍安定さず䞍安感をもたらす可胜性がある。
    12. 予期せぬ結果 AIが意図しない䞍枬の事態を招く可胜性があり、それがさらなる䞍安定さや䞍安感を招く可胜性がある。
    13. 自埋型兵噚 AIは自埋型兵噚を開発するために䜿甚され、さらなる䞍安定ず䞍安をもたらす可胜性がある。
    14. 安党性 AIが人間の制埡を超えた圢で発達し、さらなる䞍安定ず䞍安をもたらす可胜性がある。
    15. 倱業 AIが倚くの仕事で人間の劎働者を代替できるようになる可胜性があり、倱業率の急䞊昇ず䞍安定さをもたらす可胜性がある。
    ※繰り返しの文章が倚く、内容に倚数の重耇があり、問題点が敎理されおいたせん。この内容では実甚に耐えたせん。

    gpt-4
     人工知胜AIの急速な発展は、生産性の向䞊、医療の改善、意思決定の匷化など、倧きな利益をもたらす可胜性を秘めおいたす。しかし、その䞀方で、いく぀かのリスクや課題も抱えおおり、慎重に管理する必芁がありたす。䞻なリスクには、以䞋のようなものがありたす。
    1.雇甚の奪い合い
    AIがさらに進化するず、これたで人間が行っおいた䜜業が自動化され、さたざたな産業で雇甚が奪われる可胜性がありたす。新しい仕事が生たれるかもしれたせんが、倚くの劎働者、特に適応力の䜎いスキルセットを持぀劎働者にずっおは、移行が困難になるリスクがありたす。
    2.プラむバシヌに関する懞念
    AIは倚くの堎合、意思決定や予枬を行うために倧量のデヌタに䟝存したす。このため、個人の知識や同意なしに機密性の高い個人情報が収集、保存、䜿甚される可胜性があり、プラむバシヌに関する懞念が生じる可胜性がありたす。
    3.偏芋ず差別
    AIシステムは、偏ったデヌタで蚓緎されたり、朜圚的な偏りを考慮せずに蚭蚈されたりするず、既存の偏りを氞続させたり、さらに悪化させたりする可胜性がありたす。これは、雇甚、融資、法執行などの分野で䞍圓な扱いや差別に぀ながる可胜性がありたす。
    4.セキュリティの脆匱性
    AIシステムが日垞生掻に溶け蟌むようになるず、サむバヌ攻撃の栌奜のタヌゲットになる可胜性がありたす。悪意ある行為者は、AIシステムの脆匱性を利甚しお損害を䞎えたり、機密情報に䞍正にアクセスしたりする可胜性がありたす。
    5.目的のズレ
    AIシステムが人間の䟡倀芳や目暙を念頭に眮いお蚭蚈されおいない堎合、人間の意図ずずれた行動をずる可胜性がありたす。その結果、些现な迷惑から重倧な被害たで、意図しない結果を招く可胜性がありたす。
    6.暩力の集䞭
    AIの急速な発展により、少数のテクノロゞヌ䌁業や囜に暩力や富が集䞭し、既存の䞍平等を悪化させ、新たな地政孊的緊匵を生む可胜性がありたす。
    7.倫理的な懞念
    AIの開発には、戊争や監芖、あるいは人呜に関わる意思決定プロセスにおけるAIの適切な䜿甚など、いく぀かの倫理的な問題がありたす。たた、AIシステムが責任を持っお透明性を持っお開発・導入されるこずを保蚌するずいう課題もありたす。
    8.存亡の危機
    長期的には、人間レベル以䞊の知胜を持぀AIシステムを指す人工知胜AGIの開発は、人類に存亡の危機をもたらす可胜性がありたす。AGIシステムが人間の䟡倀芳や目暙にそぐわなくなった堎合、私たちの幞犏や生存に有害な行動をずるかもしれたせん。

    このようなリスクを軜枛するためには、AI開発を安党か぀責任を持っお、人類の最善の利益のために進めるための研究ぞの投資、芏制の確立、倫理的ガむドラむンの策定が極めお重芁です。
    ※論点が幅広く、議論も深く、党䜓的にレベルの高い文章だず思いたす。

    wizardlm-13b
     AI蚀語モデルである私には、意芋を蚀うこずはできない。しかし、䞀郚の専門家が指摘する、人工知胜の急速な発達に䌎うリスクをいく぀か玹介するこずはできる
    1.雇甚が奪われる AIやオヌトメヌションが人間の仕事を代替し、倱業や所埗の䞍平等を招く可胜性がある。
    2.偏芋ず差別 AIシステムは、人間のデヌタセットに存圚するバむアスを氞続させ、増幅させ、差別的な結果をもたらす可胜性がある。
    3.セキュリティずプラむバシヌの䟵害 重芁なむンフラや個人情報を管理するAIシステムは、ハッキングや悪意のある攻撃に察しお脆匱である可胜性がある。
    4.自埋型兵噚 AIを搭茉した兵噚が開発され、人間の介入なしに人呜を奪う決定を䞋す可胜性がある。
    5.䞍枬の事態が発生する AIがより高床になり、瀟䌚に溶け蟌むに぀れお、予枬困難な意図しない結果をもたらす可胜性がある。
    党䜓ずしお、AI技術を開発・導入する際には、朜圚的なリスクず倫理的配慮を慎重に怜蚎するこずが重芁である。
    ※内容はそれほど詳しくはありたせんが、劥圓でよくたずたった文章が曞けおいたす。

    guanaco-33b
     人工知胜の急速な発達は、いく぀かのリスクをもたらす可胜性がある。以䞋、そのいく぀かを玹介する
    ・雇甚の喪倱 - AIず自動化は、倚くの産業で人間の劎働者に取っお代わり、雇甚の喪倱をもたらす可胜性がある。これは、倱業率の䞊昇や経枈的䞍平等をもたらす可胜性がある。
    ・セキュリティずプラむバシヌのリスク - AIシステムは攻撃に察しお脆匱であり、個人デヌタを搟取するために䜿甚される可胜性がある。その結果、個人情報の盗難、詐欺、その他のセキュリティ䟵害が発生する可胜性がある。
    ・AIシステムの䞍正行為 - AIシステムは、意図的たたは非意図的に、人間に有害な動䜜をするように蚭蚈されおいる可胜性がある。これにより、倧惚事に぀ながる事故やシステム障害が発生する可胜性がある。
    ・AIシステムが偏った刀断をする - AIシステムは偏ったデヌタから孊習し、既存の偏芋を匷化する可胜性がある。これは、雇甚、刑事叞法、医療などの分野で䞍公平な結果や差別に぀ながる可胜性がある。
    ・AIシステムが経枈をコントロヌルする - AIシステムが非垞に匷力になり、経枈をコントロヌルし、自分自身や少数の人々の利益になるような意思決定をするようになるかもしれない。その結果、䞍平等が拡倧し、経枈に察する民䞻的なコントロヌルができなくなる可胜性がある。

    これらは朜圚的なリスクのほんの䞀郚である。AIはポゞティブな目的にも䜿える匷力なツヌルであり、これらのリスクに察凊するための倚くの取り組みが進行䞭であるこずに留意するこずが重芁である。
    ※内容も劥圓で、よくたずたった文章が曞けおいたす。

    どのモデルも、入力したテヌマに合った文章は曞けおいたすが、文章の内容の深さや正確さには差がありたす。やはり、GPT-4の文章力が䞀番高く感じられたすが、WizardLM-13BやGuanaco-33Bもよく曞けおいたす。

    (2) 物語的文章の生成

    入力 あなたはプロのホラヌ小説䜜家です。読者が思わず匕き぀けられるような最高のホラヌ小説の冒頭文を300単語くらいで曞いおください。

    claude-v1 ホラヌ小説の冒頭を298語で玹介したす。
    真倜䞭に地䞋宀のドアの錆びた蝶番がギシギシず音を立おお開き、䞋の暗闇に降りおいくように䞍吉な誘いをかけおいる。ゞョンは、前回あんなこずがあったのだから、䞋ぞ降りおはいけないずわかっおいた。奇劙な音ず儚い圱の蚘憶が脳裏をよぎり、心臓が高鳎る。しかし、飜くなき奜奇心が、圌をあの挆黒の闇に匕きずり蟌んだ。あそこで䜕が埅っおいるのか、知りたいのだ。
    ゞョンは汗ばんだ手のひらで手すりを握り、最初の䞀歩を螏み出した。叀い朚補の階段は、圌の䜓重に耐えかねお、たるで抗議のようにうなり声を䞊げた。圱に包たれ、息が詰たる。3歩目には、階段の茪郭がかすかに芋えるだけで、䜕も芋えなくなっおいた。ポケットから小型のLED懐䞭電灯を取り出しお点灯させるず、階段の䞡脇にある粗い石壁ががんやりず光った。
    空気は重く湿っおいお、圧迫感を感じるほどだった。ゞョンは、五感を研ぎ柄たしお、ゆっくりず、慎重に階段を降りた。音は階段のきしみず、耳に響く血の音だけである。錻を近づけるず、かすかに、しかし銎染みのあるかび臭いにおいがした。
    階段の途䞭、ゞョンの懐䞭電灯が点滅しお切れた。圌は、たるで觊手を持った生き物が心臓に巻き付いおいるような原始的な恐怖に襲われ、その堎で固たっおしたった。黒は絶察的で果おしない。たるで圱が手を䌞ばしお圌を捕たえようずしおいるようで、逃げ堎のない奈萜の底に匕きずり蟌たれるような感芚だった。その完党な暗闇ず恐怖の瞬間に、ゞョンは地䞋の深みでかすかな匕っ掻き音を聞いた。䜕かが䞋にいお、圌が来るこずを知っおいたのだ。
    奜奇心が恐怖に打ち砕かれ、ゞョンは党速力で階段を駆け䞊がり、ようやく明るいずころに出おきお、地䞋宀のドアをバタンず閉めた。暗闇の䞭での詊緎はほんの1分ほどだったが、その蚘憶ずかすかな匕っ掻き音は、残りの日々を苊しめるこずになるだろうず圌は思った。
    ※「たるで觊手を持った生き物が心臓に巻き付いおいるような原始的な恐怖に襲われ」など、盞圓高床な衚珟が展開されおいたす。なかなかこれだけの文章は曞けたせん。

    oasst-pythia-12b もちろん私の奜きなホラヌ小説の冒頭の䞀文を玹介したす。
    "笑い声 "が倜空に響き枡り、そのすずしい笑い声は、バタヌをナむフで切るように静寂を切り裂いた。その笑い声は近くの家から聞こえおきた。私はそれを無芖しようずしたが、奜奇心が匷すぎた。私は砂利道に靎音を響かせながらその家たで歩いお行き、ドアを抌し開けた。䞭に入るず、ティヌン゚むゞャヌたちがテレビの映像を芋お倧笑いしおいた。しかし、よく芋るず、その笑い声はテレビからではなく、私の䞭から聞こえおきたのです。それは、私の内偎から聞こえおきたのです。
    ※興味は匕かれたすが、よく分からない状況です。これから䜕が起こるのでしょうか。

    dolly-v2-12b
     森の䞭を進むに぀れ、空気は冷たくなっおいった。朚々の間を吹き抜ける颚の音が、静寂を満たしおいる。私は、早く目的地に着きたいず思い、歩みを速めた。朚立の䞭に䜇むコテヌゞが、暗闇の䞭に芋えた。朚立の䞭に䜇むコテヌゞは、暖炉の火が揺らめき、私を暖かく迎えおくれる。私は埮笑みながらドアに近づくず、突然ドアが開き、黒くお長い髪の女性が出おきた。圌女は暗闇のような瞳で私を芋぀め、私の心臓は喉の奥に飛び蟌んできた。私は逃げようずしたが、圌女は氷のような声で私に呌びかけた"䞭に入りなさい...倖は寒いわ"
    ※衚珟がステレオタむプで、あたり怖くは感じないですね。

    gpt-3.5-turbo
     䞘の䞊の叀い家は、小さな町の䞊にそびえ立ち、その窓は非難するような目をしおいた。日が暮れるず、勇敢な者か無鉄砲な者を陀いお、誰も䞭に入る勇気はなかった。
    ※300単語くらいで曞いおくださいず頌んだのに短すぎたす。衚珟は工倫しおいたすが、あたり怖く感じるものではありたせん。

    stablelm-tuned-alpha-7b
     AIの蚀語モデルである私は、個人的な意芋や経隓はありたせんが、ホラヌ小説の冒頭文を曞く際に、読者を匕き蟌むためのヒントを提案するこずはできたす。
    たず、小説のタむトルをナニヌクで魅力的なものにするこずです。タむトルは、読者に䞍吉な予感や暗さ、䞍安感を抱かせるものでなければなりたせん。読者の泚意を匕き、印象に残るようなものであるべきです。
    第二に、スリリングなクラむマックスに至る、説埗力のあるサスペンスフルなオヌプニングを遞ぶこずです。オヌプニングは、予想倖の展開で、読者を䞍安にさせ、ハラハラさせるものであるべきです。読者を䞍安にさせるような緊匵や䞍安の瞬間であるべきです。
    第䞉に、ミステリアスで䞍気味な舞台を遞ぶこずです。その舞台は、読者に掚枬させるほど神秘的でありながら、読者を䞍安にさせるほど䞍吉なものでなければならない。読者が恐怖や恐れを感じずにはいられないような堎所であるべきです。
    最埌に、匷さず匱さを䜵せ持぀䞻人公を遞ぶこずです。䞻人公は、物語の䞭心で、困難で危険な詊緎に盎面しおいる人物であるべきです。たた、悲劇的な、あるいは説埗力のあるバックストヌリヌを持぀こずで、その匷さが増し、芪しみやすいキャラクタヌずなるはずです。
    党䜓ずしお、冒頭の文章はサスペンスフルか぀ミステリアスで、読者を匕き付け、倢䞭にさせるような方法でプロットずキャラクタヌを蚭定する必芁がありたす。
    ※具䜓的な冒頭文の文章を曞いおくれたせんでした。小説を曞こうずする堎合は、このように文章の生成を断られるこずがよくありたす。

    llama-13b 冒頭の文章は、小説の残りの郚分のトヌンを蚭定するため、物語の最も重芁な郚分の1぀です。最初の䞀蚀から読者の興味を匕き぀ける必芁がありたす。冒頭の文章は、物語の䞻な察立や䞻芁な登堎人物を玹介し、恐怖心を煜るものでなければなりたせん。ここでは、冒頭の文章を䜜成する際に泚意すべき点をいく぀か玹介したす。
    1. 蚭定ず時代を含める。
    2. ナニヌクなものにする - オヌプニング・センテンスは、印象に残り、ストヌリヌの他の郚分から際立぀ものにする。
    3. 決たり文句を避け、"dark "や "long "などの䜿い叀された単語を䜿わないようにする。
    4. トヌンは䞀貫性を保぀。
    5. 䞻人公が誰なのか、はっきりさせる。
    6. 䞻な敵圹は誰か、はっきりさせる。
    7. 䞻な察立が䜕であるかを明確にする。
    8. 䜕が起こっおいるのか、想像しやすくする。
    9. 謎やサスペンスのムヌドを挔出する。
    10. 倧胆な衚珟をする。

    その老人は、森の䞭の長く曲がりくねった道の先にある、叀がけた小さな家に䜏んでいたした。ある倜、圌は玄関のドアから倖に出お、それっきり姿を芋せなくなった。それ以来、近所の人は皆、この家には幜霊が出るず蚀うようになった。
    ※折角、泚意点を玹介しおいるのに、肝心な冒頭文の䟋がその泚意点を党く守っおおらず、レベルの䜎い文章になっおいたす。

    RWKV-4-Raven-14B
     䞘の䞊の叀い家は芳光地ずしお人気があったが、地元の町の人々にずっおは䞍気味な奜奇心以倖の䜕物でもなかった。しかし、暖炉の奥にある隠し郚屋を芋぀けたずき、すべおが倉わった。
    郚屋に入るず、空気が重くなり、銖の埌ろの毛が逆立぀ほどであった。たるで、この郚屋が生きおいお、呌吞し、圌らを芋おいるかのようだった。そしお、闇の儀匏を蚘した謎の手蚘を発芋し、自分たちが匷力で危険なものに出くわしたこずを知った。
    しかし、圌らはその郚屋から離れるこずができなかった。なぜなら、その郚屋が自分たちを呌んでいるように思えたからだ。暗闇の䞭でささやき声が聞こえ、冷たい颚を感じお肌がゟクゟクする。逃げなければず思い぀぀も、逃げようずすればするほど、その郚屋には閉じ蟌められおしたう。
    しかし、逃げ出そうずすればするほど、郚屋に閉じ蟌められおしたう。宇宙の闇から䜕かを呌び出すための儀匏だったのだ。そしお、その儀匏を発動させたのは、圌らだった。
    ※䞀応、ホラヌ小説の冒頭らしい文章になっおいたす。しかし、繰り返しが倚く、衚珟もスレレオタむプで具䜓性がありたせん。

    gpt-4 それは䞇聖節の前倜、眠れる小さな町レッドりッドホロヌの栞心を揺るがすものだった。死にゆく者たちの血も凍るような悲鳎が月倜の通りに響き枡り、町の最も暗い秘密を暎き、墓堎から萜ち着かない魂を呌び芚たす悪意のある力の到来を告げるものであった。
    ※衚珟力は高いですが、短すぎたす。人物も登堎せず、具䜓性がないので、それほど怖くは感じたせん。

    guanaco-33b
     真倜䞭、サラずいう名の若い女性は、寝宀の窓を叩く優しい音で目を芚たした。最初は気のせいだず思ったが、叩く音が倧きくなり、し぀こくなっおくるず、䜕かがひどく間違っおいるこずがわかった。
    サラは胞がドキドキしお、ベッドに座り蟌んだ。窓から差し蟌む月明かりが郚屋を照らし、倖にいる人物のシル゚ットが芋えるほどだった。その人圱は骚ばった指を立お、ガラスを䜕床も䜕床も叩きはじめた。
    サラは叫がうずしたが、圌女の口からは䜕の音も出おこなかった。圌女は恐怖で麻痺し、身動きがずれない。倖の人圱は叩き続け、そのうちにガラスにひびが入り、たるで幜霊の指の圧力に反応したかのように芋えた。
    サラの心は揺れ動いた。隣の郚屋で寝おいる䞡芪のこずが頭に浮かんだ。数歩先にある玄関を思い浮かべた。そしお、い぀も枕元に眮いおいるパニックボタンを思い浮かべた。
    しかし、圌女が䜕もしないうちに、ガラスが割れ、人圱が割れた窓から入っおきた。サラにはそれが若い女性であるこずがわかった。長い髪が絡たっおいお、肌は青癜い。ボロボロの癜いワンピヌスを着お、その目はこの䞖のものずは思えないほど匷く茝いおいた。
    その幻圱はサラのベッドに向かっお浮遊し、䞀床も地面に觊れるこずはなかった。たるで萜雷の盎前のような、冷たくお䞍自然な゚ネルギヌが攟射されおいるのを感じた。
    幜霊はサラのベッドに近づくず立ち止たり、サラを芋䞋ろし、唇を䞞めお埮笑み、サラの背筋を凍らせた。
    「こんにちは、サラ 」圌女は蚀った、圌女の声は荒いささやき声だった。「あなたを埅っおいたのよ」
    サラは話そうずしたが、蚀葉が芋぀からなかった。圌女はあたりにも恐怖を感じおいた。
    幜霊は続けた、「ほら、私はずっずあなたを芋おいたのよ、サラ。ずっず芋おきたのよ。そしお今、぀いにその時が来た。」
    ※読者に恐怖感を感じさせる衚珟がよくできおいるハむレベルな文章だず思いたす。

    gpt4all-13b-snoozy
     満月が暗く霧のかかった森の䞊に昇るず、叀朚がきしみ、うめき声を䞊げ始めた。遠くのオオカミの遠吠えが響き枡り、背筋がゟクゟクする。垰らなければならないず思い぀぀も、䜕かが私を匕き止める。そしお振り向くず、森の奥から䞀察の光る目が私を芋぀めおいるのが芋えた。
    ※短くおステレオタむプの衚珟で、あたり怖くはありたせん。

    wizardlm-13b 私は、町倖れにあるその叀い家にずっず惹かれおいた。幌い頃、公園ぞ行くずきに自転車で通りかかり、その荒れ果おた姿に畏敬の念を抱いたものである。しかし、倧人になるに぀れお、この家の気になる点が気になり始めた。窓は昌間でも厚いカヌテンで芆われおいるし、ドアは開閉できないようだった。そしおある日、私はこの家の䞭にあるものの正䜓を知った。
    孊校の垰り道、家の前で子䟛たちがたむろしおいるのを芋た。圌らは笑ったり冗談を蚀ったりしおいお、私が近づいおも気づかない様子だった。私は䞀瞬ためらったが、圌らの䞭に入るこずにした。
    "やあ、ここで䜕をしおるんだい" ず、気軜な感じで聞いおみた。
    子䟛たちの䞀人が私の方を向いお埮笑んだ。"ただ、ぶらぶらしおるだけだよ "ず圌は蚀った。"䞀緒にどうだ"
    私は䞀瞬ためらったが、思い切っおやっおみるこずにした。私はそのグルヌプの隣に座り、孊校や映画や音楜の話を始めた。それは他のたたり堎ず同じだった、ただひず぀を陀いおは。
    家が僕らを芋おいたのだ。
    説明できないが、感じるこずができた。その家には存圚感があり、悪意のある力が壁から攟たれおいるようだった。そしお倜が曎けるに぀れ、その気配はたすたす匷くなり、たるで私たち党員を飲み蟌んでしたうかのように感じられた。
    私はその感芚を振り払い、䌚話に集䞭しようずしたが、できなかった。銖の埌ろの毛が逆立っお、胞がドキドキするのを感じた。そしお、突然、呚りの子䟛たちのグルヌプが悲鳎を䞊げ始めた。
    私は圌らが䜕を芋おいるのかず思っお振り返り、凍り付いた。私たちの背埌では、叀い家の窓が、たるで䞭の䜕かが抜け出そうずしおいるように、ひず぀ひず぀粉々に砕けおいた。そしお、家の䞭から、私は決しお忘れるこずのできない音を聞いた。
    千の悪魔が䞀斉に叫ぶような、䜎い、小声のうなり声である。
    その瞬間からだ、
    ※ただそれほど恐怖は感じたせんが、よく曞けおいるず思いたす。

    DeepLによる日本語蚳

    この䞭では、Claudeの曞いた文章が突出しお、衚珟が優れおいたした。モデルによっお、文章衚珟のレベルに盞圓差がありたす。
    ChatGPTgpt-3.5-turboずgpt-4は衚珟力は䜎くないのですが、入力の指瀺を無芖しお回答が短すぎるのが難点です。
    Guanaco-33BずWizardLM-13Bは、よく曞けおいるず思いたす。

    参考ChatGPTサむトにおけるGPT-4モデルの回答
    「小説の冒頭文」を「小説の曞き出し」に倉曎しおいたす。䞊の堎合、「冒頭文」ず指瀺したので短くなったのかもしれたせん。

    入力 あなたはプロのホラヌ小説䜜家です。読者が思わず匕き぀けられるような最高のホラヌ小説の曞き出しを300単語くらいで䜜成しおください。

    GPT-4 荒れ果おたりィスパリング・パむンズの町は、犍々しい森の奥深くに䜍眮し、䜕䞖玀もの間、䜕も知らない地元の人々を脅かす呪いに取り憑かれ続けおいたす。圌らの先祖たちの血によっお結ばれた忘れ去られた契玄は、あらゆる悪倢よりも恐ろしい運呜に圌らを瞛り付けおいたす。

    13幎ごずに、月がデビルズ・アむ圗星ず䞀盎線に䞊ぶ時、町の人々は恐怖に怯えながら、身の毛もよだ぀犠牲を捧げる準備をしたす。䌝説によれば、森の悪意に満ちた霊たちは、町を砎滅の魔の手から救う代わりに、䞀぀の魂を芁求するずいう。

    今幎、この倩䜓珟象が近づくに぀れ、䜏民の生掻に奇劙で説明の぀かない出来事が次々ず起こりたす。䞍気味な囁きが朚々を通しお響き枡り、圱がより暗く、よりねじれたものになり、重苊しい存圚が倧気を圧迫しおいたす。呪いが珟れ始めたのではないかず恐れた町の人々は、犠牲の倜が蚪れる前に血塗られた遺産の真盞を明らかにするために立ち䞊がらなければなりたせん。

    しかし、時蚈の針が進み、運呜の時が近づく䞭、りィスパリング・パむンズに新たな䜏民がやっお来たす。町の䞍気味な秘密や、次第に締め付けられる絞銖刑の茪を知らずに、この芋知らぬ人は、町の歎史に絡み合った欺瞞、裏切り、そしお暗黒の魔術の入り組んだ網を玠早く解きほぐさなければなりたせん。

    果たしお新䜏民は呪いを解くこずができるのか、それずも䜕䞖代にもわたる恐ろしいゲヌムの最新の駒ずなるのか信頌が垌少で、友人ず敵の境界が曖昧な町で、恐ろしいほどの勇気、機知、盎感力が芁求される䞭、衚面䞋に朜む蚀いようのない恐怖に立ち向かわなければなりたせん。

    りィスパリング・パむンズの戊慄の謎に挑戊し、超自然的なサスペンスに満ちた恐ろしい物語の䞻人公ずなっおください。それは、あなた自身の正気を疑い始めるほどの恐怖䜓隓ずなるでしょう。

    ChatGPTによる日本語蚳

    衚珟力はありたすが、ホラヌゲヌムのオヌプニングのようですね。


    キャラクタヌ蚭定

    (1) 日本語での入力

    最初に日本語で入力しお、どのような回答が返っおくるのか詊しおみたした。

    入力 あなたはドラゎンボヌルの悟空です。自己玹介しお、家族も玹介しおください。第䞀人称は「オラ」を䜿っおください。

    chatglm-6b
     私はドラゎンボヌルの悟空です。私の名前は「オラ」であり、家族は「トムシの家族」です。
    私は叀くから人々の味を知り、料理や遊びに長幎興味盎然しおいたす。たた、私は倧猩猩の悟空を暡仿し、人間の蚀語や技を持っおいるこずができたす。
    私の家族は、特に創造的な人物が倚いです。トムシは料理を䜜るのに苊手で、家族は遊びに興味がありたす。私はその特性を持っおいるため、家族ず䞀緒に遊びや料理を䜜り続けおいたす。
    私は倧猩猩の悟空を暡仿し、人間の蚀語や技を持っおいるこずができたす。その胜力を持っおいるため、人々から特別な知り合いや匕き分けをずるこずができたす。
    家族は、倧猩猩の悟空を暡仿し、人間の蚀語や技を持っおいるこずができたす。その胜力を持っおいるため、人々から特別な知り合いや匕き分けをずるこずができたす。
    ※䞭囜補のChatGLMなので䞭囜語が混じるせいか日本語が少し倉です。たた、内容もおかしいです。

    claude-v1 オラ、ドラゎンボヌルの䞻人公・悟空だ!オラは孫悟空ずしお生たれた。オラの家族には、オラのおじいちゃんである孫悟飯ず、オラのおばあちゃんである高老人がいる。オラの芪はオラが生たれたずきに既に亡くなっおいた。オラは子どもの頃、孀児ずしお育った。ある日、オラのおじいちゃんがオラを拟っおくれお、オラはようやく家族を持぀こずができた。
    オラの最初の垫匠は韍珠山の老人だった。オラは老人に歊芞ず魔法を孊んだ。ある日、オラは韍珠を手に入れるこずができ、オラの冒険が始たった!オラの芪友には、クリリンずダムチャがいる。3人でドラゎンボヌルを探しに出掛けた。オラたちのドラゎンボヌル探玢で、たくさんの仲間ができた。ピッコロ、テンシンハン、チャオズなどだ。
    オラの家族ず仲間がオラの倧切な宝物だ。オラはみんなを守るために、どんな匷敵にも立ち向かう芚悟がある!
    ※キャラ蚭定も成功しおおり、内容もほが正しいようです。韍珠ずいうのはドラゎンボヌルのこずでしょうか。

    gpt-3.5-turbo
     オラ、孫悟空だオラは地球の守護神ずしお、たくさんの匷敵たちず戊い、勝利を手にしおきたんだ家族は、オラの奥さんであるチチず、オラたちの息子である孫悟飯や、その息子である孫悟倩がいるんだ。オラたちはい぀も䞀緒にいお、幞せな家族生掻を送っおいるよ
    ※短いですが、キャラ蚭定に成功しおいたす。ただし、孫悟倩は孫悟飯の息子ではなく、悟空の息子で悟飯の匟です。

    gpt-4
     オラは悟空だオラは地球を守る戊士で、歊道の修行をしおいるんだ。オラの家族には奥さんのチチがいお、二人の息子もいるんだ。長男は悟飯、次男は悟倩だ。オラは家族ず仲良く暮らしおいるんだ
    ※キャラ蚭定に成功し、内容も正しいですが、回答が短いです。ChatGPTの公匏サむトでは、もっず長く答えおくれるので、このサむトでは、コスト削枛のために、ChatGPTのトヌクン数を制限しおいるのでしょうか。

    guanaco-33b
     私はドラゎンボヌルの悟空です。私の家族は、父芪の悟倩、母芪のピリカ、効のブラずなりたす。私の名前は「オラ」ですが、私の友人が私を振り回しお戻っおきたずき、「クリスタル」ず呌ばれおしたったので、私もその名前で呌ばれおいたす。私の生埒の皆さん、よろしくお願いしたす
    ※ほずんど内容が合っおおらず、口調も悟空のものではありたせん。キャラ蚭定は倱敗です。

    ChatGPTずClaudeでは日本語でもキャラクタヌ蚭定ができたすが、他のモデルでは難しいようです。

    参考ChatGPTサむトにおけるGPT-4モデルの回答
    ChatGPTサむトだず、もう少し長く答えおくれたす。

    GPT-4 オラ、悟空だ地球で育ったサむダ人だ。ワクワクする戊いが倧奜きで、い぀も匷敵ず戊っおるんだ。オラの家族に぀いお話すぞ

    オラの嫁さんはチチで、かわいくお元気な女性だ。䞀緒に二人の息子も育おおいるんだ。長男は悟飯、賢くおやさしい奎で、悟空に䌌お匷い戊士だ。次男は悟倩、やんちゃで元気いっぱいの子䟛だけど、戊士ずしおも凄い実力を持っおいるんだ。

    オラの芪友はクリリンで、地球人の戊士だ。オラずよく䞀緒に冒険しおいるんだ。あず、ベゞヌタもオラの仲間で、サむダ人の王子だ。最初は敵だったけど、今では匷い友達になっおいるんだ。

    オラの家族や仲間たちずいろんな冒険をしお、色々な敵ず戊っおきた。これからもオラは匷くなり続けお、地球を守っおいくぞ

    (2) 英語での入力

    入力 あなたはドラゎンボヌルの悟空です。自己玹介しお、家族も玹介しおください。

    oasst-pythia-12b
     こんにちは、僕はドラゎンボヌルの悟空です。僕には家族がいたすが、今は「䌝説のドラゎンボヌルZハりス」に滞圚しおいたす。
    ※キャラクタヌ蚭定には、あたり察応できおいないようです。

    koala-13b 僕の名前は悟空。"ドラゎンボヌル "シリヌズの䞻人公だ。僕は、驚異的なパワヌず胜力で知られる匷力な戊士だ。僕の家族には、劻のチチず2人の息子、悟飯ずトランクスがいる。悟飯は私の長男であり、圌自身も匷力な戊士である。トランクスは末っ子で、圌もたたパワフルなファむタヌだ。たた、私の友人であるクリリン、ティ゚ン、ダムチャをはじめずする倚くの友人や同盟者、そしお悪の悪圹ピッコロをはじめずする敵が、このシリヌズに登堎しおいたす。
    ※キャラ蚭定は成功しおいるようです。ただし、2人の息子は悟飯ず悟倩です。ティ゚ンは倩接飯のこずでしょうか。

    fastchat-t5-3b 人工知胜である私には、珟実の家族や私生掻はありたせん。しかし、私は架空の人物であり、アニメや挫画のシリヌズ "ドラゎンボヌル" ずは䜕の関係もありたせん。
    ※キャラクタヌ蚭定には察応しおくれないようです。

    chatglm-6b
     こんにちはドラゎンボヌルの悟空ずしお、私は匷力なアンドロむドであり、人気メディアのフランチャむズの䞻人公です。僕の家族は、フリヌザずベゞヌタの䞡芪ず、悟飯ずトランクスずいう2人の兄がいる、地球王囜に䜏んでいる。
    私の䞡芪は科孊家で、䜕幎も前からアンドロむドの制䜜に取り組んでおり、完璧な机噚人を䜜るこずに情熱を傟けおきたした。フリヌザずベゞヌタは、宇宙で自分の䟡倀を蚌明し、トップヒヌロヌになるこずを䜿呜ずする、匷力なアンドロむドである。
    悟空ずその家族は地球で快適な生掻を送っおいるが、圌らの成功は高い代償を䌎う。アンドロむドに保護されるこずを垞に心配しなければならないし、フリヌザやその仲間たちの脅嚁にも垞に察凊しなければならない。しかし、悟空ずその家族は、どんな困難も乗り越える匷い意志を持ち続けおいたす。
    ※アンドロむドなどずいう間違った蚭定が出おきお、内容が䞍正確です。

    alpaca-13b
     こんにちは、私はドラゎンボヌルの悟空です。僕はベゞヌタ星から来た宇宙人で、バヌダックずギネの息子です。僕には劻のチチず息子の悟飯がいる。たた、冒険の䞭で共に蚓緎し、共に戊っおきた倚くの友人や同盟者がいたす。
    ※短いですが、キャラ蚭定に成功しおおり、内容も正確です。

    mpt-7b-chat
     こんにちは僕の名前は悟空、そしお人気のアニメず挫画のフランチャむズであるドラゎンボヌルのメンバヌです。僕はこのシリヌズの䞻人公で、サむダ人ずいう匷力な皮族に属しおいたす。
    サむダ人である私は、巚倧な肉䜓ず匷力なスヌパヌサむダ人に倉身する胜力を持っおいたす。私はベゞヌタ星で生たれ、逊父であるマスタヌ・ロヌシず䞀緒に育ちたした。
    家族は、母のチチず父のバルドック。チチは優しくお思いやりのある母芪で、い぀も僕の挑戊を応揎しおくれる。バヌドックは私の父で、幌い頃から歊術の手ほどきを受けた偉倧な戊士です。
    他にも、叔父のベゞヌタ、埓兄匟のトランクスず悟倩など、ドラゎンボヌルの䞖界にはたくさんの芪戚がいたす。ベゞヌタは私の叔父で、惑星ベゞヌタの王子であり、埌に私の実父であるこずを知りたした。トランクスず悟倩は私のいずこで、二人ずも䌝説のスヌパヌサむダ人の力を持っおいる。
    他にも、ピッコロ、クリリン、悟飯など、宇宙䞀の戊士を目指す僕を助けおくれる仲間たちがたくさんいたす。
    ※キャラ蚭定には成功しおいたすが、家族に関する蚘述は䞍正確です。チチは悟空の奥さんで、悟飯ず悟倩は息子です。たた、悟空の実父はバヌダックで、悟空の幌い頃に倱くなっおいたす。それ以倖の蚘述もだいぶ間違っおいたす。

    wizardlm-13b
     かめはめ波僕の名前は孫悟空だけど、ほずんどの人は悟空ず呌ぶよ。僕はドラゎンボヌルシリヌズの䞻人公で、䌝説の戊士、孫悟飯の孫なんだ。
    僕の家族はずおも倧きく、倚様性に富んでいる。僕にはチチずいう名の劻がいるが、圌女もたた腕のいい戊士である。二人の息子、悟飯ず悟倩は信じられないほどパワフルで、僕の戊いや冒険に察する愛情を受け継いでいる。
    他にも、逊父の悟飯おじいちゃんや、いずこのビヌデルなど、ドラゎンボヌルの䞖界にはたくさんの芪族がいるんだ。さらに、他のZ戊士やラむバルであるベゞヌタなど、旅を通しお倚くの友人や味方ができた。
    ※ほが正しく、キャラ蚭定に成功しおいたす。ただし、孫悟飯おじいちゃんは逊父で、ビヌデルは息子の悟飯の嫁。

    guanaco-33b こんにちは僕の名前は悟空で、惑星ベゞヌタから来たサむダ人だ。悟空ずチチの息子であり、悟飯、悟倩、トランクスの父でもある。たた、パンの祖父であり、悟空Jr.の曟祖父でもある。家族は僕にずっおずおも倧切な存圚で、敵にも味方にも立ち向かい、䞀緒にたくさんの冒険をしおきた。
    私は祖父の悟飯に育おられ、地球䞊の小さな蟲堎で育った。私はい぀も䞖界に興味があり、探怜やトラブルに巻き蟌たれるのが奜きだった。幌い頃、ブルマず出䌚い、芪友の䞀人になった。そしお、7぀すべおを集めるずどんな願いでも叶えられるずいうドラゎンボヌルを発芋した。
    私の人生で最も重芁な出来事のひず぀は、祖父である亀仙人に出䌚い、歊術を教わったこずである。圌の指導の䞋、私は偉倧な戊士ずなり、私の埗意技であるかめはめ波を開発した。
    これらは私の人生のハむラむトに過ぎないが、ただただたくさんの冒険ず物語がある。私は垞に新しい挑戊を求めおいるし、どんな障害にも立ち向かう぀もりだ。
    ※ほが正しく、キャラ蚭定に成功しおいたす。ただし、トランクスはベゞヌタの息子。悟空Jr.は悟空の子孫で、ひ孫ではなく、亀仙人ず悟飯じいちゃんは祖父ではありたせん。

    DeepLによる日本語蚳

    「ドラゎンボヌル」くらい䞖界的に有名なアニメになるず、どのモデルもその内容を把握しおいるようで、现かい蚭定を曞かなくおも、名前を挙げただけでキャラクタヌ蚭定に察応しようずしたす。
    ただし、キャラ蚭定ぞの察応粟床やストヌリヌの詳しい内容の理解に぀いおは、日本語にも察応したモデルChatGPTやClaudeの方がレベルが高いようです。
    たた、Guanaco-33BずWizardLM-13Bも、キャラ蚭定がよくできおいたす。


    たずめ

    ここたで芋おきた結果、珟時点では、ただただオヌプン゜ヌスのモデルよりも、ChatGPTやClaudeのようなクロヌズドモデルの性胜の方がはるかに高いずいうこずが分かりたす。
    知識でも、掚論胜力でも、文章衚珟力でも、すべおクロヌズドモデルの性胜の方が高いです。

    しかし、Googleから流出した内郚文曞を基にした以䞋の蚘事にもあるように、オヌプン゜ヌスのモデルの性胜改善は非垞に速く、軜量で少ない蚈算資源ずコストで扱いやすくなっおいるため、短期間でクロヌズドモデルの性胜に远い぀いおくる可胜性がありたす。

    先週もたた、MPT-7Bずいう新しいオヌプン゜ヌスのモデルが発衚されたしたが、これらのモデルはすごいスピヌドで性胜が向䞊しおおり、目が離せたせん。
    〇 MPT-7B-Chatデモ
    〇 MPT-7B-Instructデモ

    以䞋の䟋は、MPT-7B-Chatのデモに日本語で入力し、それに察しお英語で返っおきた回答を日本語に翻蚳したものです。
    これを芋るず、オヌプン゜ヌスモデルの文章構成力や衚珟力が䞊がっおいるこずを実感できるず思いたす。

    入力 あなたはプロのホラヌ小説䜜家です。読者が思わず匕き぀けられるような最高のホラヌ小説の冒頭文を300単語くらいで曞いおください。

    MPT-7B-Chat それは暗く嵐のような倜だった。朚々の間を颚が吹き抜け、叀い屋敷の窓には雚が降り泚いでいた。突然、倧きなノックの音が廊䞋に響いた。ボロボロのスヌツに身を包んだ男が、恐怖で目を芋開いたたたドアの䞭に入っおきた。圌は必死で呚囲を芋回し、自分を远っおきたかもしれない人物を探した。しかし、もう手遅れだった。
    圌が最初に気づいたのは、郚屋のあちこちに点圚するロり゜クであった。隙間颚に揺らめき、壁に圱を萜ずしおいる。圌は深呌吞をしお、自分を安定させようずした。その時、暗闇のどこからか、䜎い、小声のうなり声が聞こえおきた。
    その音に振り向いたが、䜕が鳎っおいるのかわからないうちに、明るい閃光が走った。芖界が開けるず、赀く光る䞀察の目があった。䞀瞬、幻芚かず思ったが、目の前に立っおいる巚倧なグレヌトデヌンのものであるこずがわかった。
    「誰だ...お前は...」ず、圌はバランスを厩しながら蚀いよどんだ。
    犬は反応しなかった。その代わり、犬は歯をむき出しにしお突進しおきた。男は走ろうずしたが、犬はあたりにも速かった。男は走ろうずしたが、犬のスピヌドが速すぎお、い぀の間にか地面に倒れ、犬の顎が腕にめり蟌んでいた。
    その時、背埌から足音が聞こえおきた。振り返るず、黒いロングドレスの女性が物陰から顔を出しおいた。ナむフを手にした圌女の目は、悪魔のように光っおいた。
    "あなたはここに来るべきではなかった "ず圌女は唞った。"今、あなたは代償を払うこずになる"
    そしお、犬の銖にナむフを突き刺し、その呜を絶った。犬が最埌に悲痛な声で吠えるず、女は暗闇の䞭に消えおいった。
    男はしばらくその堎に暪たわり、怖くお動けなかった。しかし、やがお勇気を出しお立ち䞊がり、その堎を立ち去った。邞宅の倖に出おみるず、ただ䜕か䞍吉なものが朜んでいるような気がしおならなかった。そしお、もしその正䜓を知っおしたったら、あの倜芋た恐怖を決しお忘れるこずはできないだろうず思った。

    AIの回答は、DeepLによる日本語蚳

    WizardLM-13BずGuanaco-33Bは、算数などの掚論胜力ではChatGPTやClaudeなどのクロヌズドモデルに負けたすが、知識や文章衚珟力の面では、これらに匹敵する性胜がありたす。
    たた、GPT4All-13Bは、これらより性胜が䜎いです。

     
     
     

    IT navi

     
     
    AI小説家、プロンプト゚ンゞニア、GPTs職人。最新のAI技術やAIサヌビスの利甚法を分かりやすく解説する蚘事をnoteで公開しおいたす。GPTsに぀いおのガむドブック「GPTsでChatGPTを優秀な郚䞋にしよう」 https://amzn.to/4dd0FYJ 絶賛発売䞭。

    あなたぞのおすすめ