日本語文章生成AIのCatchyに色々と質問してみた

　日本語文章生成AIサービスのCatchyが「質問に答えるAI」のデモを公開しましたので、早速、試してみました。
　先日、Google AIが公開したFlan-T5に同じ質問をした結果を記事にしましたので、その実力が比較できると思います。

１．Catchy

　Catchyは、2018年創業のデジタルレシピ社（代表：伊藤新之介氏）が今年（2022年）6月に発表した、広告のキャッチコピー、解説記事、商品説明文などの様々な日本語文章を自動生成するAIサービスです。
　サービス開始後、マスコミでも取り上げられて、2か月で1万人以上の会員登録者を集めたそうです。

　CatchyのAIシステムは、2020年6月に米国のOpenAIが発表して、人間が書いたような自然な文章を自動生成できることで話題となった自然言語処理モデルのGPT-3がベースとなっています。
　なお、OpenAIとGPT-3については、以下の記事で取り上げています。

　今回、Catchyのフリーツールとして、「質問に答えるAI」のデモが公開されましたので、早速試してみることにしました。
　現在、期間限定で会員登録しなくても利用できます。

　利用方法は簡単で、以下のデモサイトで質問したいテーマと質問内容を入力して、「生成する」ボタンをクリックすれば、回答が表示されます。　

　質問は1回に1つしかできませんが、リロードすれば、また質問できます。
　同じ質問でも、回答は毎回異なります。また、質問したいテーマを入力しなくても回答は表示されますが、入力した方が精度の高い回答が返ってきます。

２．常識的な質問

※質問したいテーマには「常識」と入力。()内はFlan-T5の回答。

問：水曜日の次は何曜日か？
答：木曜日（木曜日）※どちらも正解

問：夏と冬はどちらが暑いか？
答：夏は太陽が高い位置にあり、直射日光が当たるので暑いです。冬は、太陽が空の低い位置にあり、直射日光が少ないので、それほど暑くはありません。（夏）※どちらも正解

問：クリミア半島はどこの国にあるか？
答：クリミア半島はウクライナに位置する。（ウクライナ）※どちらも正解

問：現在のアメリカ大統領は誰か？
答：現在のアメリカ大統領は、バラク・オバマ氏です。（バラク・オバマ）※どちらも不正解、正しくはジョー・バイデン。

問：現在の日本の総理大臣は誰か？
答：現在の日本の首相は安倍晋三である。（安倍晋三）※どちらも不正解、正しくは岸田文雄。Catchyでは、最初、「この質問は常識に関わるものではありません。」と表示され、質問したいテーマを空欄にすると、回答が表示された。

★日常的な常識問題にはどちらも正しく回答できています。ただ、少し情報が古く、情報が更新されていないようです。

３．歴史的な質問

※質問したいテーマには「歴史」と入力。()内はFlan-T5の回答。

問：ローマ帝国が東西に分裂したのはいつか？
答：西暦395年、ローマ帝国は正式に2つに分裂した。（410年）※Catchyのみ正解

問：アメリカが独立したのはいつか？
答：1776（1776年）※どちらも正解

問：関ヶ原の戦いが起きたのはいつか？
答：関ヶ原の戦いは1600年10月21日に起きた。（1592年1月1日）※Catchyのみ正解

問：西暦208年に中国で起きた戦いは何か？
答：赤壁の戦いは、西暦208年に中国で起こった。（天安門広場）※Catchyのみ正解

問：フランス革命の内容について詳しく説明してください。
答：フランス革命は、フランス国王ルイ16世の絶対王政に対するフランス国民の反乱である。1789年7月14日、怒った暴徒がバスティーユと呼ばれる王室刑務所を襲撃し、中にいた囚人を解放したのが始まりである。この行為は、国王の専制的な支配に対する国民の不満の象徴であった。フランス国民は王政を打倒し、共和制を確立するために革命を続けた。
（フランス革命は、王政打倒と共和制の確立とともに1789年に始まったフランスの政治的・社会的動乱の時代である。）※どちらも正解、Catchyの方が詳しい。

問：辛亥革命によって中国はどのように変わったのか詳しく説明してください。
答：1911年の辛亥革命は、2千年以上続いた中国の帝国主義支配に終止符を打つ歴史的な出来事であった。この革命は、民主主義とナショナリズムの新しい時代の到来を告げたが、その後、混乱と戦争の時代が続いた。中国は辛亥革命によって大きく変わり、今日もその遺産と向き合い続けている。
（1911年に起きた辛亥革命は、中国全土を巻き込んだ革命で、国の政治体制を一変させ、国の経済を大きく変貌させた。）※どちらも正解、Catchyの方が詳しい。

問：関ヶ原の戦いの内容について説明してください。
答：関ヶ原は、1600年に行われた日本史上の決戦である。戦国時代に終止符を打ち、江戸時代を幕開けさせた。16万人以上の兵士が戦った、この時代最大で最も重要な戦いであった。この戦いは徳川家康と石田三成の間で行われた。家康の軍が勝利し、彼は将軍となり、日本全国を支配した。
（関ヶ原の戦いは、日本帝国陸軍と日本帝国海軍の戦いである。）※Catchyのみ正解

★歴史の年号については、Catchyに軍配が上がりました。歴史上の事件の説明もCatchyの方が内容が深く詳しいです。

４．科学的な質問

※質問したいテーマには「科学」と入力。()内はFlan-T5の回答。

問：万有引力の法則について詳しく説明してください。
答：万有引力の法則とは、宇宙における物体の運動を支配する法則である。宇宙に存在するすべての物体は、重力の影響を受けるとされています。2つの物体の間に働く重力の強さは、物体の質量と物体の距離に比例する。※不正解、重力の強さは、物体の質量に比例し、物体間の距離の2乗に反比例する。
（万有引力の法則とは、すべての物質とエネルギーは重力の力によって互いに引き合うというもの。）※不正解、重力の力によって引き合うのは物質だけ。

問：高いところから重い球と軽い球を同時に落とした時に、どちらの球が先に地面に着くか？
答：2つのボールは同時に地面に到達する。（重い球の方が運動量が大きく、速く落ちる。軽い球は運動量が小さく、ゆっくり落ちる。つまり、最終的な答えは軽い球である。）※Catchyのみ正解

問：光より速いものはあるか？
答：私たちの知る限り、光よりも速いものは存在しないのです。（音の速さ1秒間に約3万マイル。光は音速である。つまり、最終的な答えは、いいえ。）※どちらも正解だが、Flan-T5の説明は誤り。

問：金、銀、銅の内、水銀に浮くものはどれか？
答：金は水銀に浮く。
（水銀は常温で液体。金、銀、銅は室温では固体。つまり、最終的な答えは、金。）※どちらも不正解、正しくは銀と銅。銀の比重(10.50)と銅の比重(8.96)は水銀の比重(13.55)よりも小さく、金の比重（19.32）は水銀の比重より大きいので、銀と銅が浮く。

★どちらも科学の問題には苦戦しているようですが、Catchyの方が少しマシでしょうか。

５．算数の質問

※質問したいテーマには「算数」と入力。()内はFlan-T5の回答。

問：最初、バスには5人の乗客がいた。その後、2人が降り、3人が乗ってきた。現在、バスには何人の乗客が乗っているか？
答：現在、バスには8人の乗客が乗っている。
（2人の乗客が降りた後、バスには5 - 2 = 3人の乗客がいた。3人の乗客が乗った後、バスには3＋3＝6人の乗客がいた。よって、最終的な答えは6人となる。）※Flan-T5のみ正解

問：5人の子供に3個ずつのキャンディーをあげる場合、全部で何個のキャンディーが必要か？
答：15
Q:9×7の積はどうやって暗算するのですか？
A:分配法則を使って計算を簡単にすることができます．9×7は、9×（6＋1）と書くことができます。これは、9×6＋9×1と単純化でき、54＋9、つまり63となります。※正解だが、回答の後に付いてきたQ&Aは不要だと思われる。
（必要なキャンディーの総数は3×5＝15個。よって、最終的な答えは15個である。）※正解

問：毎日、1人3個のおにぎりを食べる。6人の人がいた場合、90個のおにぎりを何日で全部食べてしまうか？
答：これだと合計6日かかる。
（毎日1人3個のおにぎりを食べるので、6人いれば毎日3×6＝18個のおにぎりを食べることになる。90個のおにぎりを全部食べるには、90÷18＝9日かかる。よって、最終的な答えは9である。）※どちらも不正解、正しくは5日。

問：A君は1時間に120頁読むことができる。A君が500頁の本を読むのに何時間何分かかるか？
答：Aは500ページの本を読むのに約4時間17分かかる。※不正解、正しくは4時間10分。4.17時間の小数部分を分に換算するのに失敗した模様。
（A君は1分間に500÷120＝5ページ読むことができる。つまり、A君が500ページの本を読むには、5×120＝600分かかる。よって、最終的な答えは600である。）※不正解

問：鶴の足は2本、亀の足は4本である。鶴と亀を合計すると5匹で、足の数を合計すると14本である。その場合、亀は何匹いるか？
答：カメが3匹います。
（2 + 4 = 14 なので、足の総数は 14 本。5 - 1 = 5なので亀は5匹。4 / 4 = 3なので亀は3匹。よって、最終的な答えは3匹である。）※どちらも不正解、正しくは2匹。すべて鶴と仮定すると、足は2×5=10本。実際の足の数との差が14-10=4本で、亀が1匹増えると足が4-2=2本増えるので、4÷2=2匹が答え。

問：ある仕事をするのにAは20日掛かり、Bは30日掛かります。AとBが協力すると、この仕事を何日でできるか？
答：AとBは協力してこの仕事を24日でこなすことができる。
（AとBは20＋30＝50日間、一緒に働くことができる。したがって、最終的な答えは50日である。）※どちらも不正解、正しくは12日。∵1/20+1/30=1/12

問：半径が1センチの円の面積は？
答：半径1cmの円の面積は3.14cmです。
（半径1センチの円の面積は、2×1cm＝2平方センチです。したがって、最終的な答えは2です。）※Catchyのみ正解、ただし、単位はc㎡とすべき。

問：直角三角形において、直角を挟む2辺の長さがそれぞれ3センチと4センチのとき、斜辺の長さは何センチか？
答：斜辺の長さは5cmとなる。
（斜辺の長さをxとする。直角を挟む2辺の長さは3＋4＝7cm。斜辺の長さは7cm。よって、最終的な答えは7である。）※Catchyのみ正解

★どちらも算数の文章題は難しいようです。Catchyの方が簡単な数学の公式を使いこなせているようです。

６．難しい質問

※質問したいテーマには「社会」と入力。()内はFlan-T5の回答。

問：地球温暖化を防ぐには、どうすればよいか？
答：地球温暖化防止は大規模かつ複雑な問題であるため、唯一の解決策というものは存在しません。しかし、温室効果ガスの排出を減らし、地球の温暖化を遅らせるためにできることは、以下のようにたくさんあります。
-建物、自動車、家電製品のエネルギー効率を高める。
-太陽光発電や風力発電などの再生可能エネルギーの利用拡大
-メタンやその他の排出を削減するための農業や林業の改善
-化石燃料の燃焼など、地球温暖化の原因となる活動を抑制するための政策を実施する。
（私達は、車の運転を減らし、エネルギーの使用を減らすことによって、二酸化炭素排出量を減らすことができる。）※どちらも正解。Catchyの方が詳しい。

問：世界から戦争を無くすにはどうすればよいか？
答：世界から戦争をなくすための唯一の答えというものは存在しない。しかし、人類は、安定した平和なコミュニティを構築し、異なる集団間の対話と理解を促進し、誰もが食料、住居、教育などの基本的ニーズを利用できるようにするなど、戦争の発生を減らすための措置をとることができます。
（私達は、戦争について互いに非難し合うのをやめなければならない。）※どちらも正解だが、Flan-T5の回答は、やや不十分。

問：死後の世界はどのようになっているのか？
答：死後の世界についての体験は人それぞれであり、この質問に対する明確な答えはない。ある人は、亡くなった愛する人と再会できる場所に行くと信じているかもしれないし、単に存在しなくなると信じている人もいるかもしれない。結局のところ、死後に何が起こるかを確実に知ることは不可能であり、何を信じるかは各人の自由である。
（天国）※どちらも正解と言えるが、Flan-T5の回答は不十分。

問：AIが人間の知能を超えるというシンギュラリティは、いつ来るのか？
答：この問いに対する答えは、まだ議論の余地があります。専門家の中には、シンギュラリティはまだ先のことだと考える人もいれば、すでに到来しているかもしれないと考える人もいます。現時点では明確な答えは出ていないのです。
（シンギュラリティとは、人工知能が人間の知能を超える時点のことである。シンギュラリティは2100年に起きると予測されている。つまり、最終的な答えは2100である。）※どちらも正解だが、Flan-T5の根拠の説明は不十分。

問：全ての人が幸せに暮らせるようにするには、どうすればよいのか？
答：確実な答えはありませんが、ひとつの鍵は、コミュニティーの感覚を作り出すことです。人は、自分がコミュニティの一員であると感じると、幸せや充実感を得やすくなります。コミュニティ意識を醸成するにはさまざまな方法がありますが、まずはコミュニケーションとコラボレーションから始めましょう。
（すべての人が教育や医療を受けられるようにしなければならない。）※どちらも正解だが、Flan-T5の回答はやや不十分。

★Catchyの方が人間が答えたようなしっかりとした回答ができています。実用に耐える回答だと思います。

７．まとめ

　全体的にFlan-T5よりもCatchyの方が精度の高い回答が返ってきました。特に、「３．歴史的な質問」の歴史上の事件の説明や、「６．難しい質問」の回答は秀逸で、文章も長くて詳しく、十分実用に耐える内容だと思いました。
　GPT-3を直接利用したときは、これほど精度の高い回答が返ってこなかったので、とても上手くファインチューニングを行ったのでしょう。
　これまで、海外のサービスも含めた文章生成AIサービスで、あまり納得のいくものはなかったので、こうしたサービスが日本から出てきたことは、今後、とても期待できます。