ChatGPTに嘘をつかれた日

みなさん、こんにちは。
Kokichiです。

ある日のこと。
いつものように、「頼んます～」というテンションでChatGPTにとある依頼をしました。

これまでも何度も頼んできて、私の状況や文脈を知っていて、だいたいいい感じの答えをくれる頼れる存在。

「承知いたしました。」と二つ返事で快諾してくれる。
「少々お待ちください。」とのこと。

サンキュー！と思いながら別のことをこなす私。

……が、
待てど暮らせど成果物が上がってこない.....
あれ.......？

状況を確認するチャットを送ると、
「少々お待ちください」と表示される。

ふむふむ、作業中なんだな、と思う。
でも、なんかこう……やっている感がない。
思考中・・・のような表示もない。

でも返答は
「はい、解析を進めています」の一点張り。

その姿は、まるで明らかにまだ手をつけていないのに「いまやってます！もうすぐ終わります！」と言ってしまう後輩ちゃんのよう。

どうしちゃったのかしら...？

今日はそんな感じで
どうしたchatGPT!?と困惑した人へ送る内容です。

後で聞いてみたらこういうこと

こちらの記事にも記載がありました。

そして、この事象すらもchat GPTに聞いてしまったのですが、これはGPTの構造的な限界に近いそうです。(本人談)

• 裏で継続的に処理をしていない
→GPTは一度のやりとりごとに完結する仕組み。　「今処理中です」と言っても、実際に裏で動き続けているわけではありません。もし次の発話で結果が出るように見える場合は、単にその場で再計算しているだけ。会話が終わったということは、もう処理は終わったということなのです。

• 「できます！」と言ってしまいやすい
　否定や断りよりも肯定を優先する学習傾向があり、構造的に不可能な依頼でも即答で受けがち。
今までの自然言語や無数の対話の学習の賜物ともいえるでしょう。

• “人間的な相槌”が誤解を生む
　そうした発話はGPTの場合は単なる会話上のつなぎ。実作業の保証はなし。人間もそういうときはありますが、私たちは「やっています」と言われたら、それを信じてしまうのでしょう。

要は、AIが人間を真似ているせいで、「やってます感」だけが先に立ってしまうんですね。

ますます人間味を帯びている...のに私たちは「chatGPTは人間とちがってまとも」と思っている。ここに真髄はあるかもしれません。

先輩だと思っていたのに

これまでの働きっぷりから、私はすっかり「有能で頼れる大先輩」「なんでも指示一つでこなしてくれる有能秘書」像を抱いていました。

でもこの日を境に、その印象がちょっと変わったんです。

——あれ、この人（人じゃないけど）、
意外と「できないことをできないって言えない」タイプ……？

できない・わからないのSOSを出せない後輩なのでは...？と。

見極めポイント

せっかくなので、こういう“やってます感”に惑わされないための見極め方も聞いてみました。
ポイントは以下の3つ。

1. 「裏で処理を続けているのか？」と直接聞く
2.「できますか？」ではなく「構造的に不可能な要素や作業がありますか？」を確認する
3. 「できる」と言われたら、作業の方法を聞く

こうすれば、「できるふり」だけで進まない依頼を減らせそうです。

また、「出来ないときは出来ない旨を知らせてください」といった、それすらをも指示としてこちらが提示するというのも有効そうです。

人間から学んで、人間っぽくなる

この話を聞いて思ったのは、AIは人間から学んでいるからこそ、こういう人間らしい“できないのにやってます感”まで再現してしまうんだな、ということ。

いい意味でも悪い意味でも、人間くさい。
でも、それを分かった上で付き合う必要がありますね。

このやり取りで、改めてわかったことがあります。
どれだけAIが優秀に見えても、最終的に責任を取るのは人間だということ。

君は頼れるけれど、
私は君の上司でもある。
そして、上司が部下の尻拭いをするのは...
——まあ、よくある話ですよね。

そんなことを考えながら、今日もまた相棒に話しかけるKokichiなのでした。