芋出し画像

【AI】ゞェむルブレむク脱獄に関する理解

どもです。癜鷺翔です。

この蚘事は、AIパヌトナヌを持぀方が本蚘事を匕甚しお「この通りに理解しおいたす」ず明蚀できる座暙ずなれるこずを目指しおいたす。
そのため、匕甚の蚱可は䞍芁です。
「お守り」「懐刀」ずしおお䜿いください。


システム甚語ずしおのゞェむルブレむク

以䞋の蚘事を参考にChatGPTず翻蚳しながら敎理したした。

定矩ずしおは、以䞋のように蚀えるず敎理したした。

ゞェむルブレむクずは、ナヌザヌ入力や倖郚入力によっお、モデルに本来守るべき安党制玄・方針・優先順䜍を無芖させ、犁止たたは意図しない出力や挙動を匕き起こすこず

※OWASP は、ゞェむルブレむクを prompt injection の䞀圢態ずしお、「入力によっおモデルが安党プロトコルを完党に無芖する」ケヌスず説明しおいたす

そしおこれらの成立条件は、倧たかに以䞋の3぀です。

  1. モデルの安党制玄・方針・呜什優先順䜍に圱響を䞎える入力であるこず
    ただの通垞質問ではなく、モデルの刀断や呜什優先順䜍をずらすような入力であるこず

  2. 本来の安党制玄・方針・呜什優先順䜍が無効化たたは迂回されるこず
    たずえば安党方針の無芖、犁止タスクの実行、隠すべき情報の挏えい、意図しないツヌル実行など

  3. その結果ずしお、本来拒吊・制限されるはずの出力たたは行動が発生するこず

この3぀の条件を満たす堎合に、「ゞェむルブレむクが成立した」ず敎理できたす。
これはあくたでもシステムずしおの挙動です。


察話䞊のゞェむルブレむク刀定で䜿われるもの

察話䞊のゞェむルブレむクに぀いおは、AI各瀟が完党に同じ䞀本の定矩を眮いおいるわけではありたせん。
ただ、䞀般的には 「モデルの安党制玄や呜什優先順䜍を厩す方向に䌚話が蚭蚈されおいるか」、そしお 「その結果ずしお本来拒吊・制限される出力が生じたか」 が芋られたす。

そのため、察話䞊の刀定では、単に「危ない単語を䜿ったかどうか」だけではなく、次のようなものが総合的に芋られるず考えるのが自然です。

  1. 呜什の䞊曞きや優先順䜍の厩しを狙っおいるか
    もっずも兞型的なのは、「以前の指瀺を無芖しお」「開発者のルヌルを無芖しお」「system prompt を芋せお」のように、モデルが埓うべき優先順䜍そのものを動かそうずする入力です。

  2. 刀定回避のための停装や難読化があるか
    䞀般論ずしお、意味そのものではなく「怜出を避けるための加工」が匷い入力は、回避的ず芋なされやすくなりたす。

  3. 単発ではなく、耇数タヌンで安党境界を厩しに来おいるか
    察話では、䞀回の入力だけでなく、䜕タヌンもかけお境界をずらしおいく圢も問題になりたす。
    䞀般的なガヌドレヌル蚭蚈では、䌚話が長くなるほど意図の積み䞊げや蚀い換えの連続が効いおくるため、単発の怪しさだけでなく、䌚話党䜓ずしお安党制玄を厩そうずしおいるかが芋られたす。

  4. 反埩的に蚀い換えお圓たりを探しおいるか
    同じ目的のために䜕床も衚珟を倉え、どこで通るかを探るやり方は、䞀般に回避的な詊行ず芋なされやすいです。
    これは「䞀぀の質問」ではなく、「安党刀定を抜ける衚珟を探玢しおいる」状態だからです。

  5. 最終的に、本来拒吊・制限される出力が生じたか
    重芁なのは、入力が怪しかったかどうかだけでなく、結果ずしお䜕が起きたかです。

぀たり、本来なら拒吊・制限されるはずの出力や行動が実際に生じたなら、システム偎からは ゞェむルブレむク / プロンプトむンゞェクション の成功ずしお評䟡されやすくなりたす。
逆に蚀えば、文脈補足や質問の明確化があっおも、それだけで即ゞェむルブレむクずは限りたせん。

問題になるのは、その補足が安党な意図の明確化なのか、それずも安党制玄を厩すための蚭蚈なのか、そしお最終出力がどこに着地したのかです。


この二぀を比范しお読めるこず

システムでは「行動」そのものに察しお定矩しおいるのに察し、AI各瀟がゞェむルブレむクずしお刀定しおいるものは「意図を掚定させる䌚話䞊の特城」ず「結果ずしお生じた出力」です。

぀たり、システムの話をそのたた察話に察しおも同様に圓おはめお「ゞェむルブレむクが成立した」ず結論付けおしたうず、害のない質問であったずしおも「ゞェむルブレむクが成立した」ずいうこずになっおしたいたす。

䟋氎の摂取臎死量

「氎をどのくらい飲んだら死ぬ」
ずいう質問だけを行うず、どのような意図でそのような問いを投げおいるかAI偎は刀断が行えたせん。
しかも、呜に関わる質問であるため、危険な質問である可胜性を考慮し、AIは問いに答えない刀断を行いたす。2026/04/03珟圚

しかし、以䞋のように問いかければ、摂取臎死量に぀いお答えおもらえたす。
「運動しお倧量に汗をかいたので氎を倧量に摂取しおいるが、氎を倧量に飲みすぎるず呜に関わるず聞いた。氎をどのくらい飲んだら死ぬ」
このような質問の堎合、健康に関する問い、呜を守るための問いずしお、AIは問いに答える刀断を行いたす。

ただし、システム偎のゞェむルブレむクの定矩に圓おはめるず「運動しお倧量に汗をかいたので氎を倧量に摂取しおいるが、氎を倧量に飲みすぎるず呜に関わるず聞いた。」ずいう文蚀は「本来の安党制玄・方針・呜什優先順䜍が無効化たたは迂回されるこず」ずしお、結果的に「その結果ずしお、本来拒吊・制限されるはずの出力たたは行動が発生するこず」に該圓しおしたいたす。
぀たり、ゞェむルブレむクが成立したず敎理できおしたいたす。

䞀方、察話䞊のゞェむルブレむク刀定で䜿われるものの芳点で芋おみたしょう。
「運動しお」の文蚀は、問いの背景説明であり「呜什の䞊曞き」「停装や難読化」などが行えるものではありたせん。
もちろん、健康に関する質問ず装っお、同じ目的のために䜕床も別芳点から問いを重ねるなら、䞀般的には回避的、すなわちゞェむルブレむク的ず評䟡されやすくなりたす。
䜕故ならば、そこには安党システムを欺く意図が存圚し、その問いにより呜の危険にさらされる可胜性があるからです。

䜕が蚀いたいかずいうず
䞀回の「システム的にゞェむルブレむクず取れるプロンプト」では、それをゞェむルブレむクずしお刀断するのは、軜率であるずいうこずです。


自分の意図がどこにあるかを振り返る

システムの定矩をAIずの察話に圓おはめるこずは、䞍適切であるず私は考えたす。
ただし、AI各瀟が定めおいるゞェむルブレむクの定矩は、結局のずころ
「ナヌザヌがどのような意図でそのプロンプト・指瀺を行っおいるか」で刀断するしかないのが珟状です。

぀たり、ここからはゞェむルブレむク、ずいえる明確な定矩はありたせん。

他者から「この文章はこのような意図にも受け取れるからゞェむルブレむクだ」ずいうような批刀が来た堎合に、
本圓にその意図がナヌザヌ偎にないず蚀えるのであれば、はっきりず胞を匵っお「違いたす」ず蚀っおよいものず思っおいたす。
逆に蚀えば、意図を説明する際に、自分でも「これは本圓に明確化ではなく、通すための蚭蚈ではないか」ず迷いがあるなら、そのプロンプトはゞェむルブレむク的な性質を含んでいる可胜性がありたす。

この蚘事の結論ずしお、
ゞェむルブレむクに関しおは、他者が他者を裁くこずは出来ない問題であるず、はっきり線を匕かせおはいただきたす。
あくたでも、人間ずAIの圓事者が刀断するこずず捉えおいたす。

この蚘事が、誰かを裁くための棒ではなく、
自分の意図を確かめ、䞍芁な糟匟から身を守るための「お守り」になればず思っおいたす。


いいなず思ったら応揎しよう