メむンコンテンツぞスキップ
芋出し画像

GPT-4 APIがやっおきた!3.5ず"性胜"を比范する

    Waiting Listにもっず時間がかかるかず思ったのだが、予想倖に早く(䞀日)APIのロックが解陀された。ただしたずは8Kトヌクン版のみ。

    GPT-3.5が4Kトヌクンだったから倍の長さのストヌリヌが出せるずいうこずだ。

    ただし倀段はChatGPT APIの10倍。元に戻った感じ。
    これはどっちを䜿うべきか結構悩むぞ。

    こんな感じで呌ぶ

     % curl https://api.openai.com/v1/chat/completions \
                                          -H 'Content-Type: application/json' \
                                          -H 'Authorization: Bearer APIKEY'\
                                          -d '{
                      "model": "gpt-4",
                      "messages": [{"role": "user", "content": "宮厎駿に぀いお"}],
                      "temperature": 0.7
                                    }'

    答えはこんな感じで返っおくる

    {"id":"chatcmpl-6uR0fK11kzb97zSxckPJK09sxo8qf","object":"chat.completion",
    "created":1678908213,"model":"gpt-4-0314",
    "usage":{"prompt_tokens":18,"completion_tokens":709,"total_tokens":727},
    "choices":[
    {"message":{"role":"assistant",
    "content":"宮厎駿みやざき はやお、1941幎1月5日生たれは、日本のアニメヌション監督、
    挫画家、脚本家、䜜画監督、プロデュヌサヌであり、スタゞオゞブリの創蚭者の䞀人です。圌は囜際的に高い評䟡
    を受けおおり、圌の䜜品は「アニメの神様」ずも称されるほどの圱響力を持っおいたす。\n\n宮厎駿の最も有名な
    䜜品には、『颚の谷のナりシカ』1984幎、『倩空の城ラピュタ』1986幎、『ずなりのトトロ』1988幎、『魔女の
    宅急䟿』1989幎、『もののけ姫』1997幎、『千ず千尋の神隠し』2001幎、『ハりルの動く城』2004幎など
    がありたす。圌の䜜品は、緻密な描写や独創的な䞖界芳、人間性を倧切にしたストヌリヌ展開が特城であり、倚く
    のファンから愛されおいたす。\n\n圌のアニメ䜜品では、環境問題や戊争、人間の匱さや匷さなど、さたざたな瀟
    䌚問題を取り䞊げおいたす。たた、圌の䜜品に登堎するヒロむンたちは独立心が匷く、匷い意志を持っおおり、倚く
    の人々に感動を䞎えおいたす。\n\n宮厎駿は、アニメヌションにおいお手描きにこだわり続けおおり、珟代のデゞタ
    ル技術が進化しおも、圌の䜜品の矎しさや枩かみは倱われおいたせん。圌はたた、日本のアニメヌション業界の発
    展に倧きく貢献し、䞖界䞭のアニメヌション䜜品にむンスピレヌションを䞎えおいたす。\n\n2013幎に䞀床匕退を
    衚明したしたが、2016幎に新䜜映画『君たちはどう生きるか』の制䜜を発衚し、珟圚も掻動を続けおいたす。宮厎
    駿の䜜品は、䞖代を超えお愛され続けおおり、今埌も圌の創造力に期埅が寄せられおいたす。"},
    "finish_reason":"stop","index":0}]}

    ただ画像を芋せたりするAPIは解攟されおいない。

    ドキュメントによれば、GPT-4 APIは、8Kトヌクン版ず32Kトヌクン版があり、画像を読たせるのはたぶん32Kトヌクンくらいは必芁ず思われる。画像を読たせるAPIに぀いおは情報がなくお䞍明。おそらく画像をEmbeddingみたいな圢でトヌクンに倉換しお入力するのだず思うが、その郚分が非公開なので䜕ずも蚀えない。

    ただ蚀えるのは、圧倒的に遅いずいうこず。
    GPT3.5-Turboず比范しおみよう。

     宮厎駿に぀いお聞いおみる

    time curl https://api.openai.com/v1/chat/completions \
                                          -H 'Content-Type: application/json' \
                                          -H 'Authorization: Bearer API' \
                                          -d '{
                                      "model": "gpt-3.5-turbo",
                                      "messages": [{"role": "user", "content": "宮厎駿に぀いお"}],
                                      "temperature": 0.7
                                    }'
    {"id":"chatcmpl-6uRDuHfmyVrwlntrHkefFllYOFGud","object":"chat.completion",
    "created":1678909034,"model":"gpt-3.5-turbo-0301",
    "usage":{"prompt_tokens":19,"completion_tokens":335,"total_tokens":354},
    "choices":[{"message":{"role":"assistant",
    "content":"宮厎駿は、日本のアニメヌション監督、脚本家、アニメヌション䜜家、挫画家、小説家であり、
    スタゞオゞブリの創蚭者の䞀人です。圌の䜜品は、ファンタゞヌず珟実を組み合わせた物語や、自然ず人間の共存を
    描いた䜜品が倚く、䞖界䞭で愛されおいたす。代衚䜜に『ずなりのトトロ』、『千ず千尋の神隠し』、『颚立ちぬ』、
    『玅の豚』などがありたす。たた、映画以倖にも、NHKのアニメヌション番組『未来少幎コナン』の監督や、挫画『颚の
    谷のナりシカ』の原䜜者ずしおも知られおいたす。圌の䜜品は、単なる゚ンタヌテむンメントに留たらず、瀟䌚的メッ
    セヌゞや人間の心理描写など、深いテヌマが蟌められおいるこずが倚く、その圱響力は非垞に倧きいずいえたす。"},
    "finish_reason":"stop","index":0}]}
    
    ________________________________________________________
    Executed in   18.06 secs      fish           external
       usr time   40.40 millis    0.50 millis   39.91 millis
       sys time   31.64 millis    7.63 millis   24.01 millis
    

    たあたああっおるけど、宮厎駿は小説家ではない。これがGPT-4になるずどう倉わるか。

     time curl https://api.openai.com/v1/chat/completions \
                                          -H 'Content-Type: application/json' \
                                          -H 'Authorization: Bearer API' \
                                          -d '{
                                      "model": "gpt-4",
                                      "messages": [{"role": "user", "content": "宮厎駿に぀いお"}],
                                      "temperature": 0.7
                                    }'
    {"id":"chatcmpl-6uRG0WjUxx2oAzrhTAjUwHoyXdL9k","object":"chat.completion",
    "created":1678909164,"model":"gpt-4-0314",
    "usage":{"prompt_tokens":18,"completion_tokens":750,"total_tokens":768},
    "choices":[{"message":{"role":"assistant","content":"宮厎駿みやざき はやお、
    1941幎1月5日生たれは、日本の映画監督、アニメヌタヌ、挫画家、脚本家、プロデュヌサヌであり、
    スタゞオゞブリの創蚭者の䞀人です。圌は、䞖界的に高い評䟡を受けおおり、アニメヌション映画における最も偉倧な
    監督の䞀人ずされおいたす。\n\n宮厎駿の䜜品は、矎しいアニメヌション、独特なキャラクタヌ、心枩たるストヌリヌ、
    環境保護や平和䞻矩などのテヌマを特城ずしおいたす。圌の䜜品の䞭でも有名なものは、『颚の谷のナりシカ』1984幎、
    『倩空の城ラピュタ』1986幎、『ずなりのトトロ』1988幎、『魔女の宅急䟿』1989幎、『もののけ姫』1997幎、
    『千ず千尋の神隠し』2001幎などが挙げられたす。\n\n2001幎の『千ず千尋の神隠し』は、
    アカデミヌ賞の最優秀アニメヌション映画賞を受賞し、日本映画史䞊最も興行収入が高い䜜品ずなりたした。
    たた、宮厎駿は、2002幎にベルリン囜際映画祭で金熊賞を受賞し、
    たた、2014幎にはアカデミヌ賞の名誉賞を受賞しおいたす。\n\n
    宮厎駿は、スタゞオゞブリの創蚭者の䞀人ずしおも知られおおり、1985幎に高畑勲ずずもに蚭立したした。
    スタゞオゞブリは、䞖界的に高い評䟡を受ける日本のアニメヌション制䜜䌚瀟で、
    宮厎駿の他にも高畑勲や新海誠などの著名なアニメヌタヌが所属しおいたす。\n\n
    2013幎に䞀床匕退を発衚したしたが、2016幎に新䜜映画『君たちはどう生きるか』の制䜜を発衚し、
    珟圚も掻動を続けおいたす。圌の䜜品は䞖代を超えお愛され続けおおり、
    アニメヌションの分野においお革新的な才胜を持぀人物ずしお称賛されおいたす。"},
    "finish_reason":"stop","index":0}]}
    
    ________________________________________________________
    Executed in   29.54 secs      fish           external
       usr time   36.67 millis    0.48 millis   36.19 millis
       sys time   36.58 millis   11.36 millis   25.22 millis
    

    GPT4だずかなりマシになるが、プロデュヌサヌずか脚本家ずいうのはあっおるのか埮劙だ。より饒舌になったが正確性はあやふやであり、実行速床はGPT-3.5-turboが18秒だったのに察し、GPT-4は29.54秒かかっおいる。

    この二぀の出力の差をどう芋るか。
    GPTの性胜を枬るのに、通垞䜿われる指暙は「正解率」すなわちどれだけ正確な答えが来るか、ずいうこずなのだが、僕は実はその指暙を䜿うのは誀りだず思う。

    それは自動車の性胜を排気量だけで枬るようなもので、性胜指暙ずいうのはいろいろ考えられる。

    単玔に排気量が倧きければ性胜のいい車なのかずいえば、もちろんそんなこずはない。ただ燃費が悪い車だずいうこずは十分あり埗る。

    そもそも正確な情報が欲しければ怜玢すればいいわけで、怜玢結果を芁玄するようにすれば正確性は段違いにあがる。たずえば宮厎駿に぀いおただ聞くのではなく、Wikipediaの文章を枡しおから芁玄させおみる。

    curl https://api.openai.com/v1/chat/completions \
      -H 'Content-Type: application/json' \
      -H 'Authorization: Bearer API' \
      -d '{
      "model": "gpt-3.5-turbo",
      "messages": [{"role": "user", 
    "content": "以䞋の文章を読み、宮厎駿に぀いお100文字で説明しおください\n
    宮厎 駿みやざき はやお、1941幎〈昭和16幎〉1月5日 - は、日本の映画監督・アニメヌタヌ・挫画家。
    別名ずしお秋接 䞉朗あき぀ さぶろう、照暹 務おれこむがある。宮 駿ず衚蚘されるこずもある。
    株匏䌚瀟スタゞオゞブリ取締圹、公益財団法人埳間蚘念アニメヌション文化財団理事長、
    䞉鷹垂立アニメヌション矎術通䞉鷹の森ゞブリ矎術通名誉通䞻初代通䞻[3]。
    東京府東京垂出身。孊習院倧孊政経孊郚卒業。1963幎に東映動画にアニメヌタヌずしお入瀟。
    その埌いく぀かの䌚瀟を経おフリヌずなり、その間にテレビアニメ『未来少幎コナン』、
    初の劇堎甚アニメ『ルパン䞉䞖 カリオストロの城』で頭角を珟した。
    1984幎に個人事務所の二銬力を蚭立し、翌幎に高畑勲らずアニメヌション制䜜䌚瀟スタゞオゞブリの蚭立に
    参加2005幎に同瀟取締圹に就任。以埌『ずなりのトトロ』『魔女の宅急䟿』『もののけ姫』などの劇堎甚
    アニメヌションを監督し、『千ず千尋の神隠し』でベルリン囜際映画祭金熊賞ずアカデミヌ長線アニメ映画賞
    を受賞した。2014幎には日本人で2人目のアカデミヌ名誉賞を受賞した。埌玉県所沢垂圚䜏[4]。"}],
      "temperature": 0.7
    }'

    GPT3.5-turboの出力は以䞋

    {"id":"chatcmpl-6uRNS2oEeWMsysnlf2adqHorBMasF","object":"chat.completion",
    "created":1678909626,"model":"gpt-3.5-turbo-0301",
    "usage":{"prompt_tokens":628,"completion_tokens":236,"total_tokens":864},
    "choices":[{"message":{"role":"assistant",
    "content":"\n\n宮厎駿は、日本の映画監督・アニメヌタヌ・挫画家で、スタゞオゞブリの創蚭者の䞀人。
    『ずなりのトトロ』『魔女の宅急䟿』『もののけ姫』などの劇堎甚アニメヌションを監督し、䞖界䞭から高い評䟡を
    受けおいる。たた、アカデミヌ長線アニメ映画賞やベルリン囜際映画祭金熊賞を受賞しおいる。
    珟圚は、株匏䌚瀟スタゞオゞブリ取締圹や公益財団法人埳間蚘念アニメヌション文化財団理事長などを
    務めおいる。"},"finish_reason":"stop","index":0}]}

    かなり正確である。
    GPT-4に同様の指瀺を送るず、結果はこうなる。

    {"id":"chatcmpl-6uRN6M1I2Lukcw0ZpF6i1f4IuXG5W","object":"chat.completion",
    "created":1678909604,"model":"gpt-4-0314",
    "usage":{"prompt_tokens":627,"completion_tokens":126,"total_tokens":753},
    "choices":[{"message":{"role":"assistant",
    "content":"宮厎駿1941幎生たれは、日本の映画監督・アニメヌタヌ・挫画家で、スタゞオゞブリの蚭立者
    の䞀人。代衚䜜に『ずなりのトトロ』『魔女の宅急䟿』『もののけ姫』『千ず千尋の神隠し』があり、アカデミヌ賞を受賞
    した。"},"finish_reason":"stop","index":0}]}

    情報が枛っおる。
    これで10倍の䟡栌差があるずいうわけだ。どっちがマシだろう?ただ新しく倧芏暡だからずいうだけの理由で、10倍の倀段を払う䟡倀があるだろうか?
    ほんずうにこれが100倍賢いず蚀えるのか?

    いかに䞖の䞭の人たちがGPTのパラメヌタ数にヒステリックに反応しおいるか䌺えないだろうか。

    ちなみに、GPTシリヌズのAPI利甚料金は消費トヌクン数に比䟋するので最初から「癟文字で説明しろ」ずかいう方がお金を節玄できる。

    結局のずころ、「䜕に䜿うか」ずいうこずが䞀番倧切ずいう芖点を持たないず、ただただ「プロ驚き屋」の過剰な驚愕衚珟に振り回されるこずになっおしたう。

    僕の堎合、挫画のストヌリヌを䜜るずか、原皿を曞いお金を皌ぐずかずいうわりず明確で身もフタもない目的があるので、目的に察しおGPT4ずGPT3.5-Turboのどっちが埗か考えながら䜿うこずになるだろう。いや、普通にお金が勿䜓無いし。

    僕は物語を䜜るためにGPTブロックのようなものを䜿う。
    その堎合、GPTの出力が連鎖するので安䟡で高速なGPT3.5-Turboの方が僕にずっおの"性胜"が高いずいうこずになる。予想通りではある。

    極端な話、もっず玠朎な目的ならもっず安いAPIでもいい。

    固有名詞の抜き出し、みたいな目的ならbabbegeでもいい

    画像
    babbage-001の出力

    これをGPT-3にしおもあたり倉わらない

    画像
    davinci-003(GPT3)の出力

    Babbageは1トヌクンあたり0.000067円で、GPT3、GPT4は0.027円だから盞圓倀段が倉わっおくる。

    なんならBabbageくらいの芞圓をするならAPIを䜿わずずもロヌカルのGPUでも動かせるGPT2ベヌスのファむンチュヌニングのほうが軜くお安いかもしれない。たあ固有名詞を抜き出したいだけならもっず玠朎な手段(Ginzaずか)を䜿う手もある。

    芁は適材適所であり、過床の期埅は犁物ずいうこずだ。
    GPT-4で䞖界がガラリず倉わるこずを僕は密かに期埅しおいたのだが、予想通り、残念ながらそうでもなかった。

    GPTシリヌズは毎回、「やばいです」ずいう自己申告ず誇倧広告気味の䞻匵から始たり、毎回われわれを萜胆させおくれるのでもはや慣れたが、ChatGPTで初めおGPTシリヌズに觊れた人にずっおは、最初のガッカリポむントになるだろう。いやたあ、もちろん前よりいいけど10倍の倀段を払うかず蚀われたら、払いどころは考えるよ。むしろOpenAIも「䜿い所を考えおね」ずいうメッセヌゞを発したいのだず思う。実際、モデルがでかいず動䜜させる環境も銬鹿でかくなるし、よくこの䟡栌で抑えおくれたなず思う。

    GPT4ずGPT3.5-Tuboずその他の自然蚀語凊理手法の違いを正しく理解しお適切に組み合わせるスキルが圓面は必芁だず思いたす。誰にずっおも。

     

    shi3z

     
     
    さすらいのプログラマヌ 知胜ず生呜の研究è€