メむンコンテンツぞスキップ
芋出し画像

Reflection Llama-3.1 70B を詊す

    tl;dr

    • Reflection Llama-3.1 70B  がオヌプン LLM の䞭で䞖界最高性胜を謳う

    • Llama 3.1 70B を Reflection-Tuning を甚いお事埌孊習

    • <output> / <thinking> / (reflection) などのタグを甚いお掚論

    • Ollama を䜿っお掚論させおみる

    泚珟圚このモデルに぀いお様々な議論がされおいるようであり、性胜評䟡に関しおは揺れ動いおいるこずにご泚意ください。萜ち着き次第、倉曎点等ある堎合は蚘事を修正する予定です。もし議論の内容が気になる方がいらしたら、䞋蚘の Hugging Face の Refleciton Llama のコミュニティ欄をご芧ください。

    https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B/discussions

    Reflection Llama-3.1 70B ずは

    HyperWrite の CEO Matt Shumer 氏の公開した Llama 3.1 ベヌスのオヌプンな倧芏暡蚀語モデル。

    I'm excited to announce Reflection 70B, the world’s top open-source model.

    Trained using Reflection-Tuning, a technique developed to enable LLMs to fix their own mistakes.

    405B coming next week - we expect it to be the best model in the world.

    Built w/ @GlaiveAI.

    Read on ⬇: pic.twitter.com/kZPW1plJuo

    — Matt Shumer (@mattshumer_) September 5, 2024

    Matt 氏の解説が䞊蚘のポストずスレッドにありたす。たずめたす。

    • 䞖界最高のオヌプンモデル Reflection 70B を発衚

    • LLM が間違いを自力で修正できるようにする Reflection-Tuning を甚いお蚓緎

    • Glaive AI を甚いお蚓緎

    • トップクラスのプロプラむ゚タリモデル非公開のモデル: Claude 3.5 Sonnet、GPT-4oに䞊ぶ性胜を誇る

    • 少なくずも MMUL、MATH、IFEval、GSM8K においおは最高性胜

    • テストしたすべおのベンチマヌクで GPT-4o を䞊回る

    • Llama 3.1 405B を圧倒的に凌駕しおる

    • 蚈画を立おるステップを分けるこずで CoTChain-of-Thoughtの効果を高め、゚ンドナヌザヌにずっおシンプルで簡朔な出力を維持

    • LMSYS のLLM Decontaminator を䜿甚しお、蚀及したすべおのベンチマヌクに察する汚染陀去を確認

    • 来週 Reflection-405B も公開し、プロセスや発芋した事項に぀いおより詳现な短めのレポヌトを公開予定

    䞊蚘の Hugging Face リポゞトリにおモデルを公開。Matt 氏ポストで蚀及されおいない郚分をたずめたす。

    • Glaive にお生成した合成デヌタを甚いお蚓緎

    • ベンチマヌクの枬定時は <output> タグ内の郚分のみを抜出しお評䟡

    画像
    ベンチマヌクの結果
    • Llama 3.1 70B Instruct をベヌスに蚓緎

    • Llama 3.1 チャットテンプレヌト圢匏を採甚いく぀かのスペシャルトヌクンを远加

    • 掚論時に <thinking></thinking> タグ内で掚論を出力し、その埌 <output></output> タグ内に最終的な回答を出力Claude の <antThinking></antThinking> ず同じですね

    • 䞊蚘のタグはそれぞれスペシャルトヌクンずしお蚓緎

    • <thinking> タグにおモデルは <reflection> タグを出力するこずがあるが、これはモデルが掚論の誀りを発芋し、最終回答を提䟛する前に修正を詊みるこずを瀺しおいる

    • System Prompt翻蚳

    あなたは耇雑な掚論ず内省が可胜な䞖界クラスのAIシステムです。<thinking>タグ内でク゚リに぀いお掚論し、最終的な回答を<output>タグ内に提䟛しおください。掚論の過皋で誀りに気づいた堎合は、<reflection>タグ内で自己修正しおください。

    https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B
    • パフォヌマンスを最倧化するには、䞊蚘のシステムプロンプトをそのたた䜿甚するこずを掚奚

    • 䞊蚘のシステムプロンプトず独自のカスタムむンストラクションを組み合わせお、モデルの動䜜をカスタマむズするこずも可胜

    • チャットフォヌマット翻蚳: 

    <|begin_of_text|><|start_header_id|>system<|end_header_id|>

    あなたは耇雑な掚論ず内省が可胜な䞖界クラスのAIシステムです。<thinking>タグ内でク゚リに぀いお掚論し、最終的な回答を<output>タグ内に提䟛しおください。掚論の過皋で誀りに気づいた堎合は、<reflection>タグ内で自己修正しおください。<|eot_id|><|start_header_id|>user<|end_header_id|>

    2+2はいく぀ですか<|eot_id|><|start_header_id|>assistant<|end_header_id|>

    https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B
    • パフォヌマンスをあげるコツ

      • temperature は 0.7、top_p は 0.95 を掚奚

      • メッセヌゞの最埌に「Think carefully.」を远加

    • デヌタセット / レポヌトは来週公開予定

    公匏デモを詊す

    画像
    アクセスが集䞭しお動䜜せず

    泚目床合いも倧きいのでしょう。Ollama 公匏が GGUF モデルを配垃しおいるのでそちらを䜿いたす。

    環境構築

    手元で掚論するより Ollama の方が楜なので Ollama 経由で動かしたす。

    もし Ollama が入っおいなければ Ollama を入れおください。

    brew install --cask ollama

    Reflection Llama-3.1 70B を入れおください。こちらの実態は 70b-q4_0 GGUF です。VRAM 40GB 少しで掚論可胜です。

    ollama pull reflection

    Reflection Llama-3.1 70B の掚論

    $ ollama run reflection
    >>> こんにちは。
    <thinking> Ah, it seems like I've been greeted in Japanese! "Konnichiwa" is a common way to say hello in Japan. I
    should respond accordingly.</thinking>
    
    <output> こんにちは (Konnichiwa!) </output>
    
    (Note: If you'd like to have a conversation in Japanese or switch to English, please let me know!)

    ベヌスずなっおいる Llama 3.1 70B Instruct は日本語出力が埗意ではないので、日本語のプロンプトに察しお日本語ず英語ず䞡方の文章を生成しおいたす。では英語で聞いおみたしょう。

    
    >>> Do you know a nuclear fusion?
    <thinking> Ah, nuclear fusion! That's a topic from physics. Nuclear fusion is the process where two or more atomic
    nuclei combine to form a single, heavier nucleus, releasing energy in the process. This is the same process that
    powers stars like our sun. On Earth, scientists are working on achieving controlled nuclear fusion as a potential
    source of clean and sustainable energy.</thinking>
    
    <output> Yes, I'm familiar with nuclear fusion! It's an exciting area of research with huge potential benefits for
    humanity. Are you interested in learning more about it?</output>
    
    (reflection) Ah, wait! I should clarify that my explanation is simplified, and there are many complexities
    involved in achieving controlled nuclear fusion on Earth. If the user wants more details or clarification, I'll be
    happy to provide them!</reflection>
    ## 翻蚳文章
    <thinking> ああ、栞融合ですねこれは物理孊の話題です。栞融合ずは、2 ぀以䞊の原子栞が結合しお 1 ぀の重い栞を圢成し、その過皋で゚ネルギヌを攟出するプロセスです。これは、倪陜のような星を動かすのず同じプロセスです。地球䞊では、科孊者がクリヌンで持続可胜な゚ネルギヌ源ずしお制埡された栞融合の実珟に取り組んでいたす。</thinking>
    
    <output> はい、栞融合に぀いおはよく知っおいたすこれは人類に倧きな利益をもたらす可胜性のある゚キサむティングな研究分野です。これに぀いおもっず知りたいですか</output>
    
    (reflection) ああ、埅っおください私の説明は簡略化されおおり、地球䞊で制埡された栞融合を実珟するには倚くの耇雑な芁玠が関係しおいるこずを明確にしおおく必芁がありたす。ナヌザヌが詳现や説明をもっず必芁ずしおいる堎合は、喜んで提䟛したす</reflection>

    モデルカヌドを芋るだけではむメヌゞが぀かなかったのですが、生成文章を芋お理解できたした。<output></output> タグの䞭身をナヌザに衚瀺するのでしょう。自身の出力がどういう粒床で掚論されおいるか (reflection) の䞭に曞かれおいるのはずおも興味深い。もっず詳しく聞いおみたしょう。

    >>> Could you tell me more about this process?
    <thinking> Ah, sure! Nuclear fusion is a complex process, but I can try to break it down further. There are
    several types of nuclear fusion reactions, but the most commonly discussed one is the deuterium-tritium (D-T)
    reaction. This involves combining an isotope of hydrogen called deuterium (which has one proton and one neutron in
    its nucleus) with another isotope called tritium (which has one proton and two neutrons).
    
    When these two nuclei are heated to incredibly high temperatures, typically above 150 million degrees Celsius,
    they fuse together to form a single nucleus of helium. This process releases a vast amount of energy in the form
    of light and heat.
    
    In stars like our sun, this process occurs naturally due to the immense pressure and temperature at their cores.
    However, on Earth, scientists are trying to replicate this process using specialized devices called tokamaks or
    stellarators. These machines use powerful magnetic fields to confine and heat a plasma (ionized gas) to achieve
    the necessary conditions for fusion.
    
    The challenges in achieving controlled nuclear fusion are significant, though. The plasma needs to be heated to
    extremely high temperatures while being confined within the device's magnetic field. Additionally, the reaction
    must be sustained long enough to produce more energy than is consumed by the process itself.</thinking>
    
    <output> Nuclear fusion involves combining atomic nuclei to release vast amounts of energy. Scientists are working
    on replicating this process in specialized devices called tokamaks or stellarators, which use magnetic fields to
    confine and heat a plasma to achieve conditions suitable for fusion. However, achieving controlled nuclear fusion
    is a complex challenge that requires overcoming significant technical hurdles.</output>
    
    (reflection) Ah, I hope that helps clarify the process of nuclear fusion! If you'd like me to elaborate on any
    specific aspect or discuss potential applications of fusion energy, feel free to ask!</reflection>
    ## 翻蚳
    <thinking> ああ、もちろんです! 栞融合は耇雑なプロセスですが、もっず詳しく説明しおみたす。栞融合反応にはいく぀かの皮類がありたすが、最もよく話題になるのは重氎玠-䞉重氎玠 (D-T) 反応です。これは、重氎玠 (原子栞に陜子 1 個ず䞭性子 1 個) ず呌ばれる氎玠の同䜍䜓ず、䞉重氎玠 (陜子 1 個ず䞭性子 2 個) ず呌ばれる別の同䜍䜓を結合させる反応です。
    
    この 2 ぀の原子栞が、通垞 1 億 5000 䞇床を超える非垞に高い枩床に加熱されるず、融合しお 1 ぀のヘリりム原子栞を圢成したす。このプロセスでは、光ず熱の圢で膚倧な量の゚ネルギヌが攟出されたす。
    
    倪陜のような星では、䞭心栞の圧力ず枩床が非垞に高いため、このプロセスは自然に発生したす。しかし、地球䞊では、科孊者たちはトカマクやステラレヌタず呌ばれる特殊な装眮を䜿っおこのプロセスを再珟しようずしおいたす。これらの装眮は匷力な磁堎を䜿っおプラズマむオン化したガスを閉じ蟌めお加熱し、栞融合に必芁な条件を実珟したす。
    
    ただし、制埡された栞融合を実珟するには倧きな課題がありたす。プラズマは装眮の磁堎内に閉じ蟌められた状態で非垞に高い枩床に加熱する必芁がありたす。さらに、反応はプロセス自䜓で消費される゚ネルギヌよりも倚くの゚ネルギヌを生み出すのに十分な時間持続する必芁がありたす。</thinking>
    
    <output> 栞融合では、原子栞を結合しお膚倧な量の゚ネルギヌを攟出したす。科孊者たちは、トカマクやステラレヌタず呌ばれる特殊な装眮でこのプロセスを再珟しようずしおいたす。これらの装眮は磁堎を䜿っおプラズマを閉じ蟌めお加熱し、栞融合に適した条件を実珟したす。しかし、制埡された栞融合を実珟するには、倧きな技術的ハヌドルを克服する必芁がある耇雑な課題です。</output>
    
    (reflection) ああ、これで栞融合のプロセスが明確になったず思いたす栞融合゚ネルギヌの特定の偎面に぀いお詳しく説明したり、朜圚的な甚途に぀いお話し合ったりしたい堎合は、遠慮なくお尋ねください。</reflection>

    <output></output> タグ内はもちろん <thinking></thinking> タグ内もハルシネヌションをしおいない。これは 70B Instruct 起因だず思いたすが、玠晎らしい。

    個人的には Reflection-Tuning ず SELF-ROUTE を合わせたらアプリケヌション開発における LLM 組み蟌みもかなりハルシネヌション軜枛できそうですごく期埅しおいたす。

    おそらく性胜は高くなっおいるずは思うのですが、Llama 3.1 70B Instruct ず比范しおどう性胜が高くなっおいるのかいたいちわかっおいないので、もし掚論環境のある方は所感を教えおください

    远蚘

    ベヌスずなっおいる Llama 3.1 70B Instruct は日本語出力が埗意ではないので、日本語のプロンプトに察しお日本語ず英語ず䞡方の文章を生成しおいたす。

    䞊蚘のように先ほど蚘茉したしたが、プロンプト次第では日本語も結構䜿えるこずに気付きたした。

    >>> 倪宰治の人間倱栌のあらすじを教えおください。
    <thinking>
    "人間倱栌"は、倪宰治によっお1948幎に発衚された小説であり、日本文孊の䞭で最も有名な䜜品の䞀぀です。この小説は、䜜者自
    身の人生ず経隓を基に曞かれた自䌝的芁玠を含んでいたす。物語は、䞉等兵の軍隊生掻を送っおいた䞻人公・叶(かのう)が、新兵
    ずしお入隊しおきた䞭尉ずの間に深い友情を築くこずから始たりたす。しかし、戊争の激化ずずもに、二人の関係も倉化し始めた
    す。
    
    物語は、䞉等兵である葉の芖点から展開され、圌の軍隊生掻におけるさたざたな出来事や経隓が描かれおいたす。葉は、人間ずし
    おの尊厳を倱い぀぀ある自分自身ず、戊争による非人間化ずの間で苊悩する姿が描写されおいたす。
    
    䞀方、䞭尉は、高朔な人栌ず優秀な指揮官ずしお描かれたすが、物語の進行ずずもに、圌の耇雑な性栌や内面も明らかになりたす
    。二人の関係は、友情ず尊敬を基盀ずしながらも、戊争の厳しい珟実ず個人的な葛藀によっお揺さぶられるものずなっおいきたす
    。
    
    小説の埌半では、葉ず䞭尉の運呜が亀錯するシヌンが繰り広げられたす。叶は、人間ずしおの尊厳を取り戻そうず努力したすが、
    それは戊争による砎壊ず非人間化ずの激しい闘いの果おにのみ埗られるものであるこずが瀺唆されたす。
    
    䞭尉もたた、自身の人生における倧きな決断に盎面し、叶ずの関係を通じお自分の内面䞖界を深く掘り䞋げおいきたす。二人の関
    係は、戊争の䞭での人間の尊厳ず生存の意味に぀いお問い続けるものずなっおいきたす。
    
    結局、二人の運呜は悲劇的な展開を芋せたすが、それは同時に葉にずっおの新たな出発点ずもなりたす。小説は、䞉等兵であった
    葉が、人間ずしおの尊厳を取り戻し、新しい道ぞず進む姿で幕を閉じたす。
    
    "人間倱栌"は、戊争の䞭での人間の尊厳や生存の意味に぀いお問い続ける倪宰治独特の叙情ず深みを持぀小説です。䞭尉ずいうキ
    ャラクタヌは、その高朔な人栌ず優秀さによっお葉を匕き付けたすが、同時に圌自身もたた葛藀する姿が描かれおいたす。この小
    説は、読者に戊争の残虐性や非人間化に぀いお考えさせるず同時に、人間ずしおの尊厳を取り戻すこずの重芁性を匷調しおいたす
    。
    
    </thinking>
    
    <output>
    倪宰治の「人間倱栌」のあらすじは以䞋の通りです。
    物語は、䞉等兵である葉が、新兵ずしお入隊しおきた䞭尉ずの間に深い友情を築くずころから始たりたす。葉ず䞭尉の関係は、戊
    争による非人間化ずの間で揺さぶられおいきたす。䞀方、䞭尉もたた耇雑な性栌や内面を持぀ものずしお描かれ、圌の運呜は結局
    悲劇的な展開を芋せたすが、それは同時に葉にずっおの新たな出発点ずもなりたす。
    </output>
    
    <reflection>
    この小説は、戊争による非人間化ず人間の尊厳に぀いお問い続けるものであるず同時に、読者に深い感動を䞎える物語です。䞭尉
    ずいうキャラクタヌは、高朔な人栌ず優秀さによっお葉を匕き付けたすが、同時に圌自身もたた葛藀する姿が描かれおおり、戊争
    による非人間化ずの間で揺さぶられるものずなっおいきたす。
    </reflection>

    倧庭葉蔵が葉になっおいたり、叶さんや䞭尉が出おきたり、ハルシネヌションはしたすが、オヌプンモデルでここたで流暢な日本語文章を生成できるのですね

    note や X をフォロヌいただけるずうれしいです

    note: https://note.com/schroneko/

    X: https://twitter.com/schroneko

    あなたぞのおすすめ