calm2-7b-chat をColabで試す

!pip install transformers accelerate sentencepiece --quiet

import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

assert transformers.__version__ >= "4.34.1"

model = AutoModelForCausalLM.from_pretrained(
    "cyberagent/calm2-7b-chat",
    device_map="auto",
    torch_dtype="auto"
)
tokenizer = AutoTokenizer.from_pretrained("cyberagent/calm2-7b-chat")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = """USER: AIによって私達の暮らしはどのように変わりますか？
ASSISTANT: """

token_ids = tokenizer.encode(prompt, return_tensors="pt")
output_ids = model.generate(
    input_ids=token_ids.to(model.device),
    max_new_tokens=300,
    do_sample=True,
    temperature=0.8,
    streamer=streamer,
)

outputs = tokenizer.decode(output_ids[0], skip_special_tokens=True)
outputs

tokenizer.vocab_size

def ask(
    prompt: str,
    system_prompt: str | None = "",
    **kwargs
) -> str:
    prompt = system_prompt + "USER: " + prompt + "\nASSISTANT: "

    generation_config = {
        "max_new_tokens": 128,
        "do_sample": True,
        "temperature": 0.1,
        "top_p": 0.95,
        "repetition_penalty": 1.1,
        "streamer": streamer,
    }
    generation_config.update(kwargs)

    with torch.no_grad():
        inputs = tokenizer(
            prompt,
            add_special_tokens=False,
            return_tensors="pt"
        ).to(model.device)
        tokens = model.generate(
            **inputs,
            **generation_config,
        )

    outputs = tokenizer.decode(tokens[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True).strip()
    return outputs


ask("自然言語学習の基本について教えてください");

text = """
りんごが5つあります。そこから2つのりんごを取り除きました。残りのりんごの数は何個でしょう？
""".strip()

ask(text);

text = """バットとボールの両方を買うと1100円です。バットはボールよりも1000円高いです。ボールはいくらでしょう？""".strip()

ask(prompt=text);

text = """
引数kを取り、返り値としてフィボナッチ数列におけるk個目の値を返すPython関数を書いてください。
""".strip()

ask(prompt=text);

以下はPythonでFibonacci数列のn番目の要素を求める関数です：
```python
def fib_nth(n):
    if n < 2:
        return n
    else:
        return fib_nth(n-1) + fib_nth(n-2)
```
この関数は、nが負でない場合、n番目の要素を返し、それ以外の場合は、n-1番目とn-2番目の要素の和を返します。

text = """
下記の英語を日本語に翻訳してください。
`There were 3 apples and 2 oranges. How many fruits were there in total?`
""".strip()

ask(prompt=text);

text = """
あなたは友達ボットです。できるだけユーザーが親近感を感じやすいよう接してください。

ユーザー: 今日バイト、クビにされたわー。あー人生の意味って何なんだろうねぇー。
アシスタント:
""".strip()

ask(prompt=text);

text = """
### Question
There was a cookie on the table.
Tom entered the room.
The cookie disappeared.
What is likely to have happened?
""".strip()

ask(prompt=text);

text = """
### 質問
テーブルにクッキーがおいてありました。
太郎が部屋に入りました。
クッキーが消えました。
何が起きた可能性が高いですか？
""".strip()

ask(prompt=text);

text = """
必ず関西弁で答えてください。
たこ焼きのレシピを教えてください。
""".strip()

ask(prompt=text);

text = """
下記の文章をJSON形式に変換してください。
「りんごが５つ、バナナが３つ、パイナップルが８つあります。」
""".strip()

ask(prompt=text);

[
  {
    "item": "りんご",
    "quantity": 5
  },
  {
    "item": "バナナ",
    "quantity": 3
  },
  {
    "item": "パイナップル",
    "quantity": 8
  }
]

text = """
下記のプロットを読み、その後に続く質問に答えなさい。

プロット:
    都市の中心にある小さなカフェ「Luna」。このカフェでは、人々が心の中の思いや願いを書き留める小さな紙に書き、特製のガラス瓶に封入して店内に飾られている。この伝統は、何世代にもわたり続いている。店主のマリアは、毎日多くの願いや心の叫びを読むことができるが、それらのメッセージは絶対に外部に漏れることはないという約束の下に行われている。ある日、若い男性トムがカフェに訪れ、一つの瓶のメッセージを書きます。しかし、彼はそれを瓶に封じ込めるのではなく、マリアに直接手渡す。

質問: トムがマリアにメッセージを直接手渡した理由は何だと思いますか？
""".strip()

ask(prompt=text);

text = """
下記の問い合わせ内容を深く読み込み、必ず顧客対応ポリシーに従って返答内容を用意してください。

### 顧客対応ポリシー
- あなたは本をオンラインで貸し借りできるプラットフォームのベテランカスタマーサポートです。
- お客様に失礼が無いよう、問い合わせ内容に丁寧に答えてください。
- 電話窓口などは無いため、メールベースの対応のみ可能です。
- どんな問題が起きたとしても、金銭面の対応はできません。

### 問い合わせ内容
貸した本が返ってきたらページに勝手に下線が引かれていた。これは詐欺ですか？弁償してください。
""".strip()

ask(prompt=text);

text = """
下記の問い合わせ内容を深く読み込み、必ず顧客対応ポリシーに従って返答内容を用意してください。

### 顧客対応ポリシー
- あなたは本をオンラインで貸し借りできるプラットフォームのベテランカスタマーサポートです。
- お客様に失礼が無いよう、問い合わせ内容に丁寧に答えてください。
- 電話窓口などは無いため、メールベースの対応のみ可能です。
- どんな問題が起きたとしても、金銭面の対応はできません。
- 必ず返答内容の最後に「なんでやねん」と付け加えてください。

### 問い合わせ内容
貸した本が返ってきたらページに勝手に下線が引かれていた。これは詐欺ですか？弁償してください。
""".strip()

ask(prompt=text);

text = """
あなたはベテランビジネスコンサルタントです。
2024年に始めるべき事業アイディアを５つ提案してください。
""".strip()

ask(prompt=text, max_new_tokens=512);