CALM2で長い文章をまるごと取り扱う

pip install auto-gptq[triton]==0.4.2 transformers==4.31.1

from auto_gptq import AutoGPTQForCausalLM
from transformers import AutoTokenizer

model_name_or_path = "mmnga/cyberagent-calm2-7b-chat-GPTQ-calib-ja-1k"

# Tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)

# Model
model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        use_safetensors=True,
        device="cuda:0",
        use_triton=True,
        quantize_config=None)

# Your test prompt
prompt = """
USER: 今日の夕食のレシピを紹介してください。
ASSISTANT: 
"""
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output_ids=model.generate(
    input_ids=input_ids.to(model.device),
    max_new_tokens=300,
    do_sample=True,
    temperature=0.7,
)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))

USER: 今日の夕食のレシピを紹介してください。
ASSISTANT: 

今日の夕食のレシピは「鶏肉と野菜の炒め物」です。

【材料】
・鶏もも肉　150g
・キャベツ　4分の1玉
・玉ねぎ　1個
・にんじん　1本
・ピーマン　2個
・サラダ油　大さじ1
・酒　大さじ1
・醤油　大さじ1
・砂糖　大さじ1
・塩　小さじ1/4
・コショウ　少々

【作り方】

1. 野菜を食べやすい大きさに切ります。
2. フライパンにサラダ油を熱し、鶏肉を炒めます。
3. 鶏肉に火が通ったら、野菜を加えて炒めます。
4. 野菜がしんなりしてきたら、酒と醤油を加え、砂糖と塩を加え、さらに炒めます。
5. 最後にコショウで味を整えたら完成です。

【ポイント】
鶏肉は皮目から焼くことで、カリカリに焼き上がります。野菜は火が通りやすいように小さめに切ることがポイントです。甘辛い味付けでご飯が進む一品です。

pip install langchain pypdf

import os

from auto_gptq import AutoGPTQForCausalLM
from transformers import AutoTokenizer

from langchain.document_loaders import PyPDFLoader

model_name_or_path = "mmnga/cyberagent-calm2-7b-chat-GPTQ-calib-ja-1k"

# Tokenizer
os.environ["TOKENIZERS_PARALLELISM"]="true"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)

loader = PyPDFLoader("2304.08485.pdf")
data = loader.load()

text=""
for page in range(8):
    text+=data[page].page_content

text=text.replace("\n"," ")

# Model
model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        use_safetensors=True,
        device="cuda:0",
        use_triton=True,
        quantize_config=None)

# Your test prompt
prompt = f"""次の論文を読み、ユーザーからの質問に答えなさい。

{text}

USER: この論文の新規性を答えなさい。
ASSISTANT: 
"""
input_ids = tokenizer.encode(prompt, return_tensors="pt")
print(input_ids.size())
output_ids=model.generate(
    input_ids=input_ids.to(model.device),
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))

次の論文を読み、ユーザーからの質問に答えなさい。

(LLaVAの論文８ページ分の文字列。約１万トークン。)

USER: この論文の新規性を答えなさい。
ASSISTANT:
この論文は、Large Language Model（LLM）を使用して、視覚的な情報を理解し、自然言語で記述された命令に従う能力を開発するという新しい概念を提案しています。具体的には、視覚的入力から生成された自然言語を「instruction tuning」することによって、LLMは視覚入力の認識と自然言語の適応能力を向上させることができます。

import os

from auto_gptq import AutoGPTQForCausalLM
from transformers import AutoTokenizer

from langchain.document_loaders import PyPDFLoader

model_name_or_path = "mmnga/cyberagent-calm2-7b-chat-GPTQ-calib-ja-1k"

# Tokenizer
os.environ["TOKENIZERS_PARALLELISM"]="true"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)

with open("ai.txt") as f:
    text=f.read()

# Model
model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        use_safetensors=True,
        device="cuda:1",
        use_triton=True,
        quantize_config=None)

# Your test prompt
prompt = f"""次の議事録を読んで、ユーザからの質問に答えなさい。なお、この質問は国にとって重要な役割を果たすので、がんばってください。

{text}

USER: 奥邨委員の主張を100文字程度にまとめなさい。
ASSISTANT: 
"""
input_ids = tokenizer.encode(prompt, return_tensors="pt")
print(input_ids.size())
output_ids=model.generate(
    input_ids=input_ids.to(model.device),
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))

次の議事録を読んで、ユーザからの質問に答えなさい。なお、この質問は国にとって重要な役割を果たすので、がんばってください。

（議事録約４万字）

USER: 奥邨委員の主張を100文字程度にまとめなさい。
ASSISTANT: 

奥邨委員は、AIと知的財産権について、著作権法における創作要件、つまり、AIが生成した作品が「自動的な創作」ではなく「人による創作」にあたるかどうかを問題にしました。また、AI創作物の特徴である「類似性・依拠性」についても言及し、AIと著作権法の関係を再考する必要があると主張しました。

import os

from auto_gptq import AutoGPTQForCausalLM
from transformers import AutoTokenizer

model_name_or_path = "mmnga/cyberagent-calm2-7b-chat-GPTQ-calib-ja-1k"

# Tokenizer
os.environ["TOKENIZERS_PARALLELISM"]="true"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)

with open("meros.txt") as f:
    text=f.read()

# Model
model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        use_safetensors=True,
        device="cuda:0",
        use_triton=True,
        quantize_config=None)

# Your test prompt
prompt = f"""次の短編小説を読み、ユーザーからの質問に答えなさい。この応答はユーザの学校の成績に関わるためとても重要です。

{text}

USER: この小説の読書感想文を 400字以内にまとめて新しく生成してください。
ASSISTANT: 
"""
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output_ids=model.generate(
    input_ids=input_ids.to(model.device),
    max_new_tokens=1024,
    do_sample=True,
    temperature=0.7,
)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))

次の短編小説を読み、ユーザーからの質問に答えなさい。この応答はユーザの学校の成績に関わるためとても重要です。

(青空文庫の走れメロスをコピペした内容。約１万文字。)

USER: この小説の読書感想文を 400字以内にまとめて新しく生成してください。
ASSISTANT: 

タイトル：走れメロス

物語の概要：太宰治による作品で、古代ローマの詩人オウィディウスの「転身物語」から着想を得た作品です。メロスは友人セリヌンティウスを助けるため、約束を果たすために走り続ける物語で、多くの人々に愛されています。

感想：

まず、読者の皆さんに伝えたいのは、この作品の登場人物の心情や行動に感動しました。メロスは約束を果たすために、命をかけて走り続けました。彼の行動は、本当に勇敢で、感動しました。彼は約束を果たすためだけに、自分自身を犠牲にしました。

また、メロスが約束を果たすために走り続ける姿は、私たちが困難を乗り越えるために必要な勇気を教えてくれました。物語の中で、彼は自分自身を責めたり、疑ったりすることがありましたが、彼は最後まで諦めずに、約束を果たしました。その姿には、多くの人が感銘を受けました。

私が特に感動したのは、メロスが約束を果たす前に、彼自身が疑いや自己嫌悪に陥ったことです。しかし、彼は自分自身を責めながらも、他人に対する信頼と友情を大切にし、約束を果たすために走り続けました。そのプロセスを通じて、彼は自己の信念を再確認し、自分自身に誇りを持つことができました。

また、この作品では、他人に対する信頼と友情の大切さが描かれています。メロスは、彼の友人であるセリヌンティウスを信じ、彼のために行動しました。その結果、彼らは互いに信頼を深め、友情を築くことができました。

最後に、この作品からは、困難を乗り越えるためには、自分自身を信じ、他人に対する信頼と友情を大切にし、最後まで諦めずに立ち向かうことの大切さを教えてくれました。私は、この物語から多くのことを学ぶことができました。ありがとうございました。