Google Colab で Stockmark-13B を試す
「Google Colab」で「Stockmark-13B」を試したので、まとめました。
1. Stockmark-13B
「Stockmark-13B」は、「Stockmark」が開発した「Llama2」ベースの日本語LLMです。ビジネスのドメインや最新情報にも対応しています。
2. Stockmark-13B のモデル
「Stockmark-13B」は、現在1つのモデルが提供されています。
・stockmark/stockmark-13b : ベースモデル
3. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。
(2) パッケージのインストール。
# パッケージのインストール
!pip install transformers accelerate bitsandbytes(2) トークナイザーとモデルの準備。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
# トークナイザーとモデルの読み込み
tokenizer = AutoTokenizer.from_pretrained(
"stockmark/stockmark-13b"
)
model = AutoModelForCausalLM.from_pretrained(
"stockmark/stockmark-13b",
device_map={"": 0},
load_in_8bit=True
)(3) 推論の実行。
ベースモデルなので、プロンプトの続きの文章を書くように促します。
# プロンプトの準備
prompt = "ぼっち・ざ・ろっく！とは"
# 推論の実行
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
tokens = model.generate(
**inputs,
max_new_tokens=128,
do_sample=True,
temperature=0.3
)
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)ぼっち・ざ・ろっく!とは、はまじあきによる漫画作品である。 pixivで「ぼっち・ざ・ろっく!」のイラストを見る pixivで「ぼっち・ざ・ろっく!」の小説を読む pixivで「ぼっち・ざ・ろっく!」のイラストを投稿する pixivで「ぼっち・ざ・ろっく!」の小説を投稿する 「ぼっちちゃん」こと後藤ひとりは、ギターを愛する孤独な少女。 家で一人寂しく弾くだけの毎日だったが、ひょんなことから伊地知虹夏が率いる「結束バンド」に加入することに。 人前での演奏に不慣れな後藤は、立派なバンドマン
