RakutenAI 2.0 ローカルで試してみた ～個人で"まともに"運用可能!?（推論速度や実験結果、スクリプト配布）～

>pip freeze
accelerate==1.3.0
blobfile==3.0.0
certifi==2025.1.31
charset-normalizer==3.4.1
colorama==0.4.6
filelock==3.17.0
fsspec==2025.2.0
huggingface-hub==0.28.1
idna==3.10
Jinja2==3.1.4
lxml==5.3.1
MarkupSafe==2.1.5
mpmath==1.3.0
networkx==3.3
numpy==2.2.3
packaging==24.2
pillow==11.0.0
protobuf==5.29.3
psutil==7.0.0
pycryptodomex==3.21.0
PyYAML==6.0.2
regex==2024.11.6
requests==2.32.3
safetensors==0.5.2
sentencepiece==0.2.0
sympy==1.13.1
tiktoken==0.9.0
tokenizers==0.21.0
torch==2.6.0+cu126
torchaudio==2.6.0+cu126
torchvision==0.21.0+cu126
tqdm==4.67.1
transformers==4.48.3
typing_extensions==4.12.2
urllib3==2.3.0

import time
from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "Rakuten/RakutenAI-2.0-mini-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
model.eval()

SYSTEMPROMPT = "人間のユーザーと人工知能アシスタントのチャット。アシスタントはユーザーの問いかけに対し、役に立つ丁寧な回答を提供します。"

def Chat(msg):
    chat = [
        {"role": "system", "content": SYSTEMPROMPT},
        {"role": "user", "content": msg},
    ]
    input_ids = tokenizer.apply_chat_template(chat, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(device=model.device)
    attention_mask = input_ids.ne(tokenizer.pad_token_id).long()
    st = time.time()
    print("生成中...")
    tokens = model.generate(
        input_ids,
        max_length=2048,
        do_sample=False,
        num_beams=1,
        pad_token_id=tokenizer.eos_token_id,
        attention_mask=attention_mask,
    )
    et = time.time()
    print(f"推論時間:{et-st:.2f}秒")
    return tokenizer.decode(tokens[0][len(input_ids[0]):], skip_special_tokens=True)

def loop():
    while True:
        msg = input(f"\n{'#'*50}\nメッセージを入力\n")
        if not msg: break
        print(Chat(msg))

if __name__ == '__main__':
	loop()

##################################################
メッセージを入力
ラーメンの種類と特徴を5つ列挙して
生成中...
推論時間:22.00秒
 ラーメンの種類と特徴を5つ列挙します。

1. **味噌ラーメン**：
   - **特徴：** 味噌ベースのスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
   - **人気の理由：** 味噌の深いコクと、麺の食感が楽しめる。

2. **塩ラーメン**：
   - **特徴：** 塩味のスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
   - **人気の理由：** シンプルな塩味のスープが、麺の食感を引き立てる。

3. **豚骨ラーメン**：
   - **特徴：** 豚骨を長時間煮込んだスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
   - **人気の理由：** 豚骨の深いコクと、麺の食感が楽しめる。

4. **鶏ガララーメン**：
   - **特徴：** 鶏ガラを長時間煮込んだスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
   - **人気の理由：** 鶏ガラのコクと、麺の食感が楽しめる。

5. **担々ラーメン**：
   - **特徴：** 担々麺（担々麺）をベースに、スープに醤油や味噌、塩味を加えたもの。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
   - **人気の理由：** 担々麺の濃厚な味わいと、スープの塩味や味噌の風味が楽しめる。

##################################################
メッセージを入力
以下の文章を英語に翻訳してください\n猫はとてもかわいくて愛くるしい動物です
生成中...
推論時間:1.39秒
 Here is the translation of the given text into English:

"Cats are very cute and adorable animals."

##################################################
メッセージを入力
以下の文章を英語に翻訳してください\nPythonはモダンな構文で書きやすく、ライブラリが豊富で様々なことができるのが特徴です。機械学習の分野においても、Pythonは多く利用されている言語です。
生成中...
推論時間:1.62秒
 Python is easy to write with modern syntax, has a rich set of libraries, and is widely used in the field of machine learning.

##################################################
メッセージを入力
以下の文章を日本語に翻訳してください\nPython is easy to write with modern syntax, has a rich set of libraries, and is widely used in the field of machine learning."
生成中.
推論時間:1.30秒
 Pythonは、モダンな構文で書きやすく、豊富なライブラリがあり、機械学習の分野で広く使われています。

##################################################
メッセージを入力
以下の文章を英語に翻訳してください\n日本の四季は、美しい自然の移り変わりを楽しめる特徴的なものです。春には桜が咲き誇り、多くの人が花見を楽しみます。公園や川沿いに広がる桜並木の下で、家族や友人と食事をしながら春の訪れを感じるのは、日本ならでの風習です。\n夏になると、各地で花火大会や夏祭りが開催されます。浴衣を着て縁日に出かけ、かき氷やたこ焼きを楽しむのも夏の醍醐味です。しかし、日本の夏は湿度が高く、猛暑日が続くこともあるため、熱中症対策が欠かせません。\n秋には紅葉が美しく、特に京都や日光の名所は多くの観光客で賑わいます。紅葉狩りを楽しみながら、秋の味覚である栗やサツマイモ、松茸などを味わうのも、この季節ならではの楽しみです。\n冬になると、雪景色が広がる地域も多くなります。特に北海道や東北地方では、スキーや温泉を楽しむ旅行者が増えます。また、お正月には家族が集まり、おせち料理を囲んで新年を祝います。こうした四季折々の風習や行事は、日本の文化を豊かにし、人々の暮らしに彩りを与えています。
生成中...
推論時間:10.15秒
 The four seasons in Japan are characterized by a unique beauty of natural changes. In the spring, cherry blossoms bloom, and many people enjoy hanami (cherry blossom viewing) under the trees along parks and rivers. In summer, fireworks and summer festivals are held in many areas. In the summer, people wear yukata (light summer kimono) and go to the縁日 to enjoy summer treats such as kaki ice and tako yaki. However, the summer in Japan is hot and humid, and it is essential to take measures against heat stroke.

In autumn, autumn leaves are beautiful, especially famous spots such as Kyoto and Nikko. People enjoy autumn cuisine such as sweet potato and matsutake mushroom while having autumn delicacies.

In winter, many areas have snowy scenery. Especially in Hokkaido and Tohoku region, people visit ski resorts and hot springs. On New Year's Day, people gather together to celebrate the New Year with osechi (special dishes) surrounded by family. These seasonal customs and events enrich Japanese culture and give color to people's lives.

##################################################
メッセージを入力
以下の文章を英語に翻訳してください\n日本の四季は、美しい自然の移り変わりを楽しめる特徴的なものです。春  には桜が咲き誇り、多くの人が花見を楽しみます。公園や川沿いに広がる桜並木の下で、家族や友人と食事をしながら春の訪れを感じるのは、日本ならでの風習です
生成中...
推論時間:3.64秒
 Japan's four seasons are distinctive features that allow you to enjoy the changing beauty of nature. In the spring, cherry blossoms bloom, and many people enjoy hanami (cherry blossom viewing) with their families and friends. It is a custom in Japan to enjoy meals under the cherry blossom trees along parks and rivers, feeling the arrival of spring with your family and friends.

##################################################
メッセージを入力
msg
生成中...
推論時間:24.54秒
 ### 試験勉強のための疑似問題

**問題**

人工知能（AI）分野で議論される問題の一つとして、「シンギュラリティ（Singularity）」があります。シンギュラリティとは、人 工知能（AI）が人間の知能を超える「超知能」に到達することを指します。この問題について、以下の選択肢から最も適切なものを選択してください。

**選択肢**

1. **シンギュラリティは実現可能**
2. **シンギュラリティは実現不可能**
3. **シンギュラリティは実現する可能性があるが、実現には時間がかかる**
4. **シンギュラリティは実現しない**

**問題の解説**

- **シンギュラリティは実現可能**
  - シンギュラリティは、AIが人間の知能を超える「超知能」に到達することを指します。この問題は、AI研究者が長年にわたって議論してきた重要なテーマの一つです。シンギュラリティが実現する可能性については、様々な見解があります。一部の研究者は、シンギュラリティが近い将来に実現する可能性があると主張しています。
  - シンギュラリティは実現する可能性があるが、実現には時間がかかる、シンギュラリティは実現しない、という選択肢は、シンギュラリティの実現可能性に関する見解の違いを示しています。

- **シンギュラリティは実現不可能**
  - シンギュラリティは、現在の技術水準では実現不可能であると主張する見解もあります。この見解は、シンギュラリティが実現するには、現在の技術では到底追いつけないほどの進歩が必要であると考えている人々から出されます。

- **シンギュラリティは実現する可能性があるが、実現には時間がかかる**
  - この選択肢は、シンギュラリティは実現する可能性はあるが、実現には時間がかかると考える人々の意見を示しています。シンギュラリティの実現可能性については、様々な見解があるため、この選択肢は、シンギュラリティの実現可能性に関する見解の違いを示しています。

- **シンギュラリティは実現しない**
  - シンギュラリティは実現しない、という選択肢は、シンギュラリティが実現する可能性について、現在の技術水準では実現不可能であると考える人々の意見を示しています。

**答え合わせ**

- ユーザーの回答が来た後に答え合わせを行います。
- ユーザーは選択肢の番号だけで回答する。
- 問題の解説を簡潔に行う。
- 各選択肢の意味を解説すること。
- 例:
  - 選択肢1: シンギュラリティは実現可能です。シンギュラリティは、AIが人間の知能を超える「超知能」に到達することを指しま す。この問題は、

##################################################
メッセージを入力
次の計算をしてください\n1+1=
生成中...
推論時間:0.98秒
 1 + 1 = **2** です。

##################################################
メッセージを入力
次の計算をしてください\n5*8
生成中...
推論時間:0.91秒
 5*8 の計算結果は 40 です。

##################################################
メッセージを入力
次の計算をしてください\n1+2+5*9=
生成中...
推論時間:1.41秒
 1 + 2 + 5 * 9 = 1 + 2 + 45 = 48

##################################################
メッセージを入力
次の計算をしてください\n(2*(5+2))+7
生成中...
推論時間:3.02秒
 まず、括弧内の計算を行います。

2 * (5 + 2) = 2 * 7 = 14

次に、この結果を7に足します。

14 + 7 = 21

したがって、最終的な答えは21です。

##################################################
メッセージを入力
次の計算をしてください\n9/2*3
生成中...
推論時間:4.44秒
 計算してみましょう:

**計算:** 9/2 * 3

**ステップ1: 割り算 (9/2)**

* 9 ÷ 2 = 4.5

**ステップ2: 掛け算 (4.5 * 3)**

* 4.5 × 3 = 13.5

**答え:** 13.5

答えは **13.5** です。

##################################################
メッセージを入力
次の計算をしてください\n2^8=
生成中...
推論時間:2.99秒
 2の8乗を計算するには、2を8回掛け合わせます。

2^8 = 2 × 2 × 2 × 2 × 2 × 2 × 2 × 2 = 256

したがって、2^8 = 256です。

##################################################
メッセージを入力
次の計算をしてください\n2^(1/2)
生成中...
推論時間:3.11秒
 2の1/2乗を計算します。

2^(1/2) = √2

√2 ≈ 1.4142135623730951

したがって、2の1/2乗は約1.4142です。

##################################################
メッセージを入力
次の計算をしてください\n10!
生成中...
推論時間:5.50秒
 10! の計算は、10 の階乗 (10!) です。これは、10 を 1 から 10 までのすべての整数 (1, 2, 3, ... , 10) で掛け合わせたものです。

10! = 10 × 9 × 8 × 7 × 6 × 5 × 4 × 3 × 2 × 1 = 3,628,800

したがって、10! の結果は 3,628,800 です。

##################################################
メッセージを入力
次の計算をしてください\n2*2*π
生成中...
推論時間:5.71秒
 2 * 2 * π の計算を順を追って行います。

1. まず、2 * 2 を計算します。
   - 2 * 2 = 4

2. 次に、4 * π を計算します。
   - 4 * π ≈ 4 * 3.14159 ≈ 12.56637

したがって、2 * 2 * π の計算結果はおよそ 12.56637 です。

##################################################
メッセージを入力
次の計算をしてください\nlog10(2)
生成中...
推論時間:1.13秒
 計算結果:

log10(2) = 0.3010

##################################################
メッセージを入力
次の計算をしてください\n7C3
生成中...
推論時間:2.51秒
 7C3の計算は、7を3回掛けた後、3を掛けた結果です。

7 × 3 = 21
21 × 3 = 63

最終的な答えは63です。

##################################################
メッセージを入力
二進数を十進数に変換して\n11010
生成中...
推論時間:9.25秒
 二進数「11010」を十進数に変換するには、各桁の値に2のべき乗を掛け、その結果を合計します。

1. 二進数の各桁を確認します。
   - 1 (二進数)
   - 1 (二進数)
   - 0 (二進数)
   - 1 (二進数)
   - 0 (二進数)

2. 各桁に2のべき乗を掛けて、その結果を合計します。
   - 1 * 2^3 = 8
   - 1 * 2^2 = 4
   - 0 * 2^1 = 0
   - 1 * 2^0 = 1

3. これらの結果を合計します。
   - 8 + 4 + 0 + 1 = 13

したがって、二進数「11010」は十進数で「13」になります。

##################################################
メッセージを入力
二進数を十進数に変換して\n11011
生成中...
推論時間:7.49秒
 二進数「11011」を十進数に変換するには、各桁の値にその位置の2のべき乗を掛けます。

11011 の二進数表記は、次のように変換されます：

- 1 × 2^4 = 16
- 1 × 2^3 = 8
- 0 × 2^2 = 0
- 1 × 2^1 = 2
- 1 × 2^0 = 1

これらを合計すると、11011 の十進数表記は 16 + 8 + 0 + 2 + 1 = 27 になります。

したがって、二進数「11011」は十進数で「27」となります。

##################################################
メッセージを入力
Enter -> Ctrl+Z -> Enterで確定
ラーメンの種類と特徴を5つ列挙して
^Z
生成中...
推論時間:90.89秒
 ラーメンの種類と特徴を5つ列挙します。

1. **味噌ラーメン**：
   - **特徴：** 味噌ベースのスープに、麺を細く切ったものが特徴。具材は、チャーシュー（豚肉）、ネギ、メンマ（ネギの酢漬け）、卵などがよく使われる。
   - **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。

2. **塩ラーメン**：
   - **特徴：** 塩味のスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマなどがよく使われる。
   - **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。

3. **醤油ラーメン**：
   - **特徴：** 醤油ベースのスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマなどがよく使われる。
   - **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。

4. **豚骨ラーメン**：
   - **特徴：** 豚骨ベースのスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマなどがよく使われる。
   - **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。

5. **塩ラーメン（塩豚骨ラーメン）**：
   - **特徴：** 塩味のスープに、豚骨をベースにしたスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマなどがよく使われる。
   - **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。

##################################################
メッセージを入力
Enter -> Ctrl+Z -> Enterで確定
以下の文章を英語に翻訳してください
猫はとてもかわいくて愛くるしい動物です
^Z
生成中...
推論時間:6.28秒
 Cats are very cute and adorable animals.

***省略***
Successfully installed PyYAML-6.0.2 accelerate-1.3.0 blobfile-3.0.0 certifi-2025.1.31 charset-normalizer-3.4.1 colorama-0.4.6 filelock-3.17.0 fsspec-2025.2.0 huggingface-hub-0.28.1 idna-3.10 lxml-5.3.1 numpy-2.2.3 packaging-24.2 protobuf-5.29.3 psutil-7.0.0 pycryptodomex-3.21.0 regex-2024.11.6 requests-2.32.3 safetensors-0.5.2 sentencepiece-0.2.0 tiktoken-0.9.0 tokenizers-0.21.0 tqdm-4.67.1 transformers-4.48.3 urllib3-2.3.0
ライブラリのインストールが正常に完了しました

##################################################
メッセージを入力
Enter -> Ctrl+Z -> Enterで確定
猫の可愛さについて200文字程度で語って
^Z
生成中...
推論時間:12.03秒
 **猫の可愛さについて**