GPT-3.5 を超えると噂のモデル blue-lizard を Ollama x Enchanted で動かす

2024年2月16日 00:59

tl;dr

Ollama かわいい
Enchanted かわいい
blue-lizard つよい
チュートリアル形式でまとめたので、良かったら動かしてみてね

登場人物ひとことまとめ

Ollama
- オープンソースのローカル LLM をインストール、実行するコマンドラインツール
Enchanted
- Ollama に対応したローカル LLM を実行できる Apple デバイス用の GUI アプリケーション
blue-lizard
- Llama 2 7B に追加事前学習＆ファインチューニングしたベンチマークで好成績をおさめた Deepreneur さんのつよそうなモデル

仲間あつめ

# Ollama のインストール（これが一番簡単）
brew install ollama

blue-lizard を動かしてみよう！

まずは Terminal を開いてみましょう。Terminal がパッとしなくて眠れない夜をお過ごしの皆様。Aracritty がおすすめです。それでは本題に戻ります。

# blue-lizard の量子化版（Q5 K_M）をダウンロード（数分から数十分かかります）
wget https://huggingface.co/mmnga/Deepreneur-blue-lizard-gguf/resolve/main/Deepreneur-blue-lizard-q5_K_M.gguf

# Modelfile を作って保存
cat <<EOF >./Modelfile
FROM ./Deepreneur-blue-lizard-q5_K_M.gguf
TEMPLATE "[INST] <<SYS>>あなたは誠実で優秀な日本人のアシスタントです。<</SYS>> {{ .Prompt }} [/INST]"
EOF

上記はコマンド一発で実行していますが、もし失敗するようであれば Modelfile という名前のファイルを作成し、下記の内容を書き込んで保存してください。

FROM ./Deepreneur-blue-lizard-q5_K_M.gguf
TEMPLATE "[INST] <<SYS>>あなたは誠実で優秀な日本人のアシスタントです。<</SYS>> {{ .Prompt }} [/INST]"

では、Ollama フレンドリーなモデルに変換をしましょう。

# GGUF から Ollama 形式のモデルに変換（15 秒くらいで完了）
ollama create blue-lizard-7b -f Modelfile

これで Ollama に blue-lizard が登録されました。

# Ollama を起こしてあげましょう
ollama serve

もし「Error: listen tcp 127.0.0.1:11434: bind: address already in use」とエラーが出たら安心してください。既に起きています。

Enchanted を開きましょう。かわいいですね。

左下に Settings というボタンがありますのでポチッと押します。

上記の画像のように、Ollama server URI に下記のローカルホストの URI を入力しましょう。11434 は Ollama のデフォルトのポート番号です。

127.0.0.1:11434

Save をポチッと押してから、中央下部の Message にお好きなプロンプトを入力しましょう。何を聞いていいかわからなくて途方に暮れてしまった時は「核融合発電について教えてください。」と聞いてみましょう。華麗なハルシネーションを拝むことができます。

おまけ

メインシナリオはここまで。読んでいただきありがとうございます。サブシナリオに興味のある方は最後までお付き合いいただけると。

Mac があれば、iPhone でも Ollama x Enchanted を動かせます。

さらなる仲間あつめ

先ほどのダウンロードリンクと同じ URL ですが、iPhone から上記のリンクを開いて、アプリをインストールしてください。あるいは App Store にて「Enchanted」と検索して、アプリをインストールしてください。

# ngrok はローカルサーバを公開できる優れもの
brew install ngrok

iPhone でも動かしてみよう！

最初は Mac での操作になります。

上記リンクから Authtoken をゲットしましょう。もしアカウントを持っていなければ作成してください。フリープランでも十分遊べます。下記のように Authtoken を設定してください。

ngrok config add-authtoken XXXXXXXXXX

# Ollama のポートを ngrok で公開
ngrok http 11434

# 上記の実行結果（止める時は Ctrl + C を押してね）
ngrok                                                                                                         (Ctrl+C to quit)

Take our ngrok in production survey! https://forms.gle/aXiBFWzEA36DudFn6

Session Status                online
Account                       username (Plan: Free)
Version                       3.6.0
Region                        Japan (jp)
Latency                       -
Web Interface                 http://127.0.0.1:4040
Forwarding                    https://XXXX-XXX-XXX-XXX-XXX.ngrok-free.app -> http://localhost:11434

上記のように表示されたら成功。Forwarding の左側に記載されている URL をコピーしてください。

iPhone に操作を移します。Enchanted を開きましょう。かわいいですね。

左上のハンバーガーメニュー（≡）をポチッと押して、Settings を開きましょう。Mac と同じような画面が現れますが、こちらの URL 入力欄に ngrok の URL（たとえば https://XXXX-XXX-XXX-XXX-XXX.ngrok-free.ap）を貼り付けましょう。Save を押してプロンプトを入力してみましょう。

以上です。読んでいただき、ありがとうございました。