メインコンテンツへスキップ

DeepSpeed Chat by Docker

    Hodaka

    導入手順

    1. Ubuntu 18.04または20.04をインストールします。

    2. NVIDIA GPUドライバをインストールします。

    3. NVIDIA Dockerをインストールします。

    4. Dockerイメージをビルドします。

    5. Dockerコンテナを起動します。

    以下に、各手順の詳細を説明する。

    1. Ubuntu 18.04または20.04をインストールする

      • Ubuntu 18.04または20.04のISOファイルをダウンロードし、USBドライブに書き込みます。

      • USBドライブから起動し、Ubuntuをインストールします。

    2. NVIDIA GPUドライバをインストールする

      • NVIDIAのWebサイトから、NVIDIA GPUドライバの最新バージョンをダウンロードします。

      • ダウンロードしたファイルを実行し、NVIDIA GPUドライバをインストールします。

    3. NVIDIA Dockerをインストールする

      • NVIDIA DockerのGitHubリポジトリから、NVIDIA Dockerの最新バージョンをダウンロードします。

      • ダウンロードしたファイルを実行し、NVIDIA Dockerをインストールします。

    4. Dockerイメージをビルドする

      • DeepSpeed ChatのDockerfileが含まれるGitHubリポジトリから、Dockerfileをダウンロードします。コマンドライン、

      • docker build -t deepspeed-chat .

    5. Dockerコンテナを起動する。

      • docker run --gpus all --rm -it deepspeed-chat

    DeepSpeedChat対応モデル

    2023.4.16 時点のDeepSpeedChat対応モデル。

    1. facebook-opt

    2. bloom

    3. gpt_neox

    4. gpt2

    5. codegen

    現時点での今後の強化項目

    1. LLaMA モデル対応

    2. ZeRO-offload対応

    3. DeepSpeed-RLHFの汎用化とRLalgorithm関連強化

    4. 自動システム最適化

    感想

    Installで何度も躓き、動くまでにかなりの根気が必要だった。つまずいた点をいくつか下記に示す。

    1. Dockerfile 指定のubuntuが18であり、様々なライブライが未対応。結局、ubuntu20.04LTSに置き換えた。

    2. python module not found が出たものについては、Dockerfileにpip install xxを追加。packages等

    3. proxy 設定と ssl certificate 対応。Firewall配下だと仕方ない。

    4. git-lfsが必要で、apt でインストール。repository のDockefileに追加。

    5. 対応モデルが少なく、手元にあったモデルは未対応だった。小さめのopt-125mで動作確認。

    動作確認をopt-125mで実施した。How are you? 程度ならI'm fine. と答えてくれるが、それ以上は難しい。もう少し大きめのモデルを使わないと厳しい。

    最後に

    お試しマシンのGPUが古く、速度的な評価はできないが、OPT125Mであれば、ほぼ問題ない時間で返事が返ってくる。雰囲気的には、出力が始まるのは1秒未満。モデルサイズとGPUにより反応速度が変わるため、OPT66B +DGX/H100x8辺りで試してみたい。簡単には借りられないが。

    以上

    あなたへのおすすめ