【Strata】Strata v0.1.39：AMD Strix Halo Windows対応、RTX 5090の量子化不具合修正、マルチGPU最適化

この記事はAIによって編集・作成されています。

Strata v0.1.39：AMD Strix Halo Windows対応、RTX 5090の量子化不具合修正、マルチGPU最適化

Strata v0.1.39がリリースされました。Niko1221 (@coldniko) 開発のローカル推論エンジン「Strata」は、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすためのソフトウェアです。OpenAI/Anthropic 互換 API を提供し、MIT ライセンスで公開されています。

今回の更新では、AMD Ryzen AI Max+ (Strix Halo) 向け Windows サポートの追加、RTX 5090 等での量子化モデル動作不具合の修正、そしてマルチGPU環境におけるレイヤ分割の最適化が主な変更点です。

今回の要点

• AMD Strix Halo (gfx1151) の Windows 対応：Ryzen AI Max+ 搭載機での利用が可能に。Linux 向けサポートに続き、Windows 環境でも HIP 経由での推論が動作するようになりました。

• RTX 5090 等の量子化不具合修正：Unsloth UD-IQ4_XS 量子化モデルでのプロンプト読み込み失敗や、fused int8 パスでのカーネルハングが報告され、回避策や修正が行われました。

• マルチGPU最適化：複数GPUでのレイヤ分割時におけるパイプライン処理の最適化（STRATA_SPLIT_OVERLAP）や、バッチ処理の並列化が強化されています。

• CPUエキスパートの高速化：AVX2/AVX-512 対応の新しいカーネルにより、CPU上で動作するエキスパート処理の速度が向上しています。

• 旧世代GPUの最適化：Volta (Tesla V100) や Turing 世代向けに、BF16 演算の高速化や注意機構カーネルの改善が施されました。

Strata v0.1.39 リリースと主要変更点

Strata v0.1.39 では、CUDA、HIP、SYCL 各バックエンドに対する最適化と修正が統合されました。特に注目すべきは、旧世代の NVIDIA GPU 向けパフォーマンス改善と、AMD GPU 向け Windows サポートの追加です。

Volta (Tesla V100) 向け最適化

Tesla V100 (sm_70) は公式にはサポート外ですが、実験的なビルドにおいてプロンプト読み込み速度の改善が行われました。V100 は BF16 テンサーコアを持たないため、従来は CUDA コアカーネルで BF16 GEMM を実行していましたが、これを FP16 テンサーコアパスに切り替えることで高速化しています。これにより、V100 上でのプロンプト処理時間が約 10% 改善されました。また、注意機構カーネル（attention kernel）の最適化により、20K トークンのプリフィル処理における負担も軽減されています。https://github.com/Niko1221/Strata/pull/540

AMD RDNA3 (gfx1100) 向け WMMA カーネル

AMD Radeon RX 6000 シリーズ (RDNA3) 向けに、QSA ブロックスコア選択/スコアラーパスにおける WMMA カーネルが追加されました。これにより、128K コンテキストでのプリフィル処理において、約 12-14% のパフォーマンス改善が期待できます。この機能は `STRATA_SELECT_WMMA` 環境変数で有効化できます。https://github.com/Niko1221/Strata/pull/856

PageCache の修正（45倍の読み取り増幅の解消）

PLE (Page-Level Embedding) の PageCache において、行キャッシュからページキャッシュへの移行により、メモリ効率と正確性が向上しました。従来、行キャッシュは 4096 バイトのページのうち 90 バイトのみを保持していたため、ページ境界をまたぐ行のアクセス時に RAM からの再読み取りが発生し、最大 45 倍の読み取り増幅が生じていました。ページ単位でキャッシュを行うことで、この問題が解消されました。https://github.com/Niko1221/Strata/pull/855

GPU 選択コマンドの改善

新しい `--gpu LIST` オプションにより、環境変数 (`CUDA_VISIBLE_DEVICES`) を設定せずに、エンジン内部で使用する GPU を指定できるようになりました。これにより、スクリプトや設定ファイルから特定の GPU をピン留めする際の設定が簡素化されました。https://github.com/Niko1221/Strata/pull/852

AMD Strix Halo (gfx1151) Windows 対応と性能改善

Ryzen AI Max+ シリーズ (Strix Halo) 搭載機向けに、Windows 環境での Strata 利用が正式にサポートされました。これにより、統合メモリアーキテクチャを持つ AMD APU を用いた大規模言語モデルのローカル推論が、Windows ユーザーにも開放されました。

Windows 環境でのメモリ管理とビルド

Windows 環境では、APU のメモリ構成が Linux と異なるため、特別な処理が必要でした。Ryzen AI Max+ PRO 395 (Radeon 8060S, gfx1151) 搭載機では、Windows は 47.8 GB の RAM を報告し、表示レジストリは 16 GB の VRAM を、HIP は 43.8 GiB (カーブアウト + 共有 RAM) を報告します。Strata のセットアップスクリプトは、これらの値を正しく解釈し、システム RAM への追加負荷を防ぐように調整されました。https://github.com/Niko1221/Strata/pull/919

性能改善：約 230 tok/s から約 700 tok/s へ

Strix Halo (gfx1151) におけるプロンプト処理の速度が、約 230 tok/s から約 700 tok/s (16K〜250K コンテキスト) に大幅に改善されました。この改善は、RDNA3/RDNA3.5 向けに WMMA マトリックスコアを用いた注意機構カーネルと選択スコアラーカーネルが追加されたことによるものです。これらのカーネルは、`STRATA_HIP_WMMA=1` および `STRATA_SELECT_WMMA=1` 環境変数で有効化できます。https://github.com/Niko1221/Strata/pull/944

利用者の報告

利用者の報告

storm-ace 氏は、Ryzen AI Max+ PRO 395 (Radeon 8060S, 64 GB RAM, 16 GB カーブアウト) 搭載の Windows 11 機で、gfx1151 向け Windows ビルドが正常に動作し、HIP ctest をパスしたと報告しています。メモリ構成の違いを考慮したセットアップが正しく機能していることを確認しました。https://github.com/Niko1221/Strata/issues/918

Ultmate-hub 氏は、ASUS ROG Strix G15 (RX 6800M, 12 GB VRAM) 搭載機で、Windows 11 環境下において自前でビルドした HIP エンジンを用いて Strata 0.1.39 を動作させました。ただし、標準のセットアップスクリプトではカードの PCI ID (0x73DF / gfx1031) が認識されないため、`setup.py` の修正が必要でした。自前ビルドにより正常に動作していることを確認しています。https://github.com/Niko1221/Strata/issues/915

lollo78 氏は、RTX 2060 (6 GB VRAM) + 32 GB RAM 環境で Strata の起動を試みましたが、VRAM が 12 GB 未満であるため、ほとんどのエキスパートが CPU に残り、推論速度が遅くなる警告が表示されました。正常に起動はしましたが、パフォーマンスの低下が懸念されます。https://github.com/Niko1221/Strata/issues/916

Unsloth UD-IQ4_XS 量子化モデルの動作不具合修正

v0.1.39 において、RTX 5090 (sm_120) や RX 6900 XT (gfx1030) 等の環境で、特定の量子化モデルや設定を用いた際にハングや出力崩れが発生する不具合が報告されました。これらの問題は、MMQ (Multi-Mode Quantization) プロンプトパスや fuses int8 パスに関連していることが特定されています。

RTX 5090 での UD-IQ4_XS 出力崩れ

signalnine 氏は、RTX 5090 (sm_120) 上で Unsloth の UD-IQ4_XS 量子化モデルを用いた際、プロンプトが MMQ パス経由で読み込まれると、モデルが入力を「破損または断片化」と認識し、出力が乱れる現象を確認しました。特に 50 トークンを超えるプロンプトで顕著で、コードの要約が誤った種類のものになる等の問題が発生しました。この問題は、`STRATA_PREFILL_MMQ=0` 環境変数で MMQ パスを無効化することで、同じプロンプト速度で解消されました。また、同じバイナリを RTX 3090 (sm_86) で使用した場合は、MMQ を有効にしても正常に動作しました。https://github.com/Niko1221/Strata/issues/968

RTX 5090 での fuses int8 カーネルハング

Krypto-Whitehat 氏は、RTX 5090 Laptop (sm_120) 上で、`STRATA_PF_FUSED=1` (fused int8 プロンプトエキスパート) と #583 の byte-budget ring を併用した際、最初のプロンプト処理中に CUDA カーネルがハングし、`prefill mmq: iota: unknown error` エラーで終了する現象を確認しました。この問題は、byte-budget ring を無効化 (`STRATA_RING_BYTES=0`) することで解消され、ring と fused プロンプスパスの相互作用に問題があることが示唆されました。v0.1.37 ではこの問題なく動作していたため、v0.1.39 での回帰 (regression) であると報告されています。https://github.com/Niko1221/Strata/issues/954

RX 6900 XT での verify ハング

xjc10 氏は、2x RX 6900 XT (gfx1030, HIP, Linux) 環境で、約 31K トークンのプロンプト処理後、最初の verify ウィンドウでハングする現象を確認しました。この問題は、MMQ プロンプトパス、プライマリーカードの適応的エキスパートスワップ、SDMA コピーの三つが同時に発生した際に再現し、いずれかを無効化することで回避できました。プライマリーカードは 98-99% のビジー状態でしたが、ウェーブがレジデントではなく、コマンドプロセッサがウェイトで停止している状態でした。https://github.com/Niko1221/Strata/issues/884

マルチGPUレイヤ分割の並列化と最適化

複数 GPU を用いたレイヤ分割 (layer split) において、パイプライン処理とバッチ最適化が強化されました。これにより、複数 GPU を使用した場合のパフォーマンス向上が期待されます。

ステージ間のオーバーラップ (STRATA_SPLIT_OVERLAP)

2x RX 7900 XTX 環境では、レイヤ分割時にデコード速度が単一カードよりも低下する現象 (#642) が報告されていました。これは、各 verify ウィンドウ内でステージ 1 が完了した後、ホストがストリームを同期し、ステージ 2 のグラフを起動する順序に起因していました。HIP 環境では、この同期とグラフ起動が高コストであり、両方のカードがアイドル状態になる間にクリティカルパス上に位置していました。https://github.com/Niko1221/Strata/pull/936

この問題を解決するため、`STRATA_SPLIT_OVERLAP=1` オプションが追加されました。これにより、各ハンドオフバッファに ready ワードが設定され、書き込みステージのグラフ終了時に `handoff_publish` が実行され、読み取りステージが非同期でデータを受信できるようになりました。これにより、ステージ間の待機時間が削減され、パフォーマンスが改善されました。

パイプライン処理の最適化

単一会話のデコードがシリアルに行われる問題を解決するため、`--pipeline-windows 2` オプションにより、ステージ 0 がウィンドウ K+1 を開始する際に、ステージ 1 がまだウィンドウ K を検証している間に処理を並列化できるようになりました。これにより、K+1 の半分がすでに完了する状態が実現されます。また、MTP (Multi-Token Prediction) チェーンを用いた推測により、正解の場合には処理が加速し、不正解の場合には状態を復元して再実行する仕組みが導入されました。https://github.com/Niko1221/Strata/pull/859

注意機構マージと PLE リードアラウンド

2-GPU デコードにおいて、選択幅に制限された注意機構マージ (`STRATA_ATTN_MERGE_V2=1`) が追加されました。これにより、RTX 5080 上で 1 クエリあたりの処理時間が 98 µs から 21 µs に改善されました。また、PLE (Page-Level Embedding) のリードアラウンドと早期チェーンがパイプライン化され、複数 GPU 環境での処理効率が向上しました。https://github.com/Niko1221/Strata/pull/910

CPUエキスパートカーネルのAVX2/AVX-512最適化

CPU 上で動作するエキスパートカーネルの最適化が進みました。特に、AVX2 および AVX-512 対応の新しいカーネルにより、キャッシュミス時の処理速度が向上しています。

Trellis タイプの AVX2/AVX-512 カーネル

16-24 GB の VRAM を持つカードでは、すべてのエキスパートを保持できないため、キャッシュミスが発生すると CPU ワーカーで処理が行われます。Trellis タイプ (TQ2_T / TQK6 / TQK7) の場合、従来は ggml-cpu の `vec_dot` を用いてトークンごとに処理されていましたが、Strata 独自の AVX2 および AVX-512 デコード・アンド・ドットカーネルが追加されました。これにより、各 128 重みブロックが一度だけデコードされ、そのエキスパートにルーティングされるすべてのトークンで再利用されるため、処理効率が向上しました。https://github.com/Niko1221/Strata/pull/933

IQ3_S / IQ2_S の AVX2 デコード最適化

IQ3_S および IQ2_S の AVX2 多トークンカーネルにおいて、コードブックデコードの計算コストが削減されました。グリッドインデックスの参照方法が変更され、各ルックアップがシフト、マスク、OR の代わりに 16 ビットロードとグリッドロードのみで実行されるようになり、行あたりの処理時間が 1.07〜1.6 倍改善されました。演算は変更されていないため、結果はビット単位で同一です。https://github.com/Niko1221/Strata/pull/930

Gathered Grid Decode の導入

Intel P-core (Alder Lake 以降) において、gathered grid decode が有効化されました。これにより、Fmt32<118>/<121>/<122> 形式のデコードが高速化されました。また、AVX-VNNI 対応の行処理や、IQ3_S の単一トークンカーネルも追加されました。https://github.com/Niko1221/Strata/pull/863

その他の変更点

ツールコールの自動思考終了

Qwen3 系モデルが思考 (``) を出力せずにツールコール (``) に移行するケースに対応しました。`` が未閉じの思考スパンの終了を意味するようになり、クライアントがツールコールを正しく認識できるようになりました。https://github.com/Niko1221/Strata/pull/939

レイヤ分割時のバッチ処理修正

RTX 3070 と Tesla P40 を組み合わせたレイヤ分割環境で、`--batch` オプション使用時にエラーが発生する問題が報告されました。GPU の順序によって再現・非再現が分かれるため、内部の同期処理に問題がある可能性が示唆されています。https://github.com/Niko1221/Strata/issues/929

CUDA 13.2 での sm_120 互換性問題

Linux 環境で CUDA 13.2 を用いて RTX 5070 Ti (sm_120) 向けにビルドした際、すべての回答が不正になる現象が報告されました。CUDA 13.0 では正常に動作するため、CUDA 13.2 におけるコンパイル問題が疑われています。https://github.com/Niko1221/Strata/issues/892

出典

• #540 volta (sm_70) and turing (sm_75): faster prompt reading

• #856 hip: RDNA3 (gfx1100) WMMA kernel for the QSA block-score select/scorer

• #858 gfx906 compat: cudaFuncSetAttribute as a template function

• #855 Refactor PageCache to fix a 45× read amplification

• #853 cuda: specialize hyper-connection up for short verify windows

• #852 engine: --gpu selects the visible GPUs without environment variables

• #895 hip: support Radeon gfx1151 APUs

• #919 hip: Windows support for Radeon gfx1151 APUs

• #944 hip: gfx11 WMMA prompt attention and selection scorer, gfx1151 hipBLASLt table

• #918 Windows: Radeon 8060S (gfx1151) builds, selftests and passes the HIP ctest

• #916 Unable to launch Strata on RTX 2060 6GB VRAM + 32 GB RAM

• #915 Windows AMD report: RX 6800M (gfx1031, laptop) works with a self-built HIP engine

• #968 0.1.39: UD-IQ4_XS prompts read as garbage on an RTX 5090

• #884 HIP gfx1030, 2x RX 6900 XT: verify hangs after a long prompt

• #954 [BUG] 0.1.39: fused int8 prompt experts + #583 byte-budget ring → kernel hang

• #939 serve: a tool call written inside an unclosed thinking span is an implicit think end

• #929 --batch with --layer-split exits with a 3070 first and a P40 second

• #892 Linux + RTX 50 (sm_120): an engine compiled with CUDA 13.2 answers garbage

• #936 layer split: overlap the stages' hand-off

• #859 Layer split: pipelined verify windows for one conversation

• #910 Two-GPU decode: bounded attention merge and pipelined PLE read-ahead

• #904 Verify window: PDL on sm_90+, graph branches, batched Q4_0 KV append

• #905 Pipelined windows + async adaptive tier together

• #950 prefill: opt-in pointer-list bypass for gate/up gather

• #949 cpu: allow configuring expert-pool tasks per phase

• #933 CPU trellis kernels (AVX2 / AVX-512) for TQ2_T / TQK6 / TQK7 expert-cache misses

• #930 cpu: IQ3_S / IQ2_S AVX2 decode without the per-index shift/mask/or

• #863 cpu kernels: gathered decode on the cores where it is faster, AVX-VNNI rows

• #851 cpu experts: an AVX2 Q8_K activation quantizer

• #903 prefill: a prompt reads in equal chunks; a short streaming tail stays

利用者の報告

• RTX 4090 (Ubuntu, Xeon) 環境で Qwen3.8-Flash-Next IQ2_XS を実行した結果、ゲーム生成は実行されたものの物理演算やゲーム性が貧弱で拒否された。 darkerow

• 2× RTX 3060 (Q2_0/IQ3_S) 環境でベンチマークを実施し、Q2_0は単一実行、IQ3_Sは3回実行の中央値と範囲を報告した。 zimuhuan-code

• RTX 5070 Ti (Windows) 環境で Qwen3.8-Flash-Next IQ3_S を実行したところ、Strataのキャリブレーション値は約14 tok/s、制御されたテストでは9-10 tok/sと予想より低い結果となった。 annD-annD

• RTX 5070 Ti (Windows) 環境でGPU負荷は高いものの電力が60W未満に抑えられている現象について、PCIe Gen5やOS/BIOSレベルの省電力設定が要因である可能性を指摘した。 dandandelion