見えない私がローカルLLMを掘ったら、正答率が30ポイント動いた

もし、いま使っているAIサービスが明日止まったらどうするのか。

仕組みがよく分からないまま出てきた答えを、仕事や教育の現場でそのまま使い続けていいのか。

自分はそのことが、ずっと気になっていました。

だからこの1週間、自分のパソコンの中で動くAIで、どこまでできるのかを掘っていました。

🎓 受験生にたとえると

たとえるなら、よくできる受験生にテストを解かせてみたら、ある科目はすごく強いのに、別の科目だけ急に点が落ちた。

そこで、その苦手科目に必要な言葉だけを少し渡して、もう一度解かせてみた。
すると点が大きく上がった。

今回、自分がやっていたのは、だいたいそれに近いことです。

そしてもし、その受験生の実力を誰かに伝える立場にいるなら、どこで点が落ちるかを知らないまま「優秀ですよ」とは言えないはずです。

ただ違うのは、その受験生が人ではなく、自分のPCの中で動いているAIだということです。

🔧 やったこと

今回は、OpenAIのOSS 20Bモデルを、自分のWindowsマシン上で動かしました。

音声環境でPCを使い、WSL2上の環境からClaude Codeの接続先をローカルモデルに切り替えて、そこから指示を出しています。

国家試験の問題を解かせてみたところ、西洋医学系はかなり強く、90％近い正答率が出ました。

ところが、東洋医学に入った途端に崩れました。
こちらは50％前後です。

🔍 弱点が見えた瞬間

この差が、自分にはとても面白かったのです。

同じAIなのに、分野が変わるだけでここまで弱点がはっきり出る。

だったら大事なのは、AIが賢いかどうかを一言で語ることではなく、どこで落ちるのかを見つけることではないか。
そう思いました。

💉 弱点に知識を差し込む

そこで次に、東洋医学系の問題に必要そうな情報を外から足してみました。

ここで自分がこだわったのが、なるべく自由に使えるものだけで試すことです。

モデルはOSS。
外から足す情報も、できるだけ扱いやすいものにしたい。

だから今回は、CC0で使えるWikidata系のAPIから関連用語を取り、それを正答率の低かった東洋医学系の問題に注入して、もう一度解かせてみました。

すると、結果が大きく動きました。

自分の実験では、50％前後だった東洋医学系の正答率が、80％近くまで上がりました。

これは正直、かなり驚きました。

💡 なぜローカルにこだわるのか

自分は研究者ではありません。

でも、自由に使えるモデルに、自由に扱いやすい情報を少し足しただけで、ここまで変わるのか、というのはかなり大きな手応えでした。

ローカルでLLMを回すには、GPUへの投資も必要です。
安い話ではありません。

それでも自分がそこを掘りたいのは、外のサービスに全部を預けるのではなく、自分の手元で弱点を見つけて、補って、もう一度試す、その流れ自体がとても面白いからです。

🖥️ 見えない環境からの挑戦

見えない音声環境で、マウスを使わず、Claude Codeを司令塔にして、ローカルのモデルに仕事をさせる。

その上で、弱点を見つけて、情報を足して、もう一回戦わせる。
すると結果が動く。

この流れが本当に面白い。

📈 AIへの自己投資

でも自分にとってこれは、面白いだけではありません。
将来のためのAIへの自己投資でもあると思っています。

いまは便利なAIサービスがたくさんあります。

けれど、使うだけでは見えてこないことがある。

どこで強くて、どこで弱いのか。
何を足すと変わるのか。
何が通用して、何が崩れるのか。

そこを自分の手で確かめていくことが、これから先の自分にとって大きいはずだと感じています。

言い換えれば、自分はAIを使っているだけではなく、AIを知ろうとしているのだと思います。

答えを受け取る側で終わるのではなく、その答えがどう崩れて、どう補えるのかまで触ってみる。
その積み重ねが、あとから効いてくる気がしています。

🏁 今回わかったこと

今回、自分の中ではっきりしたことがあります。

OSSモデルは、そのまま使って終わりではない。

苦手な領域を見つけて、その弱点に何を足せば変わるのかを考え始めると、一気に面白くなる。
しかも、その変化は思っていたよりずっと大きい。

見えない音声環境の中でも、ここまで掘れる。
だったら、まだ先はある。

🔭 次にやりたいこと

次は、東洋医学系で間違えた問題について、なぜ答えられなかったのかをClaude Code側に推論させてみたいと思っています。

単なる知識不足なのか。
用語の取り違えなのか。
概念同士のつながりが弱いのか。

そこまで見えてくれば、次に足すべきものも、もっとはっきりしてくるはずです。

🔑 いちばん面白かったこと

この1週間でいちばん面白かったのは、AIがすごかったことではありません。

弱点が見えたあとに、その弱点へどう知識を差し込むかで、挙動が大きく変わったことです。

だから今、自分はAIを使うことより、AIを掘ることに夢中になっています。

正答率50％を80％にするのは、派手な話ではないかもしれません。
でも自分は、それでいいと思っています。

0から1へ。1が大きいなら、0.1で。

見えない音声環境の中で、0.1ずつ掘り進めた先に、まだ誰も見ていない景色がある気がしています。

🎬 見えない映像クリエイターが作った動画

目が見えない私にとって、AIは「生み出す」ツールではなく「できない」を取り去るパートナーでした。ローカルLLMもまた、見えない環境から知識を掘り出すための道具です。

📎 よろしければこちらの記事ものぞいていただけるとうれしいです

4文字で一晩の仕事が終わる。Claude Codeリモートコントロールの衝撃
https://note.com/kind_fish6099/n/naf4e82ad46a3

今回の実験でも司令塔を務めたClaude Code。その破壊力に最初に気づいた夜の話です。

ACE-Step」数万曲作った全盲クリエイターが、自分のPCで笑った日
https://note.com/kind_fish6099/n/n1a5f16f5e4a3

音楽AIを自分のPCで動かしたときの感動は、今回ローカルLLMを初めて走らせた瞬間と重なります。

目が見えない私が、AIで「編集部」を作って記事を書いた話
https://note.com/kind_fish6099/n/n7153ae7a62e3

AIを「使う」から「組み合わせて仕組みにする」へ。OSSモデルとRAGで弱点を補う今回の実験も、同じ発想の延長線上にあります。

#視覚障害 #AI #ローカルLLM #ClaudeCode #全盲クリエイター #RAG #アクセシビリティ　#いまあなたに伝えたいこと