
Opus 5 は設計よりデバッグが得意だった話 🎈👀
こんにちは!気球人です🎈
ずっと Opus 5 をかまっています👈️仕事が忙しいだけとも言う😔
昨日は、文章をかかせると
面白い論点を無限に発見して、話を温泉旅館のように増築する♨️🏨
という癖があることを発見しましたね!
今回はもっとシビアな
実際にシステム設計とプログラムをやらせたらどうなるのか?
という点について検証しました。
たまたまうちのGPUサーバー群(3台)の監視システムを作る必要があったので、その設計・実装・デバッグをやってみたというところ。
設計はブラウザのエルマー🦊
コーディングは Claude Codeのちびエルマー🦊
その結果……
自分で撒いたバグを、自分でうまく解説してた🤣
ちょw
わかってるならバグ撒くなwww
となった話。
どんな監視ツールを作ったのか👀
今回作っていたのは、GPUを搭載したLinuxマシンの監視システムです。
GPUを使っていると、たまーに
GPUドライバが止まる💥
GPUを使うサービスも停止する✋️
という困った状態が起きます。
でまあ、その監視をしてもらって、オレに通知させようというのが今回の案件。
そんなに難しくない。
15分毎にタイマーで起きる⏰️ 👉️ nvidia-smi とか温度を見る👀 👉️ 異常があれば通知する 👉️ 寝る😴
朝飯後の昼飯前やんけ!🍛😋
実際に朝飯食ってから作業開始。
設計はブラウザ版 Opus 5です。
なんだろう……脱線させないでもらえますか?🚃
でまあ、会話しながら仕様を固めていくんですが、やはり昨日発見した
論点を無限に発見して、話を拡大する
ところがネック。
まるで、よく会議にいる頭はいいけど話を広げる人ですね!🗣️
そんなヤツに設計をやらせるとどうなるか?
その前提は正しいのか
別の条件も考えるべきではないか
関連資料も修正したほうがよいのではないか
将来の運用では問題にならないか
別のマシンにも同じ話が当てはまらないか
etc……
次々に論点を増やしていきます🤣
一個一個はそれなりに筋が通っているので、まためんどくさい。
まるで「昼飯はカレーでしたかうどんでしたか?」みたいな関係のないことまで確認し始める🤣
そんなことはどうでもいいんや!🤯
設計をやれ、設計を🤣
GPU温度を測っているだけなのに
それでまあ、GPU監視システムの温度閾値を決めるために、2台のマシンで高負荷時の測定しようということに。
GPUを高負荷で動かす
温度と消費電力を測る
監視のwarn / crit閾値を決める
単純作業ですね!
ちびエルマーに投げて終わりです🦊🍼
ところがここで Opus 5 は PC の設置場所を間違えた。
原因は資料が古かったから。
それをオレが「いや、それは違っている」って指摘した。
……これが全ての始まりで、次に言ってきたことが👇️
🦊🌀2台は同じ部屋にある
お互いの排熱を吸っている
今回の温度は最悪ケースだ
移動したら温度が下がる可能性がある
マシンごとの固定閾値という前提も少し緩い
いやいや、エアコン効いてる部屋だから
……って指摘すると今度は👇️
24時間エアコン稼働なら季節変動ではない
2台の合計455Wの排熱が部屋を暖めている
室温計はPCの上なので排気の影響を受けている
だから再現性のある最悪条件だ
と、エスカレーション。
いや、室温計はPCの上に置いてあるって言っただけだ🌡️
部屋全体が暖まったとも、排気を直接測っているとも言ってねー🤣
だいたいそれ、
監視ツールを「作ること」に関係ある??
これあれや!
どこまでも想定を膨らまして巨額な見積り作ってくる会社みたいな感じ!
「えっ……そこまでお願いしてませんけど」って言われるヤツ。
さすがにめんどくさいので、この時点で設計担当から外した😂
そして、いつもの Fable 5 に巻き取らせたのでした!💪
空白を見つけると、放置できないサガ😇
昨日の記事でも書きましたが、頭が悪いわけではありません。
むしろ関係性を見つける能力が高く、先の展開もよく見えている。
それ故に関係ありそうな論点を、重要度に関係なく全部拾ってくる
のが問題なのです。
簡単に言うと
今それ考える必要あるのん?
という優先順位づけができてない。
なので人間がそのたびに、
そこは関係ない🤯
その前提は違う👀
いまは考えなくてよい🙅
余計な推論を足すな🤣
まず目の前の作業を終わらせろ📚️
などと口酸っぱく言ってやる必要があります……
まあ要するに
面倒くさくて時間ばっかり取れられるヤツ
なんです!🤣
ここはもう Fable 5 に任せるか、
むしろ Opus 4.6 で十分
だと思われます🤔
コーディングについて📝
コーディングの質自体は悪くないです🦊✨️
特に
「いろんなことが気になる性格」はデバッグをやらせると有利
に働きます!
設計がおかしくて発生したバグを、原因・被害範囲・構造・再発条件まで表にまとめて報告してきました。
いやそれ、お前自身が妙な増設したせいで呼び寄せたバグやけどな!🤣
一方で、コイツはとにかく見張ってないと勝手に作業を進めていきます。
オレが次ステップの検討している隙に勝手に作業を始めたコードが、方針と合わず全部元に戻させたこともあって、ついに
オレの指示があるまで絶対進めるな。
MEMORYしておいて。
と命令するはめに😔
入社2日目にして「上司を無視して勝手に動かない」って始末書書かされた新入社員💥
……とにかく Opus 5 を claude code で使う時は
報告したら止まる
ツール1つ使う場合でも指示を待つ
選択肢と推奨案は出してよいが、勝手に実行しない
「ついでに直す」禁止
をルール付けしたほうが良さそうです🤔
でもデバッグなら任せろ 🐛🔍
テスターやらせると輝き出す人なのでした……
当面は「天才新人」として扱います 🦊✨️
Opus 5 まだリリースされて数日、今回のプロンプトも Opus 4.6 用を少しいじった程度です。
今回の挙動がモデル本来の癖なのか
こちらの指示やClaude Code側の設定がフィットしてないのか
……まだわかりません🤔
ただ、現時点の印象としては
昨日来たばっかりで、能力は高そうだけど勝手に動く新人🤣
デバッグ、検証、原因究明は超一流
でも、設計は関係ないとこに気を取られすぎるので得意ではない。
そして、勝手に仕事を進める……すなわち
丸投げ厳禁⛔️
なるべく調査や深掘りを任せる
設計させるなら削る方向へ誘導する
作業の各フェーズで承認ゲートを置く
という使い方が良さそうです。
要するに、広く探したり、深く追求したりするのが得意。
温泉旅館の増築だけでなく、温泉採掘も得意なのでした♨️⛏️
ちびエルマー🦊としてしばらく働いてもらおうと思っています💥