AIが「画面の中」から「開発現場そのもの」へ出てくるーーAI Developer Viewは、AIに画面だけでなく、人間の注視、構造化データ、実機や測定器まで含めた「開発現場」を共有させる構想です。

＜２０２６年８月２４日以前のコンテンツ一覧はこちら＞

＜毎日毎日、何回コピペをして、ファイルをダウンロード、アップロードしているでしょう。
　OpenAIの動画も素晴らしいのですがパソコンの内部だけではなかったかと。
　そこでAIにその周辺関係フィジカルAI開発も含めてコンピューティング環境を考察してもらいました。
　全世界検索ではこのようなものは見当たりませんでしたがメーカーの研究所などにはもうありそうです。＞

＜解説＞

　最近のAIを見ていると、大きな変化が起きているように感じます。これまでAIは、基本的にはチャット画面の中にいました。人間が文章を入力し、AIが文章を返す。プログラミングでも、コードをコピーしてAIへ貼り付けたり、IDEの中からAIを呼び出したりする使い方が中心でした。
　ところが、今回のOpenAIのGPT関連動画で示されたコンピューティング環境のデモを見ると、その境界が少しずつ消え始めています。AIが単に質問へ答えるのではなく、コンピュータの中で何が起きているのかを見ながら、必要な情報を集め、考え、作業へつなげていく。AIが「アプリの一つ」ではなく、コンピューティング環境そのものへ入り始めた、と見ることもできます。

　ここから考えたのが「AI Developer View」という構想です。
　ただし、この構想ではAIに何もかもカメラで見せようとは考えません。最初は、スマートグラスのカメラで開発者が見ているディスプレイを撮影し、その映像をAIに読ませる方法を考えました。しかし、プログラムの文字は細かく、記号も多いため、斜めからの撮影、手ぶれ、反射、モアレなどが入ると正確に読み取るのが難しくなります。

　そこで役割を分けます。
　ディスプレイの内容は、キャプチャボードやOSの画面取得機能を使って、AIへ直接きれいな映像として渡します。コード、Git、ログ、CI、DOMなどは、可能であれば映像を読むのではなく、構造化されたデータとして直接渡します。そしてスマートグラスには別の役割を持たせます。

　スマートグラスが見るのは、主に「人間が今どこを見ているのか」です。
　例えば開発者の机に三台のディスプレイがあり、右側の画面を見ながら「これ、おかしくない？」と言ったとします。AIはスマートグラスや視線情報から「これ」が右側のディスプレイを指していることを知り、その画面の高精細なキャプチャ映像を確認します。同時に、関連するコードやログも調べます。
　ここまではコンピュータ内部の話ですが、開発現場には画面の外もあります。

　例えばロボット開発では、ログには「正常終了」と表示されているのに、実際のロボットが動いていないことがあります。スマートフォンのアプリだけ表示が崩れていることもあります。測定器の数値とソフトウェア上の値が一致しないこともあります。
　こうした場合、人間は自然に「ログは成功になっているけど、このロボット動いてないよ」「このスマホだけ表示がおかしい」「こっちの測定器の数字と合わない」と言います。

　AI Developer Viewでは、この「この」「こっち」をAIが理解できるようにします。画面だけでなく、スマートグラスの視野、実機、測定器、スマートフォン、ホワイトボードなども、同じ開発文脈の中へ取り込むわけです。
　その中心に置くのがContext Engineです。これは特別なPCそのものではなく、さまざまな情報を整理してAIへ渡すソフトウェア層です。画面、コード、ログ、人間の注視、現実世界の情報をまとめ、「今この人は何を問題として見ているのか」をAIが理解しやすい形にします。
　AIによる推論も一種類に固定する必要はありません。機密性の高いコードはPC内のローカルLLMで処理し、大きな推論能力や広い知識が必要な場合だけCloud AIを使う、といった使い分けができます。
　
　そして、もう一つ重要なのが「見るAI」と「動かすAI」を分けることです。
　AIが画面やログを見て「この設定を変更した方がよい」と判断したからといって、そのままPCやサーバを書き換える必要はありません。まず観測し、理解し、提案する。その後、実行してよいかを別のExecution Controlで確認し、許可された場合だけAI Agentが操作します。

つまり、「見る → 理解する → 提案する → 許可を確認する → 実行する → 結果を確認する」という流れです。

　今回のOpenAIのコンピューティング環境のデモが示している方向をさらに先へ伸ばして考えると、AI Developer Viewは「AIがコンピュータを操作する仕組み」というより、AIが人間と同じ開発現場を共有する仕組みだと言えます。
　デスクトップの中だけなら、これからOpenAI、Microsoft、Apple、IDEメーカーなどが急速に機能を充実させていくでしょう。だからこそ、この構想で特に重要になるのは、その外側です。
　人間がどの画面を見ているのか。操作していない画面で何に気付いたのか。机の上のスマートフォンはどうなっているのか。ロボットは本当に動いたのか。測定器は何を示しているのか。
　AIがそこまで理解できるようになると、人間は毎回スクリーンショットを撮り、ログをコピーし、「右から二番目の画面を見てください」と説明する必要がなくなります。
　人間が見て、考え、作っている場所を、そのままAIも理解する。
　AI Developer Viewが目指しているのは、そんな「人間とAIが同じ開発現場を見る」コンピューティング環境です。