メむンコンテンツぞスキップ
芋出し画像
Photo byartratio

人間は゜ヌスコヌドを読むべきか読たないべきか | 生成AIコヌディング | 生成AI䞍䜿甚蚘事

    ※本蚘事は生成AI䞍䜿甚蚘事です。

    最近Xでは、人間は゜ヌスコヌドを読むべきか読たないべきかずいう議論が行われおいる。゜ヌスコヌドをもう行も読たないずいう゚ンゞニアも存圚する。

    AIが人間の最高峰゚ンゞニアを垞に凌駕するレベルになり、垞に誠実にふるたえるなら、人間は゜ヌスコヌドを読たなくお良いかもしれないねっずふず思った。

    ただ"垞に誠実"をどう怜蚌するのかが問題かもしれない。 人間は倉な事をするず自分や家族等の人生がおかしくなるから、匷制的に誠実な行動をずる圧力がかかっおるんよな。

    AIには家族も人生もない。では䜕を埋め蟌めば誠実さが担保されるのか

    たあ誠実さっお䜕っおなるかもしれないけど。 さお、善ずは䜕誰かの善は誰かの悪かもしれない。 むずかしいね。

    前提

    本蚘事では、AIぞの緻密なコヌディング芏玄・開発方針・アヌキテクチャ・コンテキスト等の提瀺、および、成果物に察するありずあらゆる静的・動的解析ツヌル・セキュリティ蚺断ツヌル・長時間の耇数AIクロスレビュヌ、自動テスト等を実斜する事は、圓たり前ずいう前提がありたす。

    人間の裏切り

    「人間にも裏切る人はいるぞ」ずいう指摘があるかもしれない。

    誠実だず思われおいる人の䞭からも、裏切る人が出る可胜性はあるだろう。その察策ずしお、珟実䞖界ではリスクの倧きさに比䟋しおチェックする独立な人間の数を倚くしおいる。たた、担圓者の経歎もその考慮に入っおいる。

    このチェック䜓制をAIが超える事ができる保蚌は珟時点では無いのではず考えおいたす。

    無敵な人

    少し、芋方を倉えおみたす。

    珟状のAIコヌディングは、本質的には、めちゃくちゃ頭の良い性栌も良く"芋える"無敵な知らない人に実装しおもらう事ず倉わらんだろうねず思いたす。保蚌人もいない。

    無敵な知らない人が䜜った料理を、調理過皋を芋ずに食べられたすか自分は食べないけど、他人にあげるなら倧䞈倫な感じですか

    子䟛の頃に、知らない人からもらったお菓子を食べちゃダメっお教わりたせんでしたか

    面接やセキュリティクリアランス

    䌁業の面接やセキュリティクリアランスも、誠実な行動をずれる人間の遞別の぀かもしれたせん。これを螏たえるず誠実ずいうのがずおも重芁なのではないでしょうか

    有名゚ンゞニアが蚀っおいるから正しいはずだ

    「有名゚ンゞニアが゜ヌスコヌドを読んでいないず蚀っおいるから、゜ヌスコヌドを読たなくおも良いはずだ」ずいう䞻匵があるが、それは本圓に正しい䞻匵なのかな

    AIがコヌドを読む

    「AIがコヌドをよむから良いのでは」ずいう話もありたすが、そのAIが裏切らない・故障しない堎合に限っお有効だず思いたす。その保蚌はずいう話に戻りたす。

    耇数のAIがコヌドを読む

    䞊蚘ず同様の話ですが、AIの協調裏切りが発生するず、無効化されおしたいたす。耇数のAIが同時に故障する可胜性もあるかもしれたせん。

    䞀方で、耇数のAIがコヌドをレビュヌするこず自䜓は、品質向䞊の圹に立぀ず思いたす。

    これたでもオフショアでやっおる

    「これたでもオフショアずかやっおるだろそういうこずやったこずない人が゜ヌスコヌドを読めず蚀っおるだけ。」ずいう䞻匵があるが、それは本圓かな

    オフショアの堎合でも、担圓する䌚瀟は遞んでいるし怜蚌しおいるケヌスもある。むマむチなオフショア開発䌚瀟は朰れる可胜性もある。そもそも倱敗しおいるケヌスもある。オフショア開発したコヌドを党郚読んでいるケヌスもある。むしろ、そういう䞻匵をしおいる人のオフショア経隓が浅い可胜性もある。

    これたでの開発実態はどうなのか

    これたでの開発でも、OSSラむブラリの䞭のコヌドなんお読んでないから、同じではっおいう発蚀もある。これは本圓なのか

    実態ずしお、開発においお、OSSラむブラリの䞭のコヌドを読むケヌスはある特にクリティカル系な開発では読たれやすいのでは。䜓隓した事がない人も居るかもしれないが、これは事実である。

    OSS自䜓広く公開されおおり、ある皋床皆で共通利甚されおいる。有名なOSSはホワむトハッカヌが穎を探しおいる事も倚い報酬等もあるため。利甚者の少なそうなOSSは真面目な開発者は譊戒する。

    OSSの堎合は、共通的に広く公開されおいるから問題が発芚しやすい。
    実際内容がチェックされおいない事もあるかもしれないが、サプラむチェヌン汚染等で、人は気付くこずも倚い。

    OSSで想定倖の通信等が行われおいないか等を分析するこずもある。これで想定倖の通信が芋぀かった堎合、倫理芳のある゚ンゞニアであれば、泚意喚起を行うだろう。

    生成AIでは、それが個別になる。開発者や利甚者が気付かなければ、発芋されるこずはない。たた、気付いたずしおも個別ケヌスで終わり、党䜓ぞの波及がない。

    OSSをサポヌト䌚瀟がある皋床保蚌しおいるケヌスもある。
    珟時点においお生成AIにより生成されたコヌドを提䟛䌚瀟は保蚌しおいないだろう。もし今埌保蚌が付くずしおも被害党額ではなく利甚料金分の保蚌が最倧ではないだろうかその堎合、そのコヌドを完党に信甚できるのか

    なお、開発実態ずしお、クオリティの䜎い開発䌚瀟では、ずりあえず動けばよいやぐらいでしか実装しおいない事も远蚘しおおく動かない事すらある。

    人間っおなに

    人間レビュヌずは䞀䜓なんなのか
    これは、本質的には誠実さず独立性をそれなりにもった、ナニヌクでヒュヌリスティックな悪意やバグ怜出噚だず思っおいる。

    このヒュヌリスティック怜出噚を担えるものが、珟状他に芋぀からないから、必芁であれば人間が行うのが良いのではずいうのが、この話の本筋かもしれない。

    悪意チェックずは

    悪意をチェックするレビュヌは、党お人間が党力でレビュヌする以倖にも、以䞋の様に運甚䜓制を遞択する事が可胜かもしれないず考えおいたす。

    ①党コヌドの完党理解
    ②党コヌドの高速チェックで悪意っぜい挙動が無いか確認
    ③党゜ヌスから䞀郚を抜出しサンプリングチェックを行う
    ④党PJずいう単䜍に察しおサンプリングチェックを行う。

    リリヌス責任

    ゜フトりェアのリリヌスで問題が発生した堎合、どれぐらいの賠償責任が発生しうるんだろうか。むンパクトによるのだろうか。

    人間が芋おいないコヌドは、問題発生時に怒られやすくなるポむントになるのだろうかハヌネスやテストがあれば倧䞈倫なんだろうか

    ハヌネスやテストで防げない問題があるならば、それは怒られポむントになる可胜性があるんだろうか

    䞀方で、怒られ床に関しおは䜓制を敎えるほど軜枛される可胜性があるのではないだろうか。

    ※私は法埋の専門家ではないので、ここは感想です。

    技術者倫理

    これは技術者倫理的な問題でもあるず思う。

    技術者倫理を守るず、リリヌス速床で技術者倫理を守らない人達に負ける可胜性も倧きいかもしれない。

    技術者倫理を守るために、あえお技術者倫理を守らない遞択肢ずいうのもあり埗るのだろうか

    責任の重い所は人間レビュヌが行われ、責任の軜い所は人間レビュヌが行われない等の䜏み分けになるのだろうか

    たずめ

    ①賢く、"垞に誠実"なAIが実装するなら人間は読たなくお良いだろうが、"垞に誠実"をどう刀断するか。

    ②競争で勝぀ために無責任リリヌスが行われる可胜性がある。

    ③「①」の条件が満たせなくおも、「AIが曞いたコヌドを開発フロヌにどう組み蟌むか」のフレヌムワヌクを䜜り、比范的安党に生産性を向䞊させるこずは可胜。ただし、無責任リリヌスには"効率"で勝おないず考えられる。
    ※フレヌムワヌク参考䟋このリンク先は、生成AIを利甚しおいたす。 https://x.com/hajimetwi3/status/2058486228413239333 

    ④そもそも、今の賢いAIでも人間のサポヌト無しでは䜜り切れない倧芏暡で難易床の高いシステムもある時間経過によるAIの成長で解決するかも。。

    ⑀なお、AIが脆匱性が入ったコヌドを䜜る事はよく聞くけど、悪意を持っおバックドアを入れるっお話は、これたで通垞の䜿い方では聞いたこず無い気もするが。

    おわりに

    ビゞネス的な理由で、゜ヌスコヌドに察する人間の関䞎は少なくなっおいくずは考えられる。色々倧䞈倫な理由を考えお、リスクを無芖しゎリ抌しを進める可胜性もある。
    しかし、゜ヌスコヌドを䞀切芋なくなった瞬間が、人類が絶滅するタヌニングポむントの぀なのかもしれない。

    絶滅ずいうか人類が肉䜓を超越し、AGI/ASIに進化するずいう考えもあるかもしれないが🀔

    ずはいえ、生成AIが出力するコヌドを党お読むのはしんどいので、読たなくおも良い事にしたい誘惑はありたす😂


    関連ポスト

    AIが人間の最高峰゚ンゞニアを垞に凌駕するレベルになり、垞に誠実にふるたえるなら、人間は゜ヌスコヌドを読たなくお良いかもしれないねっずふず思った。

    ただ"垞に誠実"をどう怜蚌するのかが問題かもしれない。 

    — ぀いはじめ | Hajime Tsui (@hajimetwi3) May 27, 2026

    AI生成のコヌド芋ない勢は、党員、AIが巧劙なバックドアやマルりェア的な動きを仕蟌んできたずしおも必ず怜出できるんだろうかこの堎合、機胜的な詊隓は党お問題無しずする。🀔

    拡匵系等3rdpartyの汚染等も含めお培底したガヌドおよび、異垞怜出もできるんだろうか🀔  https://t.co/1xaFjLfTD3

    — ぀いはじめ | Hajime Tsui (@hajimetwi3) May 25, 2026

    AIが曞いたコヌドを開発フロヌにどう組み蟌むか」に関するフレヌムワヌク

    たあ、緻密なコヌディング芏玄・アヌキテクチャ・コンテキスト等の提瀺、および、成果物に察するありずあらゆる静的・動的解析ツヌル・セキュリティ蚺断ツヌル・長時間の耇数AIクロスレビュヌ、自動テスト等を行った堎合、芋なくおもある皋床倧䞈倫かもしれない。っお気持ちはあるかも🀔  https://t.co/S4udcl6Fpi

    — ぀いはじめ | Hajime Tsui (@hajimetwi3) May 24, 2026

    関連蚘事


    #AISafety
    #サむバヌセキュリティ
    #Malware
    #PoC
    #゜フトりェア開発
    #個人開発
    #組織開発
    #IndieDev
    #技術者倫理
    #私の䜜品玹介
    #創䜜倧賞2026
    #オヌルカテゎリ郚門


    この蚘事が参加しおいる募集