ChatGPTは終焉？オープンソースのLlama 3が引き起こすパラダイムシフト

2024年4月22日 09:52

昨日この様な「クローズドなGPT-4はオワコン」というXへのポストがあったので解説していきたいと思います。

The more I use Llama 3 the more I think that Zuck may have just killed OpenAI and all other large proprietary AI vendors. The gap between latest GPT4 and Llama 70b is virtually non existent. Even if OpenAI releases GPT5 now, 400b Llama 3 is still training and will most likely be…
— Laura Wendel (@Lauramaywendel) April 21, 2024

まずはポストを翻訳します。

ラマ3を使えば使うほど、ザッカーバーグがOpenAIや他の大手独自AI企業を打ち負かしたのではないかと思うようになってきました。最新のGPT-4とLlama 70bの差はほとんどありません。たとえOpenAIが今すぐGPT-5をリリースしたとしても、400bのLlama 3はまだトレーニング中で、おそらく同じくらいの性能になり、オープンソースと独自技術の差を再び埋めるでしょう。

OpenAIの収益は20億ドルで、おそらく大幅な赤字です。一方、Metaの売上総利益は1,000億ドル以上。計算リソースと人材の面で、少なくとも10倍の支出ができるでしょう。しかも、多くのAI研究者はクローズドな営利目的の仕事よりもオープンソースの方がずっと魅力的だと感じています。トップ人材はMetaに集まる可能性が高いのです。

Googleはいまだに、AIが主要な収益源を奪ってしまう問題に悩まされているので、Metaほど全面的に取り組むことはできないでしょう。

こうした状況の最大の勝者はアプリ開発者だと思います。Llama 3をホストしているAPIサービスを選ぶこともできるし、自分で好きなようにホストすることもできるからです。これまでのAIプロダクトの大半は、APIエンドポイントを少し包んだだけのものでした。しかし、ユーザーがAIとやり取りしていると意識しなくても済むようにAIを製品に深く統合できれば（例えば、ユーザーのコンテキストに適応してバックグラウンドで呼び出したり、RAGと組み合わせたり、内部APIフォーマットを指定したり、多段階の推論・プランニングなど）、ベースモデルが高度になればなるほど改善される、非常に持続可能なビジネスを手にできるでしょう。

しかし、AIデベロッパーにとっては、ベンダーのリスクや依存度はもはや問題ではありません。さらに、ハードウェアはますます高速化・低価格化していくことを考えると、既存のソフトウェア分野に破壊的イノベーションを起こす機会は無限にあります。その多くは今はまだ想像もつかないかもしれませんが、いずれ振り返ってみれば当然のことだったと思えるようになるでしょう。

オープンソースAIとクローズドAI、収益モデルの違い

オープンソースAIと言えば、2代巨塔である犬猿の中である、イーロン・マスク氏のGrokとザッカーバーグ氏のLlamaですがこの2つのオープンソースの収益モデルは他事業から得た豊富な利益をAI開発に投入できる事です。

上記のポストにあるように、Metaの売上総利益は1,000億ドル以上ですがイーロン・マスク氏が率いる各社の2023年における売上総利益は以下の通りです。

スペースX:

売上総利益：約54億ドル
前年比：約40%増

スターリンク:

売上総利益：約10億ドル
前年比：約80%増

X（旧Twitter）:

売上総利益：約25億ドル
前年比：約5%増

テスラ:

売上総利益：89億ドル
前年比：35%減

合計:

売上総利益：約178億ドル

注記:

上記の数字は、各社が公表している財務情報に基づいています。
スペースXとスターリンクは非上場企業のため、財務情報は限られています。
テスラの売上総利益は、2023年12月31日までの1年間のものです。
X（旧Twitter）の売上総利益は、2023年10月27日までの9ヶ月間のものです。

ザッカーバーグ氏Metaの売上総利益は1,000億ドル以上、マスク氏の売上総利益約178億ドルに比べてもけた違いに大きいです。ザッカーバーグ氏はLlama4の開発のために既に有り余るほどのNvidiaのGPUを確保済みで、しかもNvidiaのGPTはあくまでもLlama4の開発のために使い運用には独自開発したチップを使用するそうです。下記のNoteに詳しい解説をしていますので合わせてご覧ください。

META社以外の巨大資本のAIベンダーは？

Microsoftとalphabet（Google）があげられます。

Microsoftの総収入

2023年第4四半期:

総収入：620.20億ドル
前年同期比：17.6％増

2023年通期:

総収入：1,680.90億ドル
前年同期比：18.5％増

Microsoftの総収入は、主に以下の事業セグメントから成り立っています。

インテリジェントクラウド: Azureなどのクラウドコンピューティングサービスが含まれます。2023年第4四半期の総収入における割合は38％でした。
プロダクティビティ＆ビジネスプロセス: Office 365やDynamics 365などのソフトウェア製品とサービスが含まれます。2023年第4四半期の総収入における割合は32％でした。

Alphabetの総収入

2023年第4四半期:

総収入：2803億ドル
前年同期比：4%増

2023年通期:

総収入：1346億ドル
前年同期比：10%増

総収入は、企業が販売した商品やサービスから得た売上高の合計額です。Alphabetの総収入は、主にGoogleの広告事業の好調な成長によって増加しています。

2023年通期の総収入1346億ドルは、過去最高を記録しています。

META、Google広告収入対決

META社の2023年通期の総収入は 1,136億ドル でした。これは、前年比3.1%増となります。内訳は以下の通りです。

広告収入: 1082億ドル（前年比4.3%増）
その他収入: 54億ドル（前年比13.5%減）

META社の収益は、主に広告事業に依存しています。2023年通期の広告収入は1082億ドルとなり、前年比4.3%増と成長しました。一方、その他収入は54億ドルとなり、前年比13.5%減少しました。これは、主に仮想現実事業における投資拡大によるものでした。

Alphabetの2023年通期の総収入は1346億ドルでした。内訳は以下の通りです。

・広告収入：1174億ドル（前年同期比8%増）

Google検索、YouTube、Googleマップなど、世界中の人々が利用するサービスに広告を配信することで得られる収益です。
Alphabet全体の収益の約87%を占める重要な収益源です。
2023年も前年比8%増と成長を続けています。

・Google Cloud：270億ドル（前年同期比44%増）

企業向けにクラウドコンピューティングサービスを提供する事業です。
近年、高い成長率を誇っており、Alphabet全体の収益の約20%を占めるまでに成長しています。
特に、AIや機械学習などの分野におけるサービスが好調に成長しています。

・その他収入：102億ドル（前年同期比2%減）

Google Playストア、Pixelスマートフォン、Fitbitウェアラブルデバイスなど、様々な事業から得られる収益です。
2023年は、前年比2%減少となりました。

こうみると、META社の資本力もさることながらまだまだネット社会はGoogleが一強である事がわかります。豊富な資本力を投入してAIの開発は続けられると思いますが、問題はLaura Wendel氏が指摘する、「Googleはいまだに、AIが主要な収益源を奪ってしまう問題に悩まされているので、Metaほど全面的に取り組むことはできないでしょう。」この部分です。次でこの部分を掘り下げてみたいと思います。

AIとGoogle事業の影響

AIと広告事業への影響

むしろ、AIは広告事業の成長を促進する可能性が高いです。AIが検索エンジンに与える可能性のある具体的な影響は以下の通りです。

ターゲティングの精度向上: AIは、ユーザーの行動データや属性データなどを分析することで、より精度の高いターゲティングを実現することができます。これにより、広告主は、より適切なユーザーに広告を配信することができ、広告効果を高めることができます。
広告クリエイティブの最適化: AIは、ユーザーの反応データを分析することで、より効果的な広告クリエイティブを生成することができます。これにより、広告主は、より多くのユーザーの関心を引く広告を作成することができ、広告効果を高めることができます。
広告配信の自動化: AIは、広告配信の自動化を可能にします。これにより、広告主は、時間とコストを節約することができます。
新しい広告フォーマットの開発: AIは、新しい広告フォーマットの開発を可能にします。これにより、広告主は、より多くのユーザーにリーチすることができます。

一方、AIが広告事業に与える可能性のある懸念事項は以下の通りです。

プライバシー侵害: AIは、ユーザーの行動データや属性データなどを分析することで、より精度の高いターゲティングを実現することができます。しかし、これは、ユーザーのプライバシーを侵害する可能性があります。
偏見: AIは、偏ったデータに基づいて判断する可能性があります。これにより、偏見のある広告が配信される可能性があります。
仕事の喪失: AIは、広告配信の自動化を可能にします。これにより、広告業界で働く人の一部が職を失う可能性があります。

AIと検索エンジンへの影響

AIは、検索エンジンに様々な影響を与える可能性があります。

検索結果の精度向上: AIは、ユーザーの検索意図をより正確に理解し、より適切な検索結果を提供することができます。
パーソナライズされた検索結果: AIは、ユーザーの検索履歴や行動データなどを分析することで、よりパーソナライズされた検索結果を提供することができます。
新しい検索機能の開発: AIは、新しい検索機能の開発を可能にします。これにより、ユーザーは、より簡単に必要な情報を見つけることができます。

AIは、検索エンジンをより便利で使いやすいものにする可能性が高い一方、AIが検索エンジンに与える懸念事項は以下の通りです。

フィルターバブル: AIは、ユーザーの検索履歴や行動データなどを分析することで、よりパーソナライズされた検索結果を提供することができます。しかし、これは、ユーザーが偏った情報しか目に触れないフィルターバブルにつながる可能性があります。
フェイクニュース: AIは、フェイクニュースを生成する可能性があります。
情報の操作: AIは、情報の操作に使用される可能性があります。

これらの懸念事項を解決するためには、オープンで透明性の高いAI開発と利用が重要です。しかしながらAIは、検索エンジンをより便利なものにする可能性を秘めています。

と言う事で、Laura Wendel氏が指摘する「AIが主要な収益源を奪ってしまう問題に悩まされている」はあまり当てはまらないと思われます。

オンプレミス環境とクラウド環境

クラウドベースに環境を構築する場合はMicrosoftのazure、AWS、Googleクラウドの3択になります。その場合はオープンソースAIを別途組み込むよりもそれぞれのクラウドに実装されているネイティブAIを使う方がコスト人員とものにリソースがかかりません。しかしながら、オンプレミス環境であればAIに縛られる事なく、自由にオープンソースのAIを導入する事ができます。

オンプレミス環境のセキュリティ

一時セキュアな環境を求め、怒涛の様にクラウド環境に移行していましたが、オンプレミス環境のセキュリティを確保することは以前に比べて容易になってきました。これは主に以下の理由によるものです。

セキュリティ技術の進歩：ファイアウォール、侵入検知システム（IDS）、侵入防止システム（IPS）、仮想プライベートネットワーク（VPN）などのセキュリティ技術が高度化し、より効果的にネットワークを保護できるようになりました。
仮想化技術の普及：仮想化技術の発展により、オンプレミス環境でもクラウドのようなセキュリティ機能を実装しやすくなりました。例えば、ソフトウェア定義ネットワーク（SDN）を用いて、ネットワークを動的に制御・分離することが可能です。
セキュリティ意識の向上：サイバー攻撃の脅威が広く認識されるようになり、企業のセキュリティ意識が高まりました。これにより、オンプレミス環境でもセキュリティ対策に積極的に取り組むようになりました。
自動化の進展：セキュリティ運用の自動化が進んだことで、オンプレミス環境でもパッチ管理やログ分析などを効率的に行えるようになりました。これにより、人的ミスによるセキュリティ脆弱性の減少にもつながっています。
ゼロトラストアーキテクチャの採用：ネットワークの内外を問わず、全ての通信を検証するゼロトラストアーキテクチャが普及しつつあります。これにより、オンプレミス環境でもよりセキュアなアクセス制御が実現できます。

ただし、オンプレミス環境のセキュリティ確保にはまだ課題も残っています。例えば、専門的な知識を持つ人材の不足、レガシーシステムとの互換性、物理的なセキュリティ対策の必要性などです。

2024年はハイブリッドモデルを採用するようになる？

Forbesの記事によると、2024年には、多くの企業がオンプレミス環境とクラウド環境のハイブリッドモデルを採用するようになると予測されています。

企業事例

Netflix: Netflixは、当初オンプレミス環境でITインフラを構築していましたが、その後クラウド環境に移行しました。この移行により、Netflixはコストを削減し、スケーラビリティと柔軟性を向上させることができました。
Airbnb: Airbnbは、当初クラウド環境でITインフラを構築していましたが、その後オンプレミス環境とクラウド環境のハイブリッドモデルを採用しました。このモデルにより、Airbnbは、コストを削減し、パフォーマンスとセキュリティを向上させることができました。

AIの分野のクラウドとオンプレミス、そして新たなる選択肢

AIの分野においても、クラウドとオンプレミスの選択は重要な論点になっています。セキュリティや機密性の面からオンプレミスを選ぶ企業がある一方で、コストと利便性を重視してクラウドを選ぶ企業も多いのが現状です。

セキュリティ上の理由からクラウドからオンプレミスに回帰する動きも一部で見られます。特に、機密データを扱う企業や規制の厳しい業界では、クラウドのセキュリティに対する不安が根強いようです。

今後の予測としては、以下のようなトレンドが考えられます。

ハイブリッド化の進展：クラウドとオンプレミスのメリットを組み合わせたハイブリッド環境の利用が増えると予想されます。重要なデータはオンプレミスで管理し、それ以外はクラウドを活用するといった使い分けが進むでしょう。
クラウドセキュリティの強化：クラウド事業者は、セキュリティ面での信頼を獲得するために、さらなる対策を講じていくと思われます。暗号化、アクセス管理、監査体制などの強化により、クラウドのセキュリティ面での優位性が高まる可能性があります。
オープンソースの活用：Llama 3のようなオープンソースのAIモデルが普及することで、クラウドに依存せずにAIを利用できる選択肢が広がります。オープンソースを自社のオンプレミス環境で運用することで、セキュリティと柔軟性を確保できるでしょう。
エッジコンピューティングの発展：データ処理をクラウドではなく、エッジ（末端）で行う動きが加速すると予想されます。これにより、データをクラウドに送信するリスクを減らしつつ、AIの利点を活かせるようになります。
規制の影響：各国の規制当局がクラウドの利用に関するルールを整備していくことで、企業の選択にも影響が及ぶでしょう。厳格な規制が導入された場合、オンプレミスへの回帰が加速する可能性があります。

新たな選択肢：エッジコンピューティングの発展

エッジコンピューティングとは、データ処理をクラウドのデータセンターではなく、データ発生源の近く（エッジ）で行うことを指します。具体的には、IoTデバイス、スマートフォン、ゲートウェイなどの端末で処理を行うことを意味します。

例えば、スマートカメラで撮影した画像をクラウドに送信してAI解析するのではなく、カメラ自体にAIモデルを組み込んで、その場で解析結果を出力する、といったことがエッジコンピューティングの一例です。

エッジコンピューティングのメリットは以下の通りです。

低遅延：データをクラウドに送信する必要がないため、処理結果をリアルタイムで得られます。
帯域幅の節約：大量のデータをクラウドに送信する必要がなくなるため、ネットワーク帯域幅を節約できます。
プライバシー保護：機密データをクラウドに送信せずに済むため、プライバシー保護につながります。
自律性：ネットワーク接続が不安定な環境でも、エッジでの処理により自律的な動作が可能になります。

エッジコンピューティングにおけるオープンソースAIのメリット

エッジコンピューティングにおいて、オープンソースAIがクローズドAIよりも優れた使い勝手を提供する場合があります。その理由としては、以下のような点が挙げられます：

カスタマイズ性と柔軟性: オープンソースのAIソリューションは、そのソースコードが公開されているため、ユーザーが必要に応じてカスタマイズや調整を行うことができます。エッジデバイスに特化した変更や最適化を行いやすく、特定のアプリケーションに合わせた精細な調整が可能です。
コスト効率: オープンソースソフトウェアは通常、ライセンス料が不要または低コストであるため、開発コストを抑えることができます。特にスタートアップや中小企業にとっては、コスト削減の面で大きなメリットがあります。
透明性と信頼性: オープンソースソフトウェアは、その動作が公開されているため、安全性や信頼性の検証が容易になります。特にセキュリティが重要視されるエッジデバイスの場合、使用するソフトウェアの動作が明確であることが望まれます。
広範なコミュニティのサポート: オープンソースプロジェクトは広範囲にわたる開発者コミュニティに支えられていることが多く、問題解決や機能追加に際して多くの支援を得ることができます。このコミュニティからのフィードバックやアイデアがプロダクトの改善を促します。
迅速なイノベーション: オープンソースプロジェクトでは、世界中の多くの貢献者からの即時的なアイデアやアップデートが可能です。これにより、技術の進歩が加速され、新しい機能が迅速に実装されることがあります。

これらの利点により、特に新技術やカスタマイズが求められる分野でオープンソースAIは有効な選択肢となり得ます。

尽きないSNSからの学習データ

また、既にAIに枯渇している物と言えば学習データです。AIは既にネット上のありとあらゆるデータを学習しきっているのです。META社の強みはその学習データがfacebook、Instagram、Threadsから安定的に供給される事にあります。その部分は、MicrosoftやGoogleが持たない大きな強みです。

一方で、MicrosoftもLinkedInやBingなどのプラットフォームを通じて有用なデータを収集しています。FacebookやInstagramほどの規模ではありませんが、学習データはFacebookやInstagramよりは良質であるかもしれません。一方、同じくイーロン・マスク氏が手がけるオープンソースAI、GrokもXからの枯渇する事のない学習データを投入できています。ただし玉石混同のXからの学習データがGrokのチャットを下品極まりない物にしているという意見もあります。

と言う事で、AIにまつわる状況は目まぐるしく進化しています。勝敗はMETA社に上がるのがどうかがまだわかりませんが、勝算は十分あるのではないでしょうか？