AIの進化とエネルギー消費：AI技術の発展がもたらす影響
AIには、制御AIから #生成AI に至るまで多岐にわたる分類があります。
近年、特にNLPの普及が目覚ましく、個人のパソコンやスマートフォンで動作するレベルから、 #スーパーコンピュータ を必要とするものまで様々です。 #OpenAI の #ChatGPT や、Microsoftの #Copilot などは、大型のメインフレームやデータセンターで稼働しています。
これらのサービスの電気使用量は公表されていませんが、OpenAIが公表したChatGPTのトレーニングに使用した電力量を基に試算すると、 #富岳 の30MWの約半分、すなわち14～15MWの電力を消費するコンピュータが使用されていると推測できます。
2030年には、世界のデータセンターのエネルギー消費量が世界の発電量の約15%に達すると見込まれています。これは、2022年の9.4倍にあたる消費量です（ #TDK 予測）。
#データセンター の消費電力に関する予測は多岐にわたりますが、 #仮想通貨 や #ブロックチェーン の使用による電力消費を含めると、消費量が世界の発電量の50%を超えるという見方もあります。以前、半導体やアンモニア製造に必要な電力に触れましたが、EVの普及などで電力需給に大きな圧力が掛かる（ #電力不足 な事態に陥る）ことは明らかです。
但し『電力不足』という表現よりも、発電能力と電力価格による産業の制約と考えるべきでしょう。資源の豊富な供給がなければ、電子機器の製造などは不可能になります。
このnoteでは、ソフトウェアとハードウェアの関係について頻繁に解説していますが、 #EagleX はソフトウェアの改良により消費電力を大幅に削減した顕著な例です。
EagleXは #オープンソース の『 #RWKV -v5』アーキテクチャを基に構築されたモデルであり、OpenAIのChatGPTやGoogleのBERT、MetaのLLaMa、MicrosoftのCopilotといった他の大規模トランスフォーマーモデルと比べて、推論コストが10倍から100倍低減され、リソース使用量も削減されます。このモデルは、70億（7B）パラメーターを持ち、多言語性能で顕著な成果を示しています。EagleX 1.7Tは、1.7兆のトークンを使用し、100以上の言語でトレーニングされており、7Bクラスのモデルの中で最高の性能を発揮しています。2024年3月には、EagleX 2Tの完全版が公開予定です。
RWKV-v5は、 #リカレント と #セルフアテンション のメカニズムを組み合わせており、長文処理や計算コストの削減に優れ、高速な学習を可能にします。この #アーキテクチャ は、非トランスフォーマーモデルでありながら、 #トランスフォーマー モデルと同等の性能を発揮します。
