線形代数って何者？ ― AIを支える「変換の数学」入門

AI時代になった今、線形代数はこれまで以上に重要な学問になっています。LLM（大規模言語モデル）の根底には、行列やベクトル空間の考え方が深く関わっています。私自身も、AIをただ便利な道具として使うだけでなく、その仕組みを理解できるよう、線形代数を改めて勉強していこうと思います📚✨

そもそも行列って何なの？

「行列」という言葉を聞くと、数字がぎっしり並んだ表を思い浮かべる人が多いと思う。

でも実は、行列の本質は「変換のルール」だ。

たとえばAIに画像を入力すると、数値の羅列が別の数値の羅列に変わって出てくる。この変換を担っているのが行列なんだ。

$$\boldsymbol{y} = W\boldsymbol{x}$$

$W$ が行列、$x$ が入力、$y$ が出力。プログラムで言えば入力が関数の引数、行列が関数の本体、出力が戻り値に対応する。

AIの学習とは、「正しい変換をする行列 $W$ を探す作業」と言い換えられる。

まず「スカラー・ベクトル・行列」を整理しよう

数の世界には3つのレベルがある。

スカラーはただの1つの数。$a = 3$ とか $b = -1.5$ とか。

ベクトルは数を1列に並べたものだ。

$$\boldsymbol{x} = \begin{pmatrix} 1 \cr -2 \cr 5 \end{pmatrix}$$

プログラムで言えば1次元配列。AIでは「画像のピクセル値を全部並べたもの」がベクトルになる。

行列は数を縦横に並べた2次元の表だ。

$$A = \begin{pmatrix} 1 & 2 & 3 \cr 4 & 5 & 6 \end{pmatrix}$$

これが「変換のルール」の正体だ。

行列の計算、意外とシンプル

行列の計算で一番大事なのが「積」だ。

$A$ の列数と $B$ の行数が同じなら、$C = AB$ が計算できる。計算のルールは「$A$ の $i$ 行目と $B$ の $j$ 列目の内積が $c_{ij}$ になる」というものだ。

$$c_{ij} = \sum_{l} a_{il} b_{lj}$$

具体例を見てみよう。

$$\begin{pmatrix} 1 & 2 \cr 3 & 4 \end{pmatrix} \begin{pmatrix} 5 & 6 \cr 7 & 8 \end{pmatrix} = \begin{pmatrix} 19 & 22 \cr 43 & 50 \end{pmatrix}$$

ひとつ注意点がある。行列の積は順番を変えると答えが変わる。$AB \neq BA$ だ。数の掛け算とは全然違うので要注意。

転置・逆行列・行列式もサクッとおさえよう

転置は行と列をひっくり返すだけだ。

$$A = \begin{pmatrix} 1 & 2 & 3 \cr 4 & 5 & 6 \end{pmatrix} \implies A^\top = \begin{pmatrix} 1 & 4 \cr 2 & 5 \cr 3 & 6 \end{pmatrix}$$

性質として $(AB)^\top = B^\top A^\top$ が成り立つ。

逆行列 $A^{-1}$ は「掛けると単位行列（数で言う1）になる行列」だ。

$$AA^{-1} = A^{-1}A = I$$

2×2行列の逆行列はこう計算できる。

$$\begin{pmatrix} a & b \cr c & d \end{pmatrix}^{-1} = \frac{1}{ad-bc} \begin{pmatrix} d & -b \cr -c & a \end{pmatrix}$$

行列式は「この変換が面積を何倍に拡大するか」を表す数だ。

$$\det \begin{pmatrix} a & b \cr c & d \end{pmatrix} = ad - bc$$

重要な等価関係——$\det(A) \neq 0$ ⟺ 逆行列が存在する ⟺ フルランク。これはSVDで特異値がゼロかどうかと直結する。

ベクトルの「近さ」を測る道具たち

AIで「この文章とあの文章は似ている」を計算するとき、内積とノルムが活躍する。

内積は2つのベクトルの「似ている度合い」だ。

$$\boldsymbol{a} \cdot \boldsymbol{b} = \sum_{i} a_i b_i = |\boldsymbol{a}||\boldsymbol{b}|\cos\theta$$

内積がゼロなら「直交（垂直）」、つまり全然似ていないということだ。コサイン類似度はこの考え方を使って文章検索やRAGの根っこで使われている。

ノルムはベクトルの「長さ」だ。

$$|\boldsymbol{x}|2 = \sqrt{\sum{i} x_i^2}$$

そして行列の大きさを表すフロベニウスノルム。

$$|A|F = \sqrt{\sum{i,j} a_{ij}^2}$$

これが後のSVDの誤差評価で活躍する。特異値との重要な関係がこれだ。

$$|A|F^2 = \sum{i} \sigma_i^2$$

特異値の2乗和がフロベニウスノルムの2乗と等しい。これはあとで絶対使う。

「ランク」が全部の鍵を握っている

最後に一番大事な概念を紹介する。ランクだ。

ランクは「行列が実質何方向の情報を持っているか」の数。

たとえば $1000 \times 1000$ の行列があっても、実質10方向の変換しかしていなければランクは10だ。残り990方向は冗長で、意味のある情報を持っていない。

「見かけは大きいけど中身は薄い」——これがランクが低い行列のイメージだ。

そして後で登場するLoRAの発見は「AIのファインチューニングに必要な変化のランクは、意外と低い」というものだった。1677万パラメータの変化に見えても、本質的な方向は数十次元だったんだ。

ランクとSVDの橋渡しになる重要な事実——「ランク＝ゼロでない特異値の個数」とだけ覚えておけば十分だ。

まとめ

• 行列は「変換のルール」であり、AIの学習は「正しい変換を探す作業」だ

• 積・転置・逆行列・行列式は行列を扱う基本道具

• 内積・ノルムはベクトルの類似度や大きさを測る

• ランクは行列が持つ「実質的な情報の次元数」で、SVD・LoRAの核心概念に直結する

次章ではこのランクという概念を使って、SVD（特異値分解）を理解していく。