Modello additivo

In apprendimento automatico e statistica, i modelli additivi costituiscono una classe di modelli di regressione non parametrica e semiparametrica in cui la variabile di risposta dipendente è espressa come somma di funzioni convesse/lisce (smooth) delle singole variabili osservate (predittori / feature).

Introdotti formalmente da Charles J. Stone nel 1985 e sviluppati ampiamente da Trevor Hastie e Robert Tibshirani nel 1990, i modelli additivi estendono il classico modello lineare standard mantenendo un'elevata interpretabilità e mitigando al contempo la cosiddetta maledizione della dimensionalità mediante la decomposizione unidimensionale del problema di stima.

Formulazione matematica

Dato un insieme di dati di addestramento $\{(\mathbf {x} _{i},y_{i})\}_{i=1}^{n}$, dove $\mathbf {x} _{i}=(x_{i1},x_{i2},\dots ,x_{ip})^{T}\in \mathbb {R} ^{p}$ rappresenta il vettore dei predittori e $y_{i}\in \mathbb {R}$ è la variabile-obiettivo, la struttura classica del modello additivo si definisce come segue:

$y_{i}=\alpha +\sum _{j=1}^{p}f_{j}(x_{ij})+\varepsilon _{i}$

dove:

• $\alpha$ è il termine intercetta (rappresentante il valore atteso globale $\mathbb {E} [Y]$ sotto le opportune condizioni di identificabilità);
• $f_{j}:\mathbb {R} \to \mathbb {R}$ sono funzioni non parametriche continue e "lisce" (smooth function), come spline di regressione, kernel o loess, ordinate per ciascuna variabile di indice $j$;
• $\varepsilon _{i}$ è l'errore residuo con media nulla $\mathbb {E} [\varepsilon _{i}]=0$ e varianza costante ${\text{Var}}(\varepsilon _{i})=\sigma ^{2}$.

Condizione di identificabilità

Poiché l'aggiunta di una costante arbitraria a una qualsiasi funzione $f_{j}$ può essere assorbita dall'intercetta $\alpha$, si impone la vincolo di centratura per garantire l'identificabilità del modello:

$\sum _{i=1}^{n}f_{j}(x_{ij})=0,\quad \forall j\in \{1,\dots ,p\}$

Algoritmo di stima: Backfitting

L'addestramento dei modelli additivi non parametrici avviene comunemente tramite l'algoritmo di backfitting (o retro-adattamento), un metodo iterativo di tipo Gauss-Seidel applicato all'operatore di proiezione/smoothing.

Fasi dell'algoritmo

1. Inizializzazione: Si imposta l'intercetta al valore medio empirico:

   ${\hat {\alpha }}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}$

   e si inizializzano le funzioni stimate: ${\hat {f}}_{j}\equiv 0$ per ogni $j=1,\dots ,p$.

2. Ciclo iterativo: Per ciascun predittore $j=1,\dots ,p$:
   1. Si calcolano i residui parziali escludendo il contributo della $j$-esima funzione:

      $r_{i}^{(j)}=y_{i}-{\hat {\alpha }}-\sum _{k\neq j}{\hat {f}}_{k}(x_{ik})$

   2. Si aggiorna la funzione ${\hat {f}}_{j}$ applicando un operatore di smoothing $S_{j}$ (ad es. una spline) ai residui parziali:

      ${\hat {f}}_{j}\leftarrow S_{j}\left(r^{(j)}\mid x_{\cdot j}\right)$

   3. Si applica la centratura per preservare la vincolo di identificabilità:

      ${\hat {f}}_{j}\leftarrow {\hat {f}}_{j}-{\frac {1}{n}}\sum _{i=1}^{n}{\hat {f}}_{j}(x_{ij})$

3. Criterio di arresto: L'algoritmo prosegue finché la variazione tra stime successive non scende sotto una soglia prefissata $\delta$:

   ${\frac {\sum _{j=1}^{p}\|{\hat {f}}_{j}^{({\text{corr}})}-{\hat {f}}_{j}^{({\text{prec}})}\|^{2}}{\sum _{j=1}^{p}\|{\hat {f}}_{j}^{({\text{prec}})}\|^{2}}}<\delta$

Estensioni e varianti

Modelli Additivi Generalizzati (GAM)

Sviluppati da Hastie e Tibshirani, i GAM estendono i modelli additivi alle distribuzioni appartenenti alla famiglia esponenziale (come Bernoulli, Poisson, Gamma), integrando una funzione di legame (link function) $g(\cdot )$:

$g(\mathbb {E} [Y|X])=\alpha +\sum _{j=1}^{p}f_{j}(X_{j})$

L'addestramento nei GAM combina l'algoritmo di backfitting con il metodo dei minimi quadrati ripesati iterativamente (IRLS - Iteratively Reweighted Least Squares) .

Modelli additivi ad albero (Gradient Boosting)

Nell'apprendimento automatico, una delle declinazioni più diffuse dei modelli additivi è rappresentata dalle tecniche di gradient boosting (come, ad esempio, XGBoost, LightGBM), in cui la funzione target è approssimata da una somma additiva di alberi di decisione deboli (weak learner):

$F(\mathbf {x} )=\sum _{m=1}^{M}\gamma _{m}h_{m}(\mathbf {x} )$

dove le $h_{m}(\mathbf {x} )$ sono alberi di regressione appresi sequenzialmente per minimizzare una funzione di perdita empirica.

Vantaggi e Limitazioni

Vantaggi

• Interpretabilità: È possibile isolare ed esaminare l'impatto individuale di ciascuna variabile predittrice $X_{j}$ sulla risposta osservando il grafico della funzione componente $f_{j}$ (grafici di dipendenza parziale).
• Flessibilità: Cattura relazioni complesse e non lineari senza dover specificare a priori la forma della funzione (ad es. polinomiale, logaritmica).
• Contrasto alla maledizione della dimensionalità: Modellando le funzioni individualmente su 1D anziché stimare una superficie ad alta dimensionalità $p$, la velocità di convergenza è dell'ordine $O(n^{-2s/(2s+1)})$, dove $s$ misura la regolarità delle funzioni impiegate.

Limitazioni

• Assenza implicita di interazioni: Il modello assume che l'effetto delle variabili sia strettamente additivo. Se esistono interazioni forti tra predittori (ad es. $X_{1}\cdot X_{2}$), esse devono essere incluse esplicitamente aggiungendo termini bidimensionali $f_{12}(X_{1},X_{2})$.

Voci correlate

• Gradient boosting
• Modello lineare generalizzato
• Spline
• Statistica non parametrica