L'efficacité de la Descente de Gradient Stochastique (SGD) dans l'apprentissage profond repose sur sa capacité à sélectionner des solutions qui généralisent bien, malgré le sur-paramétrage massif des modèles. Cet article propose une analyse mathématique rigoureuse de ce phénomène, souvent qualifié de "régularisation implicite". Nous modélisons la dynamique de la SGD via une Équation Différentielle Stochastique (EDS) et analysons le spectre de la matrice Hessienne aux points d'équilibre. Nous démontrons, à travers l'analyse de stabilité en moyenne quadratique, que la SGD induit une contrainte sur la courbure maximale de la fonction de perte, forçant la convergence vers des minima "plats" (Flat Minima) où la généralisation est théoriquement supérieure.

1. Introduction

Soit \(\mathcal{D} = \{(x_i, y_i)\}_{i=1}^n\) un ensemble de données et \(f(x; \theta)\) un réseau de neurones paramétré par \(\theta \in \mathbb{R}^d\). L'objectif est de minimiser la fonction de risque empirique :

$$ \mathcal{L}(\theta) = \frac{1}{n} \sum_{i=1}^n \ell(f(x_i; \theta), y_i) $$

Dans le régime de sur-paramétrage (\(d \gg n\)), l'ensemble des minimiseurs globaux \(\mathcal{M} = \{ \theta^* \mid \mathcal{L}(\theta^*) = 0 \}\) est une variété de dimension non nulle. Pourtant, la SGD converge vers des solutions spécifiques \(\theta^* \in \mathcal{M}\) dotées de propriétés de généralisation robustes.

L'hypothèse centrale de ce travail est que la structure du bruit introduit par la SGD interagit avec la géométrie locale de la fonction de perte (encodée par la matrice Hessienne \(H = \nabla^2 \mathcal{L}(\theta)\)) pour penaliser les régions à forte courbure.

2. Cadre Théorique et Notations

Nous considérons l'algorithme SGD avec un pas d'apprentissage constant \(\eta > 0\). À l'itération \(t\), la mise à jour est donnée par :

$$ \theta_{t+1} = \theta_t - \eta \tilde{g}_t(\theta_t) $$

où \(\tilde{g}_t\) est une estimation stochastique du gradient tel que \(\mathbb{E}[\tilde{g}_t(\theta_t)] = \nabla \mathcal{L}(\theta_t)\). Nous définissons le bruit du gradient \(\xi_t = \tilde{g}_t(\theta_t) - \nabla \mathcal{L}(\theta_t)\). La matrice de covariance du bruit est notée \(\Sigma(\theta) = \mathbb{E}[\xi_t \xi_t^T]\).

2.1 Approximation en Temps Continu (Langevin)

Pour analyser la dynamique, nous approximons le processus discret par une Équation Différentielle Stochastique (EDS) d'Itô :

$$ d\theta_t = -\nabla \mathcal{L}(\theta_t) dt + \sqrt{\eta \Sigma(\theta_t)} dW_t $$

où \(W_t\) est un mouvement brownien standard dans \(\mathbb{R}^d\). Cette formulation permet d'utiliser l'équation de Fokker-Planck pour étudier l'évolution de la densité de probabilité \(\rho_t(\theta)\).

3. Analyse de Stabilité Locale et Spectre de la Hessienne

Considérons le comportement de la SGD au voisinage d'un minimum local \(\theta^*\). Nous approximons la fonction de perte par une forme quadratique (développement de Taylor au second ordre) :

$$ \mathcal{L}(\theta) \approx \mathcal{L}(\theta^*) + \frac{1}{2} (\theta - \theta^*)^T H (\theta - \theta^*) $$

où \(H = \nabla^2 \mathcal{L}(\theta^*)\) est la Hessienne, supposée définie positive au voisinage de \(\theta^*\).

3.1 Décomposition Spectrale

Soit \((\lambda_i, v_i)_{i=1}^d\) les paires valeur propre / vecteur propre de \(H\), avec \(0 \le \lambda_1 \le \dots \le \lambda_d\). La dynamique de l'erreur \(\epsilon_t = \theta_t - \theta^*\) dans la base des vecteurs propres s'écrit, pour chaque mode \(i\) :

$$ \epsilon_{t+1}^{(i)} = (1 - \eta \lambda_i) \epsilon_t^{(i)} - \eta \xi_t^{(i)} $$

3.2 Théorème de Stabilité en Moyenne Quadratique

Théorème 1 (Borne de Stabilité Spectrale). Pour que la SGD converge en moyenne quadratique vers une distribution stationnaire autour de \(\theta^*\), le pas d'apprentissage \(\eta\) doit satisfaire la condition suivante relative à la courbure maximale (netteté) de la perte :

$$ \eta < \frac{2}{\lambda_{\max}} $$

où \(\lambda_{\max} = \sup_{i} \lambda_i\) est le rayon spectral de la Hessienne \(\rho(H)\).

Démonstration : Considérons le second moment de l'erreur \(\mathbb{E}[(\epsilon_{t+1}^{(i)})^2]\). En utilisant l'indépendance du bruit et de l'état courant :

$$ \begin{aligned} \mathbb{E}[(\epsilon_{t+1}^{(i)})^2] &= \mathbb{E}[((1 - \eta \lambda_i) \epsilon_t^{(i)} - \eta \xi_t^{(i)})^2] \\ &= (1 - \eta \lambda_i)^2 \mathbb{E}[(\epsilon_t^{(i)})^2] + \eta^2 \mathbb{E}[(\xi_t^{(i)})^2] \end{aligned} $$

Pour que la variance soit bornée (convergence stable), le facteur de contraction doit être strictement inférieur à 1 en valeur absolue :

$$ |1 - \eta \lambda_i| < 1 \iff -1 < 1 - \eta \lambda_i < 1 $$

L'inégalité de droite \(\eta \lambda_i > 0\) est triviale. L'inégalité de gauche implique :

$$ \eta \lambda_i < 2 \implies \lambda_i < \frac{2}{\eta}, \quad \forall i $$

Q.E.D.

Interprétation : Ce résultat simple mais fondamental montre que la SGD avec un pas \(\eta\) fixe est instable dans les directions de l'espace des paramètres correspondant à des courbures \(\lambda_i > 2/\eta\). L'algorithme est mathématiquement incapable de se "poser" dans un minimum trop pointu (sharp minimum). Il sera éjecté de ces bassins d'attraction par la dynamique oscillatoire ou le bruit, jusqu'à trouver une région où \(\lambda_{\max} \le 2/\eta\) (flat minimum).

4. Bruit Anisotrope et Diffusion Préférentielle

Allons plus loin en analysant la structure du bruit. Dans les réseaux de neurones, il est empiriquement observé que la covariance du bruit est alignée avec la Hessienne. Supposons \(\Sigma(\theta) \approx M \cdot H(\theta)\) pour un scalaire \(M\).

L'EDS au voisinage du minimum stationnaire devient un processus d'Ornstein-Uhlenbeck multidimensionnel. La variance stationnaire \(C = \lim_{t \to \infty} \mathbb{E}[\epsilon_t \epsilon_t^T]\) satisfait l'équation de Lyapunov (en temps continu) :

$$ H C + C H = \eta \Sigma $$

Si \(\Sigma \propto H\), et que \(H\) et \(C\) commutent, la variance le long de la direction propre \(v_i\) est :

$$ \text{Var}(\epsilon^{(i)}) \approx \frac{\eta \sigma_i^2}{2 \lambda_i} $$

Cependant, dans le cas discret, une analyse plus fine (voir Smith & Le, 2018) montre que le terme de "bruit multiplicatif" augmente drastiquement la diffusion lorsque \(\lambda_i\) approche la limite de stabilité \(2/\eta\).

4.1 La "Perte Effective" (Effective Loss)

On peut montrer que la SGD ne minimise pas \(\mathcal{L}(\theta)\), mais une perte régularisée implicitement \(\tilde{\mathcal{L}}(\theta)\). En effectuant une expansion de Taylor de la mise à jour sur un pas :

$$ \mathbb{E}[\mathcal{L}(\theta_{t+1}) \mid \theta_t] \approx \mathcal{L}(\theta_t) - \eta ||\nabla \mathcal{L}||^2 + \frac{\eta^2}{2} \text{Tr}(H(\theta_t) \Sigma(\theta_t)) $$

Pour minimiser l'espérance de la perte future, l'algorithme favorise les trajectoires où le terme de trace \(\text{Tr}(H \Sigma)\) est faible.

Lemme 1 (Pénalisation de la Trace). La dynamique de la SGD induit une "pression de sélection" qui minimise \(\text{Tr}(H(\theta))\).

Cela signifie que parmi deux minima globaux ayant la même valeur de perte (\(\mathcal{L}(\theta_a) = \mathcal{L}(\theta_b) = 0\)), la SGD a une probabilité exponentiellement plus élevée de converger vers celui dont la trace de la Hessienne (somme des valeurs propres) est la plus faible. Géométriquement, cela correspond au minimum le plus "plat" en moyenne.

5. Généralisation et Volume du Bassin

Pourquoi les minima plats généralisent-ils mieux ? Une justification mathématique repose sur l'approche Bayésienne ou le principe Minimum Description Length (MDL).

Soit \(w\) une perturbation des données de test par rapport au train. La perte en test est \(\mathcal{L}_{test}(\theta) \approx \mathcal{L}_{train}(\theta + w)\). L'espérance de l'erreur en test est :

$$ \mathbb{E}_w[\mathcal{L}(\theta + w)] \approx \mathcal{L}(\theta) + \frac{1}{2} \mathbb{E}[w^T H w] = \mathcal{L}(\theta) + \frac{\sigma_w^2}{2} \text{Tr}(H) $$

Ainsi, minimiser la trace de la Hessienne (ce que fait implicitement la SGD via la contrainte de stabilité \(\lambda_i < 2/\eta\) et la diffusion) revient directement à minimiser la sensibilité du modèle aux perturbations des données, ce qui est la définition formelle de la robustesse et de la généralisation.

Nous avons formalisé le mécanisme par lequel la Descente de Gradient Stochastique agit comme un régularisateur implicite. Contrairement à la descente de gradient classique (GD) qui suit la ligne de plus grande pente vers le minimum le plus proche, le bruit inhérent à la SGD, couplé à un pas d'apprentissage fini \(\eta\), interdit la convergence vers des minima dont la courbure \(\lambda_{\max}\) excède le seuil de stabilité \(2/\eta\).

Cette analyse spectrale prouve que le succès du Deep Learning n'est pas uniquement dû à l'architecture des réseaux, mais est intrinsèquement lié à la dynamique instable de l'algorithme d'optimisation qui filtre les solutions non-robustes (pointues) au profit des solutions robustes (plates).