Il Motore del Deep Learning

La Backpropagation, abbreviazione di "backward propagation of errors", è l'algoritmo fondamentale che ha reso possibile l'addestramento delle reti neurali profonde. Formalizzato da Rumelhart, Hinton e Williams nel 1986, questo algoritmo permette di calcolare in modo efficiente come ogni peso della rete contribuisce all'errore finale, enabling così la correzione iterativa tramite discesa del gradiente. Senza la backpropagation, il deep learning moderno non esisterebbe.

Come Funziona: Forward Pass e Backward Pass

L'addestramento di una rete neurale con backpropagation si divide in due fasi distinte:

• Forward pass (propagazione in avanti): l'input attraversa la rete layer per layer, attraversando trasformazioni lineari e funzioni di attivazione non lineari, fino a produrre un output. L'errore viene calcolato confrontando l'output con il target desiderato tramite una funzione di costo (es. cross-entropy, MSE).
• Backward pass (propagazione all'indietro): l'errore viene propagato dalla fine verso l'inizio della rete. Per ogni peso, si calcola il gradiente della funzione di costo rispetto a quel peso, indicando la direzione e l'intensità della correzione necessaria.

Il cuore matematico della backpropagation è la regola della catena (chain rule) del calcolo differenziale: il gradiente della funzione di costo rispetto ai pesi di un layer interno si ottiene componendo i gradienti dei layer successivi. Questo approccio ricorsivo permette di calcolare tutti i gradienti in un solo passaggio all'indietro, con un costo computazionale proporzionale a quello del forward pass.

Discesa del Gradiente e Aggiornamento dei Pesi

Una volta calcolati i gradienti, i pesi della rete vengono aggiornati nella direzione opposta al gradiente per ridurre l'errore:

• Stochastic Gradient Descent (SGD): aggiorna i pesi usando un singolo esempio o un piccolo batch (mini-batch) alla volta, con un tasso di apprendimento (learning rate) che controlla la dimensione del passo.
• Momentum: accumula una media mobile dei gradienti passati per accelerare la convergenza e smorzare le oscillazioni.
• Adam: combina momentum e adattamento del learning rate per ogni parametro, ed è oggi l'ottimizzatore più diffuso nell'addestramento dei Large Language Model.

Il tuning dell'iperparametri come learning rate, dimensione del batch e numero di epoche è cruciale per una convergenza efficiente e per evitare problemi come l'overfitting.

Il Problema del Vanishing Gradient

Una delle sfide storiche della backpropagation nelle reti profonde è il vanishing gradient: quando l'errore viene propagato all'indietro attraverso molti layer, i gradienti possono diventare progressivamente più piccoli (specialmente con funzioni di attivazione come la sigmoide), fino a scomparire. I pesi dei layer iniziali non vengono più aggiornati efficacemente, bloccando l'apprendimento. Le soluzioni a questo problema hanno cambiato la storia dell'AI:

• ReLU (Rectified Linear Unit): funzione di attivazione che mantiene gradienti costanti per input positivi, diventata lo standard nei modelli profondi.
• Batch Normalization: normalizza gli output di ogni layer, stabilizzando la distribuzione dei gradienti.
• Connessioni residuali (skip connections): introdotte in ResNet, permettono al gradiente di fluire direttamente attraverso collegamenti bypass.
• Attention Mechanism: nei Transformer, l'attenzione fornisce percorsi diretti per il gradiente tra qualsiasi coppia di posizioni, eliminando il problema delle sequenze lunghe tipico delle RNN.

Applicazioni Pratiche

• Addestramento LLM: modelli come ChatGPT, Claude e Llama usano varianti di backpropagation con Adam su cluster di GPU.
• Computer vision: Vision Transformer e reti convoluzionali per riconoscimento immagini si basano sulla backpropagation per apprendere filtri visivi.
• Generative AI: i diffusion models e le GAN usano la backpropagation per addestrare generatori e discriminatori.
• Fine-tuning: tecniche come LoRA applicano backpropagation su un sottoinsieme di pesi per adattare modelli pre-addestrati a task specifici con costi ridotti.
• Reinforcement Learning: la backpropagation calcola i gradienti delle policy nei metodi policy-gradient e actor-critic.

Sviluppi Recenti

La backpropagination continua a evolversi. Framework come JAX di Google e PyTorch offrono automatic differentiation, calcolando i gradienti automaticamente con un solo forward pass. Tecniche come la mixed precision training usano formati a 16 bit (FP16/BF16) per velocizzare i calcoli su GPU, mantenendo la precisione numerica necessaria. La quantizzazione dei gradienti e il knowledge distillation permettono di addestrare modelli sempre più grandi su infrastrutture accessibili, democratizzando l'accesso al deep learning.