Pre-training
La massiccia fase iniziale di addestramento in cui un'AI legge enormi quantità di dati non etichettati per imparare le basi del mondo.
Le Scuole Elementari dell'AI: Il Pre-training
Il Pre-training è la fase più costosa e lunga nella creazione di un'AI. Il modello legge internet intero (o enormi dataset selezionati) per imparare la grammatica, i fatti storici, il codice e il senso comune, senza un obiettivo specifico.
Creare una Fondazione
Il risultato del pre-training è un "Foundation Model". È un modello grezzo, che sa tutto ma non sa ancora come comportarsi con un utente umano. È come un genio che ha letto tutti i libri della biblioteca ma non ha mai parlato con nessuno.
Economia di Scala
Solo pochissime aziende al mondo possono permettersi il pre-training di modelli di punta, a causa degli investimenti miliardari in chip e dei mesi di tempo necessari per completare il processo.