Inference
La fase operativa in cui un modello AI già addestrato viene utilizzato per generare previsioni o risposte su dati reali.
L'AI in Azione: Cos'è l'Inference
L'Inference (Inferenza) è il momento in cui l'intelligenza artificiale "lavora". Dopo che un modello è stato addestrato (Training), viene messo in produzione per rispondere alle domande degli utenti. Mentre il training richiede mesi e supercomputer, l'inferenza deve essere istantanea ed economica.
Ottimizzazione dell'Inferenza
Per le aziende, il costo dell'inferenza è la voce di spesa principale. Tecniche come la Quantizzazione e il Pruning (taglio dei pesi inutili) servono a rendere l'inferenza più veloce, permettendo all'AI di rispondere in millisecondi anche su dispositivi con poca memoria.
Inference at the Edge
L'inferenza può avvenire nel cloud o "at the edge" (sul dispositivo). L'inferenza locale è preferita per applicazioni critiche come la guida autonoma, dove non ci si può permettere il ritardo della connessione internet.