Quantization
Tecnica di compressione che riduce la precisione dei numeri in un modello AI per renderlo più piccolo e veloce senza perdere troppa intelligenza.
AI Leggera e Veloce: La Quantizzazione
La Quantizzazione è il processo di "arrotondamento" dei pesi di un modello. Invece di usare numeri decimali lunghissimi (32-bit), li trasformiamo in numeri più semplici (8-bit o 4-bit). È come passare da una foto ad altissima risoluzione a una compressa: occupa molto meno spazio ma l'immagine è ancora perfettamente riconoscibile.
Perché è fondamentale
Senza quantizzazione, i modelli moderni come Llama-3 non potrebbero mai girare su un laptop comune o su uno smartphone. Riduce il bisogno di memoria video (VRAM) fino al 75%, permettendo la "democratizzazione" dell'AI locale.
Il Rapporto Qualità/Peso
La sfida è trovare il punto di equilibrio. Una quantizzazione troppo "aggressiva" (es. 2-bit) può far diventare l'AI confusa o incoerente. I formati più popolari oggi, come GGUF o EXL2, offrono un compromesso quasi perfetto tra velocità e intelligenza.