27 miliardi di parametri in 3,9 GB
Il 14 luglio 2026 PrismML ha rilasciato Bonsai 27B, il primo modello AI da 27 miliardi di parametri in grado di girare localmente su uno smartphone. Non è un modello mini o una versione ridotta: è Qwen3.6-27B, un modello frontier class, compresso da 54 GB a soli 3,9 GB tramite quantizzazione 1-bit. Il risultato è un LLM che gira su iPhone 17 Pro a circa 11 token al secondo, senza cloud, senza server, senza connessione internet.
È un momento di rottura. Fino a ieri, i modelli da 27 miliardi di parametri richiedevano GPU dedicate o cloud API. Oggi possono stare in tasca.
Come funziona la quantizzazione 1-bit
Il cuore dell'innovazione è la quantizzazione 1-bit, una tecnica che rappresenta i pesi del modello con valori binari {-1, +1} invece dei tradizionali 16-bit floating point. Questo riduce la memoria necessaria di un fattore 16x, con un costo in accuratezza minimo. PrismML utilizza anche group-wise scaling, che porta gli effective bits per weight a 1,125, un valore che mantiene oltre il 90% delle performance full-precision.
La variante ternaria, leggermente meno compressa, occupa 5,9 GB e offre qualità superiore per chi ha più memoria disponibile. Entrambe le varianti evitano le "escape hatches" ad alta precisione che altre soluzioni usano come scorciatoia, mantenendo una compressione genuina e uniforme.
Le performance: dal telefono al datacenter
Bonsai 27B non è solo per telefoni. Le speed misurate sono:
- iPhone 17 Pro: ~11 token/s (1-bit, 3,9 GB)
- MacBook M5 Max: ~87 token/s
- RTX 5090: ~163 token/s
- H100 con speculative decoding: 143,8 token/s (1,37x speedup)
11 token/s su iPhone è reale ma modesto, al di sotto della soglia di 15-20 token/s che si percepisce come "naturale" in una conversazione. Ma per elaborazione in background, analisi documentale offline e task batch, è perfettamente utilizzabile. E è solo l'inizio.
262K token di contesto, on-device
Un altro record: Bonsai 27B supporta 262.144 token di contesto direttamente sul dispositivo. Questo è reso possibile da tre scelte architetturali:
- Hybrid-attention backbone: Qwen3.6-27B usa ~75% di linear attention, che riduce drasticamente il costo computazionale del contesto lungo
- 4-bit KV-cache quantization: comprime la cache di inferenza per fit nel budget di memoria del telefono
- Memory-bandwidth optimization: meno byte per step significa più token al secondo
262K token on-device significano che puoi caricare un documento lungo, un report o una codebase e analizzarli interamente senza mai inviare dati a un server.
Un modello da 27 miliardi di parametri con 262K token di contesto che gira sul tuo telefono. Non è il futuro, è oggi.
Speculative decoding:加速 senza perdere qualità
PrismML non si è fermata alla compressione. Ha sviluppato DSpark, un drafter (modello piccolo) addestrato specificamente contro Bonsai 27B come target. Con speculative decoding a draft depth k=4, il sistema raggiunge una accepted length τ=3,6, ovvero 143,8 token/s su H100, con uno speedup di 1,37x.
La caratteristica chiave è che la verifica è lossless: l'output è distribution-identical rispetto all'inferenza standard. Nessun trade-off tra velocità e qualità.
WebGPU: l'LLM nel browser
Bonsai 27B non richiede neanche un'app nativa. PrismML ha pubblicato una versione WebGPU che gira direttamente nel browser, sfruttando le API grafiche per l'inferenza on-device. Questo significa che qualsiasi dispositivo con un browser moderno (desktop, laptop, tablet, telefono) può eseguire un modello 27B senza installazione.
Le implicazioni sono enormi per la privacy-first AI: zero data transfer, zero API cost, zero dipendenza da cloud provider. L'inferenza avviene interamente sul dispositivo dell'utente.
Open source: Apache 2.0
Tutto è open source sotto licenza Apache 2.0: i pesi 1-bit e ternari, il drafter DSpark, le pipeline di inferenza MLX e WebGPU. Gli sviluppatori possono scaricare, modificare e deployare Bonsai 27B liberamente. I pesi sono disponibili su Hugging Face nei repository prism-ml/Bonsai-27B-mlx-1bit e prism-ml/Bonsai-27B-mlx-ternary.
Questo è un segnale forte all'ecosistema: l'AI on-device non è più un walled garden controllato dai produttori di smartphone, ma un territorio aperto dove chiunque può innovare.
Il contesto: la corsa all'on-device AI
Bonsai 27B arriva in un momento di accelerazione per l'AI on-device. Apple Intelligence sta per entrare in Cina con i modelli Qwen di Alibaba e Baidu. Google ha lanciato Gemini 3.5 Flash per il tier consumer. Meta porta il Business Agent su WhatsApp. Tutti puntano all'edge AI, ma con approcci diversi:
- Apple: modelli small custom, integrati nel SO, con cloud come fallback
- Google: modelli Gemini Flash, ibrido on-device/cloud con Gemini Nano
- PrismML: modelli frontier compressi estremamente, open source, cross-platform
La differenza di PrismML è radicale: invece di costruire modelli piccoli per il mobile, comprime modelli grandi per farli stare sul mobile. Questo preserva più capacità e knowledge, a costo di velocità inferiore.
Perché importa
Bonsai 27B segna un cambio di paradigma. Quando un modello 27B può girare su un telefono, le implicazioni sono sistemiche:
- Privacy: i dati non lasciano mai il dispositivo. Fondamentale per sanità, finanza, legal
- Costi: zero API cost, zero cloud billing. L'inferenza è gratuita dopo il download
- Offline: AI funzionante senza connettività. Cruciale per territori remoti o scenari mission-critical
- Sovranità: nessuna dipendenza da cloud provider esteri per l'inferenza
Per gli sviluppatori italiani, Bonsai 27B apre possibilità concrete: app AI offline, assistenti personali privacy-first, strumenti di analisi documentale on-device. Tutto open source, tutto modificabile, tutto deployable senza infrastruttura cloud.
Alla AISAC aiutiamo le aziende a integrare soluzioni AI on-device nei loro prodotti. Se vuoi capire come Bonsai 27B e la quantizzazione estrema possono trasformare le tue applicazioni, parliamone insieme.