La quantizzazione degli LLM non è una decisione unica: bisogna valutare pesi, attivazioni e cache, il formato numerico, l’accuratezza e la capacità ottenuta. FP8 è più robusto ma sotto gli 8 bit è fondamentale fare test dedicati, tarati su hardware e dimensione del batch. @computer https://pub.towardsai.net/quantization-is-four-decisions-not-one-c52a0b3f296e