Google komprimiert LLM-Cache auf 3 Bit ohne Genauigkeitsverlust

Googles TurboQuant druckt den KV-Cache groer Sprachmodelle auf 3 Bit. Die Genauigkeit soll bleiben, die Geschwindigkeit sich vervielfachen.