Thumbnail 1785588
thumbnail
Large (256x256)

Articles

heise+ | Googles TurboQuant-Verfahren: Praxistest auf einer AMD-GPU
Googles TurboQuant komprimiert den KV-Cache groer Sprachmodelle auf 3 Bit. Tests auf einer AMD-Karte zeigen: Das Kernversprechen stimmt - mit Nebeneffekten.
1