Thumbnail 1787609
thumbnail
Large (256x256)

Articles

heise+ | Lokale KI schneller machen: So zünden Sie den LLM-Turbo
Ein technischer Kniff bei lokalen LLMs kann die Generierungsrate massiv erhohen: die Multi Token Prediction. Wir haben getestet, wie sie LLMs beschleunigt.
1