← Zurück zur Übersicht
← Zurück zur Übersicht
Wissensfolge 9. Juli 2026 5 Min.
So läuft KI auf deinem PC - Quantisierung von LLMs erklärt
Eine Methode, um große Modelle gezielt zu verkleiner, für Computer-Speicher zu optimieren und dabei dennoch nicht zu viel Qualität zu verlieren.
Worum geht’s in dieser Folge?
Large Language Models (LLMs) wie GPT auf dem eigenen PC oder Smartphone laufen lassen? Ja, das geht!
Quantisierung ist eine Schlüsseltechnik, mit der das funktioniert. Damit können riesige KI-Modelle drastisch verkleinern lassen, ohne dabei komplett auf Qualität zu verzichten. Du erfährst in der Folge: Warum LLMs so viel Speicherplatz brauchen (und was FP32, FP16 und INT8 damit zu tun haben).Wie Quantisierung den Speicherbedarf eines Modellsreduziert.
Was die Vor- und Nachteile sind und wie du dank Quantisierung, ein LLM theoretisch lokal auf deinem PC, Mac oder Home-Server betreiben könntest.
Shownotes
- Quantisierung von LLMs
- Speicheroptimierung