← Zurück zu allen Fragen
Wie viel Arbeitsspeicher (RAM/VRAM) braucht man für ein KI-Modell?
Wie viel Speicher ein LLM braucht, hängt von mehreren physischen Ebenen ab: VRAM auf der Grafikkarte, RAM als Arbeitsspeicher und Massenspeicher wie SSD oder HDD. Apple-Rechner mit M-Chips nutzen zusätzlich sogenannten Unified Memory, bei dem sich CPU und GPU denselben Speicher teilen, anders als bei klassischen Windows-PCs mit dedizierter Grafikkarte. Wie viel davon ihr wirklich braucht, hängt zudem von Kontextlänge und Anzahl gleichzeitiger Nutzer ab, nicht nur von der Modellgröße.
Das erfährst du in der Folge zusätzlich:
- Warum aktuelle RAM-Preissteigerungen mit dem KI-Boom zusammenhängen
- Was Unified Memory bei Apple M-Chips anders macht
Mehr dazu in Folge 47: Speicher für KI-Modelle - RAM, VRAM, Unified Memory einfach erklärt →
Verwandte Fragen
- Was ist das Context Window eines Sprachmodells?
- Was sind Halluzinationen bei KI und warum passieren sie?
- Was sind Parameter bei einem KI-Modell?
- Was sind Reasoning-Modelle und was ist Chain of Thought?
- Wie funktioniert die Transformer-Architektur hinter ChatGPT & Co.?
- Was ist der Unterschied zwischen Künstlicher Intelligenz, Machine Learning und Deep Learning?
- Was ist der Unterschied zwischen Google und ChatGPT?
- Was ist ein Token bei einem Sprachmodell?
- Was ist Quantisierung bei KI-Modellen?
- Was ist RAG (Retrieval Augmented Generation)?
- Was sind Embeddings und wozu braucht man sie?
- Wie lernt ein neuronales Netz aus seinen Fehlern?