← Zurück zu allen Fragen
Kann ich ein LLM lokal und kostenlos auf meinem PC betreiben?
Ja! Das funktioniert mit Hilfe sogenannter Open-Weight-Modelle. Auf Plattformen wie bspw. Hugging Face lassen sich Modelle wie in einer Art App Store in verschiedenen Formaten herunterladen. Mit Hilfe von weiteren, frei verfügbaren Tools wie z. B. Ollama könnt ihr die Modelle schnell und einfach auf dem eigenen PC, Mac oder Home Server betreiben. Das ist kostenlos und funktioniert ohne Internetverbindung.
Das erfährst du in der Folge zusätzlich:
- Wie gross das Modell auf meinem PC sein kann
- Anleitung und technische Hintergründe, wie man vorgeht
Mehr dazu in Folge 49: Open-Weight-Modelle: So installiert ihr ein LLM auf eurem eigenen PC →
Verwandte Fragen
- Was ist das Context Window eines Sprachmodells?
- Was sind Halluzinationen bei KI und warum passieren sie?
- Was sind Parameter bei einem KI-Modell?
- Wie viel Arbeitsspeicher (RAM/VRAM) braucht man für ein KI-Modell?
- Was sind Reasoning-Modelle und was ist Chain of Thought?
- Wie funktioniert die Transformer-Architektur hinter ChatGPT & Co.?
- Was ist der Unterschied zwischen Künstlicher Intelligenz, Machine Learning und Deep Learning?
- Was ist der Unterschied zwischen Google und ChatGPT?
- Was ist ein Token bei einem Sprachmodell?
- Was ist Quantisierung bei KI-Modellen?
- Was ist RAG (Retrieval Augmented Generation)?
- Was sind Embeddings und wozu braucht man sie?
- Wie lernt ein neuronales Netz aus seinen Fehlern?
- Was ist eine Kostenfunktion und wie lernen KI-Modelle damit?
- Was ist Mixture of Experts (MoE) bei KI-Modellen?