← Zurück zu allen Fragen
Was ist ein Token bei einem Sprachmodell?
Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell rechnet, oft ein Wortteil, ein ganzes Wort oder ein Satzzeichen. Bevor ein Modell einen Text verarbeitet, wird er in solche Tokens zerlegt (Tokenisierung). Die Anzahl der Tokens bestimmt unter anderem, wie viel Text ein Modell gleichzeitig lesen kann und was die Nutzung kostet, da viele Anbieter pro Token abrechnen.
Das erfährst du in der Folge zusätzlich:
- Der Tokenizer von OpenAI zum Ausprobieren
- Weitere Buzzwords: Context Window, Parameter, Fine-Tuning
Mehr dazu in Folge 18: LLM-Buzzwords entschlüsselt - Welche Bedeutung haben diese Begriffe? →
Verwandte Fragen
- Was ist das Context Window eines Sprachmodells?
- Was sind Halluzinationen bei KI und warum passieren sie?
- Was sind Parameter bei einem KI-Modell?
- Wie viel Arbeitsspeicher (RAM/VRAM) braucht man für ein KI-Modell?
- Was sind Reasoning-Modelle und was ist Chain of Thought?
- Wie funktioniert die Transformer-Architektur hinter ChatGPT & Co.?
- Was ist der Unterschied zwischen Künstlicher Intelligenz, Machine Learning und Deep Learning?
- Was ist der Unterschied zwischen Google und ChatGPT?
- Was ist Quantisierung bei KI-Modellen?
- Was ist RAG (Retrieval Augmented Generation)?
- Was sind Embeddings und wozu braucht man sie?
- Wie lernt ein neuronales Netz aus seinen Fehlern?