Model Distillation erklärt: Klauen chinesische Labore amerikanische KI?
Wie lernen kleinere Modelle von grösseren Modellen? Und die politischen Auswirkungen und aktuellen Geschehnisse zusammengefasst.
Worum geht’s in dieser Folge?
Die US-Regierung wirft chinesischen KI-Laboren Diebstahl im industriellen Massstab vor. Im April 2026 hat das Weisse Haus dazu ein eigenes Memorandum veröffentlicht, im September haben NSA, CISA und FBI mit einer gemeinsamen Sicherheitswarnung nachgelegt. Der Vorwurf behandelt systematische Destillation amerikanischer Frontier-Modelle.
Ich erkläre zunächst, was sog. Knowledge Distillation, Soft Targets und Dark Knowledge ist. Es wird schnell klar, dass das, worum eigentlich gestritten wird, gar nicht die Destillation selbst ist. Die Lage ist nicht ganz eindeutig und man muss immer betrachten, aus welcher Position heraus, die verschiedenen Akteure argumentieren.
Themen dieser Folge:
- Die Chronologie der Debatte um Destillation
- Knowledge Distillation: Teacher, Student, Soft Targets und Dark Knowledge
- Die Open-Weights-Debatte
🎧 Andere spannende Folgen:
Links & Quellen:
- Anthropic’s Statement zum Verbot von Open-Weight-Modellen: https://www.anthropic.com/news/position-open-weights-models
- NSTM-4, “Adversarial Distillation of American AI Models”, OSTP, 23.04.2026: https://www.whitehouse.gov/wp-content/uploads/2026/04/NSTM-4.pdf
- AEI, “How to Stop China from Freeriding on American AI”: https://www.aei.org/commentary/how-to-stop-china-from-freeriding-on-american-ai/
- Just Security, “From Diagnosis to Deterrence”: https://www.justsecurity.org/137498/diagnosis-deterrence-us-response-distillation/
- Lawfare, “Knives Are Out for Open-Weight AI Models”: https://www.lawfaremedia.org/article/knives-are-out-for-open-weight-ai-models
- Lawfare, “The AI Model Distillation Paradox”: https://www.lawfaremedia.org/article/the-ai-model-distillation-paradox
- CNBC, “The U.S. says China’s AI progress is down to ‘distillation.’ But is it that clear cut?”: https://www.cnbc.com/2026/09/18/china-ai-progress-distillation-tech-download.html
Shownotes
- Knowledge Distillation erklärt: Wie kleine Modelle von grossen Modellen lernen
- Warum aus einer gängigen Trainingsmethode ein geopolitischer Streit geworden ist