Was ist Model Distillation (Knowledge Distillation)?

Bei der Knowledge Distillation lernt ein kleineres Modell, der Student, von einem grösseren Modell, dem Teacher. Entscheidend ist, dass der Student nicht nur die richtige Antwort übernimmt, sondern die vollständige Wahrscheinlichkeitsverteilung des Teachers, die sogenannten Soft Targets. Darin steckt zusätzliche Information darüber, welche Alternativen das grosse Modell für wie plausibel hält. Dieses Dark Knowledge ist der Grund, warum ein destilliertes Modell mit deutlich weniger Parametern nahe an die Qualität des Teachers herankommt.

Mehr dazu in Folge 60: Model Distillation erklärt: Klauen chinesische Labore amerikanische KI? →