Fine-Tuning vs RAG - Wann nutze ich welche Methode?
Wann nutzt man eher Fine-Tuning und wann doch lieber RAG?
Worum geht’s in dieser Folge?
In den letzten Folgen haben wir uns RAG (Retrieval Augmented Generation) und Fine Tuning im Zusammenhang mit Künstlicher Intelligenz (KI) und Large Language Models (LLMs) angeschaut. Doch was ist eigentlich derUnterschied zwischen diesen Ansätzen? Und wann nutzt man eher welche Methode?
Beides sind Möglichkeiten, in eine Richtung, entweder dasModell (Fine Tuning) oder den Kontext (RAG) zu optimieren. Wir schauen uns die Vor- und Nachteile an und leiten dementsprechendAnwendungsszenarien für die Praxis ab. Anhand kurzer Beispiele könnt ihr euch selbsttesten, ob ihr den Unterschied verstanden habt. Schreibt gerne einen konkreten Anwendungsfall oder eine Ideein die Kommentare, damit wir das gemeinsam diskutieren können.
Kleine Anmerkung zu dem was ich in der Folge gesagt habe,weil das etwas verwirrend gesagt wurde von mir: Bei RAG ladet ihr nicht ALL euer externes Wissen in dasContext Window, sondern nur das, was zur Beantwortung der Frage oder des UserPrompts gebraucht wird. Eben den relevanten Kontext. Dennoch kann das unterUmständen, vor allem mit einem längeren Gesprächsverlauf, System Prompts etc.,das Context Window sprengen.
Shownotes
- Fine-Tuning von LLMs vs. RAG
- Wann nutzt man was?