Zum Hauptinhalt springen

Fine-Tuning vs. Prompting vs. RAG

Fortgeschritten
What you'll learn
  • Die drei Hebel, die du hast, wenn das Modell nicht das tut, was du willst
  • Die Reihenfolge, die tatsächlich funktioniert — und warum Fine-Tuning fast nie Schritt 1 ist
  • Wann RAG die richtige Lösung ist und wann es überzogen wäre
  • Worin Fine-Tuning wirklich gut ist (und worin nicht)
  • Wie sich die drei in einem echten Produktivsystem kombinieren

Wenn das Modell nicht das tut, was du willst, gibt es drei Hebel — und die Leute greifen zuerst nach dem teuren. Hier ist die Reihenfolge, die tatsächlich funktioniert.

Probiere in dieser Reihenfolge​

Guided walkthrough1 of 3
  1. Klarere Anweisungen, Beispiele, eine Rolle, Ausgabe-Vorgaben (siehe /docs/prompting/basics). Behebt die Mehrheit der Probleme, kostet nichts extra und lässt sich sofort iterieren. Das meiste „das Modell ist schlecht in X“ entpuppt sich als „der Prompt war vage.“

Die Entscheidungstabelle​

Dein ProblemGreife zu
Vage/falsche Ausgaben, falsches FormatPrompting
Kennt deine Daten nicht / braucht aktuelle InfosRAG
Braucht einen sehr bestimmten Stil/ein bestimmtes Verhalten, konsistent, im großen MaßstabFine-Tuning
Muss Aktionen ausführen(Nicht diese — das ist Tool-Nutzung/Agenten)
Welcher Hebel löst welches Problem
Drücke Enter oder die Leertaste, um die Karte umzudrehen. Nutze die Pfeiltasten links und rechts, um zwischen den Karten zu wechseln.Begriff angezeigt.
1 / 4

Warum die Leute es falsch machen​

Fine-Tuning klingt nach "dem Modell etwas beibringen", also fühlt es sich wie die eigentliche Lösung an. Aber es ist die langsamste, teuerste, unflexibelste Option, es fügt kein frisches Wissen gut hinzu (das macht RAG), und es ist leicht, es schlecht zu machen. Schöpfe zuerst Prompting und RAG aus — Schritt 3 wirst du meist nicht brauchen.

Watch out
  • Ein Frontier-Modell auf deinen Daten fine-zu-tunen fügt NICHT zuverlässig neue Fakten hinzu — es verschiebt Stil und Verhalten. Fakten halluzinieren weiterhin.
  • Ein fine-getuntes Modell ist an diese Basis-Version gebunden. Wenn der Anbieter eine bessere Basis ausliefert, trainierst du neu oder bleibst hängen.
  • Schlechte Trainingsdaten verstärken schlechtes Verhalten — ein mittelmäßiger Datensatz macht das Modell schlechter, nicht besser.
  • Die meisten „wir brauchen Fine-Tuning“-Anfragen sind eigentlich „unser Prompt sind 40 Zeilen ad-hoc-Regeln“ — refaktoriere zuerst den Prompt.

:::tip Sie lassen sich kombinieren Ein starkes System ist oft ein guter Prompt + RAG für Wissen, wobei Fine-Tuning für einen eng umrissenen Verhaltensbedarf reserviert bleibt. Sie schließen sich nicht gegenseitig aus. :::

Ein konkretes Beispiel: „Das Modell kann keine Fragen zu unserem Produkt beantworten“

# Wrong first move: fine-tune on the product manual.
# Right first move: retrieve the relevant chapter and inject it.

# 1. PROMPTING (baseline)
System: "You are a support agent for Acme Widgets. Be concise, cite doc sections."
User:   "Does the Widget Pro support Bluetooth 5.3?"
# Fails — model has no idea what a Widget Pro is.

# 2. + RAG (usually enough)
System: "You are a support agent for Acme Widgets. Be concise, cite doc sections."
Context: [top-3 chunks from product manual retrieved by embedding search]
User:    "Does the Widget Pro support Bluetooth 5.3?"
# Works — model reads the retrieved specs and answers with a citation.

# 3. + Fine-tuning (only if house voice / format is still drifting after 1+2)
# Train on 500-2000 (prompt, ideal answer) pairs to lock in the style — NOT to teach facts.

Selbstkontrolle

0/4
  1. Das Modell gibt vage, formatfremde Antworten auf deine Aufgabe. Was probierst du zuerst?
  2. Dein Modell kennt dein internes Wiki nicht. Welcher Hebel?
  3. Worin ist Fine-Tuning TATSÄCHLICH gut?
  4. Welche Kombination hat die Form eines reifen Produktivsystems?
Key takeaways
  • Drei Hebel, wenn das Modell nicht das tut, was du willst: Prompting, RAG, Fine-Tuning — in dieser Reihenfolge.
  • Prompting behebt ~9 von 10 „Modell ist schlecht in X“-Beschwerden bei Nullkosten und sofortiger Iteration.
  • RAG ist die richtige Lösung, wenn die Lücke fehlendes oder frisches Wissen ist — Fine-Tuning ist NICHT zuverlässig, um Fakten hinzuzufügen.
  • Fine-Tuning ist ein letztes Mittel für konsistenten Stil/Format/Verhalten im großen Maßstab und braucht Hunderte bis Tausende hochwertiger Beispiele plus das Aufrufvolumen, um sich zu rechtfertigen.
  • In einem echten Produktivsystem setzen sich die drei zusammen: starker Prompt + RAG + enges Fine-Tuning.

Weiter​