Zum Hauptinhalt springen

Trainiere dein eigenes Entscheidungsmodell: Jeff, Jeeves und der DIY-System-One-Stack (Sep. 2026)

Experte
What you'll learn
  • Das eigentliche Trainingsrezept hinter einem offenen Entscheidungsmodell erklären — Kreuzentropie über Optionsbuchstaben, eine Epoche und eine danach angepasste Temperatur — und warum Kalibrierung ein von der Genauigkeit getrennter Schritt ist
  • Die veröffentlichten Benchmark-Tabellen ehrlich lesen: die drei Zeilen, in denen ein 0,8B-Modell die kommerzielle API schlägt, und die zwei Zeilen, in denen es um 20–26 Punkte verliert
  • Zwischen vier Optionen entscheiden — gehostete API, offene Gewichte zero-shot, eigener Feintune oder ein simpler Embeddings-Klassifikator — anhand der einen Baseline-Zahl, die die meisten dieser Projekte erledigt
  • Selbst an einem Nachmittag auf einer einzigen GPU ein Jev-kompatibles Modell trainieren und ausliefern, inklusive der Regel zur Checkpoint-Auswahl, die das Ergebnis ehrlich hält
  • Wissen, wann es sich lohnt, einem Entscheidungsmodell das Denken zurückzugeben, obwohl es die 11-fache Latenz kostet, und wie eine Konfidenzschwelle den größten Teil der Genauigkeit für ein Drittel der Wartezeit erkauft

System-One-Entscheidungsmodelle haben die Kategorie erklärt: du schickst Programmzustand plus typisierte Fragen und bekommst kalibrierte Wahrscheinlichkeiten statt Text zurück. Diese Seite endete dort, wo die offenen Nachbauten Mitte September standen — Kev, Nimble, ein Logprob-Shim.

In der letzten Septemberwoche änderte die Geschichte ihre Form. Die Frage war nicht mehr „können wir die API klonen“, sondern „solltest du dein eigenes trainieren?“ Am 28. September veröffentlichte ein Projekt namens Jeff Feintunes mit 0,8B und 2B, die bis auf vier Punkte an Jevs Gesamt-Benchmarkwert herankommen und in ~22–28 ms auf einer Laptop-GPU laufen — trainiert in etwa zwei Stunden auf einer einzigen Workstation-Karte. Es war an diesem Tag die wichtigste KI-Geschichte auf Hacker News. Zwölf Stunden später veröffentlichte PostHog Jeeves, das das Gegenteil tut — es schraubt Reasoning an ein Entscheidungsmodell — und berichtet, Jev in Jevs eigener harter Stufe zu schlagen.

Beide sind MIT-lizenzierter Code mit Apache-2.0-Gewichten. Beide sind ehrlich genug, in ihren READMEs die Zeilen zu veröffentlichen, in denen sie verlieren. Diese Seite handelt davon, was diese Zeilen für dich bedeuten.

Die 72 Stunden, der Reihe nach​

Datum (2026)Was erschienWarum es zählt
15. Sep.Jev (TypeSafe AI), nur als APIDefinierte die Kategorie und die Request-Form /v1/systemone
21. Sep.Kev, Nimble, openjev-sglangBelegten, dass die Schnittstelle auf offenen Gewichten reproduzierbar ist
—AutoJev (denis-pplx)Das Rezept: Full-Weight-SFT von Qwen3.8-27B, 73.000 Beispiele, eine H200, 84,60 % gegen 69,83 % beim Basismodell
28. Sep.Jeff (firelex)Schrumpfte es — Student-Modelle mit 0,8B/2B, ~2 h auf einer Workstation-GPU, MLX-Serving, Spiele-Evals
29. Sep.Jeeves (PostHog)Kehrte die Prämisse um — ein denkendes Entscheidungsmodell, LoRA + RL auf Qwen3.5-9B

Der rote Faden: In zwei Wochen ging eine Kategorie von einer geschlossenen API mit unveröffentlichtem Training zu einem Rezept, das du über Nacht durchlaufen lassen kannst. AutoJev ist das Scharnier — es hat die Loss-Funktion veröffentlicht, und alles danach ist eine Variation dieser einen Idee.

Das Rezept, tatsächlich​

Nimm das Marketing weg und ein Entscheidungsmodell ist eine erstaunlich kleine Änderung an einem normalen LLM.

1. Der Loss ist Kreuzentropie über Optionsbuchstaben​

Dem Modell wird nicht beigebracht, „Entscheidungen zu treffen“. Ihm wird beigebracht, Wahrscheinlichkeitsmasse auf ein einzelnes Buchstaben-Token zu legen — A, B, C — an einer bestimmten Position. Du legst die Optionen als mit Buchstaben versehenes Panel aus, trainierst mit schlichter Kreuzentropie auf den korrekten Buchstaben, und bei der Inferenz liest du die Logits der Buchstaben-Token aus und normalisierst sie nur über die Optionen, die du angeboten hast.

Dieses eine Implementierungsdetail erklärt die prominenteste Einschränkung. Jeff begrenzt dich auf 26 Optionen, und die README sagt unverblümt, dass Positionen darüber hinaus „effektiv nie ausgewählt“ werden — weil das Alphabet ausging, nicht wegen irgendetwas Architektonischem. (Jev selbst wirbt mit bis zu 255 Optionen, was dir verrät, dass es Optionen anders kodiert.)

Jeeves geht den anderen Weg: einen Pointer-Head, der einen projizierten Hidden State per skaliertem Skalarprodukt gegen das Embedding jeder Option bewertet. Keine Buchstaben, keine Alphabet-Obergrenze. Die Struktur markiert es mit seltenen Tokens aus Qwens Tokenizer, die in echtem Text praktisch nie vorkommen — <|fim_prefix|> für den Zustand, <|fim_middle|> für Fragen, <|box_start|>/<|box_end|> um die Optionen, <|fim_suffix|> am Entscheidungspunkt. Tote Tokens als Begrenzer wiederzuverwenden ist der günstige Trick, der es vermeidet, das Vokabular zu vergrößern oder mit Inhalten zu kollidieren.

2. Die Kalibrierung ist eine separate Stufe mit einem Parameter​

Das ist der Teil, den Leute überspringen, und es ist der Teil, der die Ausgabe vertrauenswürdig macht.

Genauigkeit und Kalibrierung sind unterschiedliche Eigenschaften. Ein Modell kann die richtige Antwort fast jedes Mal zuerst platzieren und trotzdem „91 %“ sagen, wenn es in 75 % der Fälle richtig liegt — der unabhängige BANKING77-Pilot zu Jev fand genau diese Form der Überkonfidenz. Deshalb passen alle drei Projekte eine einzige skalare Temperatur auf einem zurückgehaltenen Dev-Set nach dem Training an und liefern sie neben dem Checkpoint aus. Logits durch sie teilen, Softmax, fertig.

AutoJev veröffentlicht, was das bringt, und es ist das klarste Vorher/Nachher im ganzen Stack:

MetrikBasis Qwen3.8-27BAutoJev-27B
Genauigkeit69,83 %84,60 %
ECE (Expected Calibration Error — niedriger ist besser)0,064830,04282
Brier-Score (niedriger ist besser)0,408340,22027

Beachte, dass sich alle drei bewegt haben, aber um unterschiedliche Beträge. Die Genauigkeit stieg um ~15 Punkte, während der ECE um ~34 % fiel — das Training machte das Modell sowohl richtiger als auch ehrlicher, und die Ehrlichkeit ist separat messbar. Wenn du dein eigenes trainierst und nur Genauigkeit berichtest, bist du nicht fertig.

3. Alles andere ist klein​

Eine Epoche. Batch 256. Full-Weight (Jeff, AutoJev) oder LoRA r=16 (Jeeves). Checkpoint-Auswahl auf einem Dev-Set, niemals auf dem Benchmark-Panel — Jeff sagt das ausdrücklich, und es ist die einzige Zeile, die ein glaubwürdiges Ergebnis eines kleinen Modells von einem geleakten trennt. Jeff hält außerdem mindestens die Hälfte jeder Trainingsfamilie in demselben Panel-Layout, das es bei der Inferenz sehen wird, was mehr zählt als es sollte; siehe den Abschnitt zur Formulierung weiter unten.

Ein 0,8B-Entscheidungsmodell trainieren (Jeffs eigenes Rezept)

# 1. Build the training mix from public datasets
uv run autojev-mix ...

# 2. One epoch, full-weight, lr 5e-6
scripts/train.sh RUN data/mix/public.jsonl data/mix 5e-6 40 Qwen/Qwen3.5-0.8B <revision> --epochs 1

# 3. Evaluate the SELECTED checkpoint against a held-out panel
uv run autojev-evaluate --data data/panel.jsonl --local \
--checkpoint checkpoints/RUN/selected --output runs/eval/RUN.json

Berichtete Kosten von Schritt 2: ~2 Stunden für 0,8B, ~3,5 Stunden für 2B, auf einer RTX PRO 6000. Das ist die Zahl, die daraus eine Titelseiten-Geschichte machte.

Lies die Benchmark-Tabelle quer​

Hier ist Jeffs veröffentlichtes Panel — 4.599 Fragen über fünf öffentliche Datensätze plus die harte Stufe von JevBench — mit der kommerziellen API in der letzten Spalte. Lies es zeilenweise, nicht anhand der Gesamtzeile.

BenchmarkJeff-0.8BJeff-2BJeff-Gemma4-E2BJev (API)
Gesamt79,1 %83,1 %81,6 %83,0 %
Financial PhraseBank96,4 %96,3 %96,1 %77,0 %
RAGTruth86,1 %88,9 %87,4 %77,3 %
WinoGrande68,6 %79,0 %77,4 %90,7 %
JudgeBench62,6 %64,6 %60,6 %78,6 %
BBH64,0 %68,0 %66,4 %94,3 %
JevBench Hard47,6 %53,3 %48,6 %73,3 %

Die Gesamtwerte liegen fast gleichauf. Die Zeilen liegen überhaupt nicht nah beieinander:

  • Wo das winzige Modell gewinnt, gewinnt es deutlich. Financial PhraseBank: 96,4 % gegen 77,0 % — ein 0,8B-Modell schlägt eine kommerzielle API um 19 Punkte. RAGTruth (bleibt diese Antwort der abgerufenen Passage treu?): 86,1 % gegen 77,3 %. Beides sind enge, hochvolumige, musterförmige Aufgaben — Sentiment über einem festen Vokabular, Quellentreue gegenüber einer gelieferten Passage. Wenn der heiße Pfad deines Agenten diese Form hat, ist ein lokales 0,8B kein Kompromiss, sondern das bessere Werkzeug.
  • Wo es verliert, ist es nicht knapp. BBH liegt 30 Punkte zurück. JevBench Hard liegt 26 Punkte zurück. Das sind die Zeilen, die mehrstufiges Reasoning brauchen, und die README sagt es unmissverständlich: kleine Entscheidungsmodelle geben dir „schnelle, kalibrierte Entscheidungen zwischen den Optionen, die du beschreibst“ und keine Argumentationskette.
  • Die Gesamtzahl ist der Durchschnitt dieser zwei Fakten und beschreibt daher nichts. Das ist die übertragbarste Lehre auf dieser Seite, und sie ist nicht spezifisch für Entscheidungsmodelle: jeder einzelne Schlagzeilenwert ist ein gewichteter Durchschnitt über eine Benchmark-Mischung, die nicht deine Mischung ist.

Die Spieletabelle ist die ehrliche​

Jeff hat außerdem Zero-Shot-Spielverhalten evaluiert — je 20 Episoden Doom, Frogger und Pac-Man — und das Ergebnis ist unangenehm genug, dass seine Veröffentlichung Vertrauen verdient:

ModellDoom (Kills)Frogger (Überquerungen)Pac-Man (Pellets / 98)
Zufall−0,05011,2
Handgeschriebener Regel-Bot6,5510,2594,1
Jeff-0.8B6,5510,357,0
Jeff-2B−0,96,041,2

Das 2B ist in allen drei Spielen schlechter als das 0,8B, das es in jeder Benchmark-Zeile übertrifft. Die Lesart der README ist, dass das größere Modell risikoscheuer geworden ist. Was auch die Ursache sein mag — die Paarung dieser zwei Tabellen ist der Punkt: die Benchmark-Rangfolge hat das Verhalten in einer Schleife nicht vorhergesagt. Und der handgeschriebene Regel-Bot gewinnt Pac-Man weiterhin um 37 Punkte — die Erinnerung daran, dass „kann ein Modell das“ und „sollte ein Modell das“ verschiedene Fragen sind.

Die Latenzklippe, die niemand erwähnt​

Median-Latenz pro Entscheidung, Fragen mit ~200 Tokens:

ModellRTX PRO 6000Apple M4 Max (MLX)CPU (32 Threads)
Jeff-0.8B22 ms28 ms463 ms
Jeff-2B24 ms60 ms708 ms
Jeff-Gemma4-E2B29 ms—1,0 s

Zwei Dinge sind daraus mitzunehmen:

  1. „Winziges Modell“ heißt nicht „läuft überall schnell“. Derselbe 0,8B-Checkpoint braucht 22 ms auf einer GPU und 463 ms auf 32 CPU-Threads — eine 21-fache Lücke. Ein Entscheidungsmodell ist nur bei GPU-Latenz ein Entscheidungsmodell; auf der CPU ist es ein langsamer API-Aufruf, den du zufällig selbst hostest. Wenn dein Plan war, „diese Aufrufe überall im Request-Pfad zu verstreuen“, dann ist die CPU-Spalte das Budget dieses Plans.
  2. Die 2,5-fache Parameterzahl kostet auf der großen GPU 2 ms. 22 → 24 ms. In dieser Größe wird ein einzelner Forward-Pass über ~200 Tokens von Overhead und Speicherbandbreite dominiert, nicht von Arithmetik — auf einer schnellen Karte ist das 2B relativ zum 0,8B also fast kostenlos, während derselbe Schritt auf dem M4 Max das 2,1-Fache kostet (28 → 60 ms). Wähle dein Modell pro Deployment-Ziel, nicht nach der Parameterzahl.
Guided walkthrough1 of 6
  1. Mit uv installieren, einen Checkpoint von Hugging Face ziehen, den Server starten. Du willst die Zero-Shot-Zahl auf DEINEN Daten haben, bevor du entscheidest, dass Training nötig ist — das von Praktikern am häufigsten berichtete Ergebnis ist, dass Zero-Shot nicht gut genug ist, und das ist in zwanzig Minuten viel günstiger herauszufinden als nach einem Trainingslauf.

Ein Jev-kompatibles Modell lokal betreiben und ihm eine echte Anfrage schicken

# Apple silicon (MLX backend)
uv sync --no-default-groups --extra mac
uv run --no-default-groups hf download mstrasser/Jeff-Qwen3.5-0.8B --local-dir checkpoints/jeff-0.8b
JEFF_BACKEND=mlx JEFF_CHECKPOINT=checkpoints/jeff-0.8b PORT=8765 \
uv run --no-default-groups --extra mac jeff-serve

# Two independent questions, one request, one parallel pass
curl -s localhost:8765/v1/systemone -H 'content-type: application/json' -d '{
"model": "jeff-latest",
"state": "Refund request: the customer says the parcel arrived crushed and wants their money back.",
"questions": {
  "route": {"type": "choice", "instructions": "Which team should handle this?",
            "criteria": {"1": "Refunds and payments", "2": "Damaged or lost parcels", "3": "Account and login problems"}},
  "angry": {"type": "noul", "instructions": "Is the customer angry?"}
}
}'

Die unangenehme Frage: brauchst du überhaupt ein Modell?​

Die schärfste Kritik im Hacker-News-Thread war nicht, dass Jeff schlecht abschneidet. Sie war struktureller Natur: wenn du es ohnehin auf deinen eigenen gelabelten Daten feintunen musst, hast du keinen Zero-Shot-Klassifikator gekauft — du hast einen etwas umständlichen Weg gekauft, einen Klassifikator zu trainieren, und das Feld hat dafür schon günstigere.

Die Zahlen in diesem Thread stützen es, das ernst zu nehmen. Ein Kommentator berichtete, das 0,8B zero-shot auf der Klassifikation von Stellenanzeigen getestet und unbrauchbar gefunden zu haben, wobei auch das 2B noch Kategorien übersah. Ein anderer berichtete, dass schlichte Embeddings plus ein logistischer Regressions-Head 93,0 % auf BANKING77 erreichten, mit einem etwa 15-mal kleineren Modell als die verglichenen Entscheidungsmodelle — gegenüber der Form von 87,4 % Konfidenz bei 75,3 % Genauigkeit, die der unabhängige Jev-Pilot auf demselben Datensatz fand.

Also die ehrliche Entscheidungstabelle:

SituationNimm
Eine Handvoll fester Labels, viele Beispiele, Latenz zähltEmbeddings + logistische Regression. Am kleinsten, am schnellsten, trainiert in Sekunden. Schlage das, bevor du irgendetwas anderes erwägst.
Labels ändern sich häufig, oder Fragen werden pro Anfrage in Prosa formuliertZero-Shot-Entscheidungsmodell — das Schema ist die Schnittstelle, und die ist das eigentliche Produkt
Eine hochvolumige Domäne, du hast Labels, du hast für einen Nachmittag eine GPUFeintune. Jeffs Schach-Lauf ging von 15,5 % auf 55,8 %; ein Feintune für Sprachnavigation auf ~11.000 Beispielen ging in unter 30 Minuten von 31,7 % auf 95,8 %
Wirklich harte, mehrstufige UrteileReasoning — Jeeves, oder ein Frontier-Modell hinter einer Kaskade
Du brauchst es heute Nachmittag lauffähig und das Volumen ist niedrigGehostete API. Deine eigene GPU ist auch nicht kostenlos

Die allgemeine Regel darunter: ein Entscheidungsmodell verdient seinen Platz, wenn das Schema der wertvolle Teil ist — beliebige typisierte Fragen, in Prosa, in einem Durchlauf aufgelöst. Wenn dein Labelset fest und bekannt ist, zahlst du modellförmige Kosten für klassifikatorförmige Arbeit.

Jeeves: das Denken zurückgeben​

Jevs Gründungsversprechen war, dass diese Modellklasse keinen Text generiert. PostHogs Jeeves prüft diese Prämisse direkt, indem es ein Entscheidungsmodell erst denken und dann entscheiden lässt, auf Qwen3.5-9B mit LoRA r=16 und einem Pointer-Head.

Das Training läuft in drei Stufen: SFT (19.126 Fragen aus 12 öffentlichen Datensätzen plus synthetische Policy-Daten, die Hälfte mit Argumentationsketten, 2 Epochen / 596 Schritte auf 8 GPUs), dann CISPO-Reinforcement-Learning (9.992 Fragen, je 8 Rollouts bei Temperatur 1, Denken auf 2.560 Tokens begrenzt — ein 624-Schritt-Plan, der absichtlich bei Schritt 402 gestoppt wurde, weil die Kalibrierung darüber hinaus schlechter wurde), dann dieselbe Anpassung der skalaren Temperatur.

Berichtete Ergebnisse:

BenchmarkJeevesJevKev-9B
Test gesamt0,8890,8570,822
JevBench gesamt (231 Fälle)0,9350,8660,715
JevBench hart (111 Fälle)0,8650,7300,451

Und die Ablation, die mehr zählt als jede dieser Zeilen: 0,804 ohne Reasoning, 0,840 mit. Denken ist auf diesem Modell etwa 3,6 Punkte wert.

Jetzt bepreise es. Auf einer H100 antwortet Jeeves in ~0,3 s mit abgeschaltetem Reasoning und im Median in 3,3 s mit eingeschaltetem — 17,1 s beim p90. Das ist etwa die 11-fache Median-Latenz und ein Tail, der eine Größenordnung schlechter ist, für 3,6 Punkte. Die eigene Gegenmaßnahme der README ist das interessante Engineering: das Denken auf 2.560 Tokens begrenzen und eine Konfidenzschwelle von 0,9 hinzufügen, die früh abbricht, wenn das Modell schon sicher ist, was den Median auf 2,0 s bringt. Reasoning wird zu etwas, das du nur für die Fälle ausgibst, die es brauchen.

Zwei Vorbehalte, die Jeeves über sich selbst veröffentlicht: es ist schlechter als Jev bei wissensintensiven Aufgaben (MMLU 0,793 gegen 0,900) — Reasoning fügt keine Fakten hinzu — und seine Argumentationsketten wurden nie auf Sprachkonsistenz belohnt, sie sind also nicht zuverlässig lesbar. Wenn du die Kette als Audit-Trail wolltest, prüfe, dass sie verständlich ist, bevor du sie jemandem versprichst.

Fallstricke, die dich einen Tag kosten werden​

  • Konsistenz der Formulierung schlägt Qualität der Formulierung. Jeff berichtet, dass die Frogger-Überquerungen von 15 auf 23 stiegen, nur weil jede Option genauso formuliert wurde wie ihre Geschwister. Optionen werden in einem Durchlauf gegeneinander verglichen — asymmetrische Formulierung ist ein Daumen auf der Waage. Halte die Keys kurz und stecke die Beschreibung in den Text.
  • Prompt-Formate lassen sich nicht zwischen Entscheidungsmodellen übertragen. Jevs Stil mit Peilungszahlen ließ sich nicht auf Jeff übertragen; stattdessen war eine konsequenzorientierte Formulierung nötig. Behandle einen Wechsel des Entscheidungsmodells als Nachjustierungsarbeit, genau wie das Portieren von Prompts zwischen Modellen.
  • Die 26-Optionen-Grenze ist stumm. Nichts löst einen Fehler aus. Optionen ab 27 gewinnen einfach nie. Teile große Labelsets stattdessen in eine zweistufige Entscheidung auf.
  • Englisch, nur Text bei Jeff. AutoJev akzeptiert Base64-Bilder; Jeff nicht.
  • Zero-Shot-Qualität hängt von der Arbeitslast ab und ist oft enttäuschend. Mehrere Praktiker berichteten, dass die kleinen Modelle auf ihren eigenen echten Klassifikationsaufgaben unbrauchbar waren. Miss an Tag eins auf deinen Daten.
  • Das Filtern von Trainingsdaten-Leaks ist deine Aufgabe. Jeff generiert synthetische Daten lokal mit Leak-Filterung, genau weil ein Entscheidungsmodell, das nah an seinem Eval-Panel trainiert wurde, eine Zahl produziert, die nichts bedeutet.
  • Beide Repos sind Tage alt. Flags, Checkpoint-Namen und Defaults bewegen sich. Nichts hier ersetzt die aktuelle README.
Vokabular für DIY-Entscheidungsmodelle
Drücke Enter oder die Leertaste, um die Karte umzudrehen. Nutze die Pfeiltasten links und rechts, um zwischen den Karten zu wechseln.Begriff angezeigt.
1 / 8

Check yourself

0/5
  1. Jeff-0.8B erreicht 96,4 % auf Financial PhraseBank gegen Jevs 77,0 %, aber 64,0 % auf BBH gegen Jevs 94,3 %. Was ist der richtige Schluss?
  2. Warum begrenzt Jeff dich auf 26 Optionen pro Frage?
  3. Dein feingetuntes Entscheidungsmodell erreicht 88 % Genauigkeit auf deinem Dev-Set. Was muss noch getan werden, bevor du es die menschliche Prüfung überspringen lässt?
  4. Jeeves berichtet 0,804 Genauigkeit mit abgeschaltetem Reasoning und 0,840 mit eingeschaltetem, bei 0,3 s gegen 3,3 s im Median (17,1 s p90). Was ist die Lehre für das Engineering?
  5. Welche Baseline solltest du zuerst messen, bevor du dein eigenes Entscheidungsmodell auf einem festen Labelset trainierst?

Quellen & weiterführende Lektüre​

Weiter​