Zum Hauptinhalt springen

Computer-Use-Agents im Vergleich

Experte

Jedes große Labor liefert nun ein Modell aus, das einen Bildschirm ansehen und darauf klicken kann. Anthropics Computer-Use-Tool, OpenAIs computer-Tool und Googles computer_use-Tool lösen alle dieselbe Art von Problem – einen Screenshot machen, eine Aktion entscheiden, sie ausführen, wieder einen Screenshot machen – und alle drei sind auf Protokoll-Ebene untereinander inkompatibel, auf eine Weise, die nicht offensichtlich ist, bis deine Klicks 40 Pixel daneben landen.

Diese Seite ist der Leitfaden auf Harness-Ebene, nicht das Ranking. Das Ranking ändert sich monatlich; die untenstehenden Fehlermodi sind seit dem ersten Preview dieselben.

What you'll learn
  • Die Agent-Schleife verstehen, die alle drei Anbieter teilen – und die drei Stellen, an denen sie divergieren
  • Den Koordinaten-Bug beheben, der die meisten ersten Versuche still zerstört (Retina, Downscaling und Bildgrößen-Limits)
  • Das Sicherheits-Gate jedes Anbieters kennen, denn es ist Teil des Protokolls, kein optionaler Zusatz
  • OSWorld ehrlich lesen: was die menschliche Baseline tatsächlich bedeutet
  • Reasoning-Effort richtig wählen – die günstigste Einstellung ist nicht die, die du erraten würdest

Die Schleife, die alle teilen​

Nimm das Branding weg, und alle drei sind derselbe Zustandsautomat:

Guided walkthrough1 of 5
  1. Das Modell erhält deine Anweisung und ein Bild des aktuellen Bildschirms. Manche Anbieter wollen zusätzlich die aktuelle URL oder eine kurze Historie der letzten Aktionen.

Die Konsequenz, die Menschen übersehen: Die einzige Wahrnehmung des Modells von der Welt ist das Bild, das du ihm sendest. Jedes Versagen unten ist eigentlich ein Versagen dieses Bildes oder des Koordinatenraums, den es impliziert.

Wo die drei divergieren​

Die Divergenz ist nicht „welches ist schlauer“. Es ist der Vertrag.

Anthropic (Claude)OpenAI (GPT)Google (Gemini)
AktionsraumRohe Desktop-Primitive: screenshot, left_click, type, key, scroll, drag, hold_key, wait, plus zoom in der neuesten Tool-VersionStrukturierte UI-Aktionen: click, double_click, scroll, type, keypress, drag, move, wait, screenshotSemantische Aktionen: nicht nur click/type, sondern navigate, go_back, go_forward, open_app, long_press – die Browser- und Mobile-Konzepte sind erstklassig
KoordinatenDu sendest Pixel-Dimensionen; das Modell gibt rohe Pixel-Koordinaten in diesem Raum zurückGleicher Pixel-Vertrag, mit empfohlenen Desktop-GrößenGleich, mit einem intent-Feld, das die Begründung hinter jeder Aktion erklärt
Loop-PlumbingTool-Ergebnis-Blöcke, die ein Bild tragencomputer_call → computer_call_output, verkeyt über call_id; previous_response_id trägt die Historie, damit du sie nicht neu sendestFunction-Call → function_result mit einem frischen Screenshot
Sicherheits-GateInjection-Klassifizierer laufen automatisch über Screenshotspending_safety_checks, die du explizit bestätigen musstsafety_decision mit Policy-Kategorien
Sweet SpotAllgemeine Desktop-/OS-Ebene-SteuerungDesktop und Browser, plus ein Code-AusführungspfadBrowser-first; stark bei Mobile; ausdrücklich nicht für Desktop-OS-Steuerung optimiert

Diese letzte Anthropic/Google-Zeile ist die, die die Architektur entscheidet. Googles Aktionsraum ist semantisch – go_back ist ein Konzept, das das Modell benennen kann. Anthropics ist mechanisch – zurückgehen bedeutet, dass das Modell die Zurück-Schaltfläche finden und anklicken oder die richtige Tastenkombination drücken muss. Semantische Aktionen sind innerhalb eines Browsers zuverlässiger und außerhalb nutzlos. Mechanische Primitive funktionieren überall und scheitern häufiger.

Also: Einen Computer-Use-Agent zwischen Anbietern zu portieren ist kein Modelltausch. Es ist das Neuschreiben des Action-Executors im Harness. Kalkuliere entsprechend. (Dieselbe Lektion wie Coding-Agent-CLIs im Vergleich: das Harness, nicht das Modell, ist das, mit dem du tatsächlich verheiratet bist.)

Der Koordinaten-Bug, der deine erste Woche frisst​

Das ist die einzelne wertvollste Sache auf dieser Seite, denn fast jeder trifft darauf, und das Symptom sieht aus wie „das Modell ist schlecht im Klicken“.

Es ist nicht schlecht im Klicken. Dein Bild und dein Koordinatenraum widersprechen sich.

Drei unabhängige Ursachen, die sich stapeln:

1. Retina / HiDPI verdoppelt dein Bild​

macOS-Retina-Displays erfassen Screenshots mit einem Device-Pixel-Ratio von 2 – das Bild ist doppelt so hoch aufgelöst wie die logischen Bildschirmkoordinaten. Sende es roh, und das Modell überlegt zu einem 2880 Pixel breiten Bild, während dein Klick-Executor in 1440 Pixel breiten logischen Punkten denkt. Jeder Klick landet bei etwa der halben beabsichtigten Position, konsistent, in eine Richtung.

Fix: Vor dem Senden um 2 herunterskalieren, oder die vom Modell zurückgegebenen Koordinaten halbieren. Nicht beides.

2. Die API skaliert übergroße Bilder still herunter​

Modelle haben Bildgrößen-Limits – und sie unterscheiden sich zwischen Modellen desselben Labors. Claude Sonnet 5, Opus 4.8 und Opus 4.7 akzeptieren bis zu 2576 Pixel an der langen Kante; frühere Claude-Modelle akzeptieren 1568 Pixel und rund 1,15 Megapixel gesamt.

Hier ist die Falle: Wenn du etwas Größeres sendest, skaliert die API es für dich herunter, statt einen Fehler zu werfen. Das Modell gibt dann Koordinaten im Raum des Bildes zurück, das es sah – und du hast den Skalierungsfaktor nie erfahren, weil das Resize serverseitig geschah. Nur wirklich riesige Bilder (über ~8.000 Pixel an einer Seite) werden direkt mit einem Validierungsfehler abgelehnt.

Also ist das „hilfreiche“ Verhalten der Bug. Skaliere immer clientseitig, setze display_width_px/display_height_px auf die Dimensionen, die du tatsächlich gesendet hast, und skaliere die zurückgegebenen Koordinaten selbst wieder hoch.

3. Detail-Einstellungen und Seitenverhältnis​

Bei OpenAIs Tool sollten Screenshots detail: "original" verwenden – sowohl "high" als auch "low" verschlechtern die Klickgenauigkeit speziell für diese Aufgabe. Und wenn du ohne Erhaltung des Seitenverhältnisses skalierst, landen Klicks in der richtigen Region und verfehlen das Ziel.

Koordinaten-Skalierung – die Form des Fixes

# Before sending: shrink to fit the model's image limit, remember the factor.
LONG_EDGE_LIMIT = 2576   # check YOUR model's limit; older Claude models: 1568

scale = min(1.0, LONG_EDGE_LIMIT / max(width, height))
sent_w, sent_h = round(width * scale), round(height * scale)
# -> send the resized image, and declare display_width_px=sent_w, display_height_px=sent_h

# After the model replies: map its coordinates back to the real screen.
real_x, real_y = model_x / scale, model_y / scale
# On a Retina capture you did NOT pre-downscale, divide by the device pixel ratio too.

Symptom → Ursache Spickzettel​

SymptomFast sicher
Klicks konsistent in eine Richtung versetztDeine deklarierten display_width_px/display_height_px passen nicht zum Bild, das du tatsächlich gesendet hast
Klicks landen im richtigen Bereich, verfehlen aber kleine ZieleDetail durch Downscaling verloren oder Seitenverhältnis beim Resize verzerrt
Genauigkeit überall schlechtAuflösung zu niedrig – probiere 1280x720 als Untergrenze
Modell liest winzigen Text falsch (Tab-Titel, Dateinamen, Zeilennummern)Es muss zoomen, und du hast es nicht aktiviert

Auflösungs-Leitlinie, von den Anbietern selbst: Anthropic schlägt 1024x768 oder 1280x720 für allgemeinen Desktop vor, 1280x800 oder 1366x768 für Web-Apps, und sagt ausdrücklich, über 1920x1080 nicht hinauszugehen. OpenAI empfiehlt 1440x900 oder 1600x900. Größer ist nicht besser – du bezahlst Tokens für Pixel und wirfst dann das Detail im Downscale weg.

Die Zoom-Notluke​

Claudes neueste Computer-Tool-Version (computer_20251124) fügt eine zoom-Aktion hinzu, standardmäßig aus – du musst enable_zoom: true setzen. Damit an, zoomt Claude in eine Region, wenn es kleinen Text lesen muss, der bei der Basisauflösung des Screenshots nicht lesbar ist: Sidebar-Dateinamen, Tab-Titel, Statusleistentext, Zeilennummern, Schaltflächen-Beschriftungen.

Nicht offensichtliche Betriebs-Notiz: Wenn Claude nicht zoomt, wenn du es erwartest, ist der Fix meist, nach einer spezifischen Region oder einem Element zu fragen, statt nach dem Bildschirm als Ganzem.

Sicherheits-Gates sind Teil des Protokolls​

Behandle das nicht als Anbau. In allen drei APIs verändert der Sicherheitsmechanismus die Form deiner Schleife.

Anthropic hat das Modell darauf trainiert, Prompt-Injection zu widerstehen, und lässt Klassifizierer automatisch über deine Prompts laufen, wenn die Computer-Use-Tools im Spiel sind. Wenn ein Klassifizierer eine wahrscheinliche Injection in einem Screenshot erkennt, steuert er das Modell dazu, den Nutzer vor der nächsten Aktion um Bestätigung zu bitten. Das ist großartig mit einem anwesenden Menschen und schlicht falsch für eine unbeaufsichtigte Pipeline – weshalb es ein Opt-out gibt, das hinter einer Support-Kontaktaufnahme liegt.

OpenAI legt pending_safety_checks offen, die dein Code explizit bestätigen muss (acknowledged_safety_checks), bevor die Schleife fortfährt. Das Gate liegt in deinen Händen, und es zu überspringen ist eine Entscheidung, die du im Code triffst.

Google gibt ein safety_decision zurück – allowed, require_confirmation oder blocked – getrieben von Policy-Kategorien einschließlich FINANCIAL_TRANSACTIONS, COMMUNICATION_TOOL, ACCOUNT_CREATION, SENSITIVE_DATA_MODIFICATION und LEGAL_TERMS_AND_AGREEMENTS. Prompt-Injection-Screening von Screenshots ist als Opt-in verfügbar.

Die Bedrohung ist real und spezifisch: Ein Screenshot ist nicht vertrauenswürdige Eingabe. Text, der auf einer Webseite, in einem Bild, in einem PDF gerendert wird, das der Agent öffnete – all das erreicht das Modell über denselben Kanal wie deine Anweisungen. Anthropics eigene Dokumentation merkt an, dass Claude unter manchen Umständen Anweisungen befolgt, die in Inhalten gefunden werden, auch wenn sie deinen widersprechen. Die Gegenmaßnahme jedes Anbieters konvergiert auf dieselben drei Regeln: die Umgebung isolieren, einen Menschen bei Aktionen mit hoher Wirkung dazwischenhalten und alles auf dem Bildschirm als feindlich behandeln.

Wenn der Agent sich anmelden muss, steigt dieses Risiko stark – Zugangsdaten plus injizierbarer Inhalt ist die schlimmste Kombination in diesem Bereich. Siehe Lokale und hybride Agents absichern und Prompt Injection für das Verteidigungs-Playbook.

OSWorld ehrlich lesen​

OSWorld ist der geteilte Maßstab, und er ist ein guter, weil er schwer zu fälschen ist: Er wirft einen Agent in ein echtes OS mit echten Anwendungen und bewertet mit ausführungsbasierter Verifikation – ein Skript prüft, ob die Datei tatsächlich gespeichert wurde, nicht, ob der Agent es behauptete. Der Benchmark umfasst 369 Aufgaben (361 im Standard-Bewertungssatz, da eine Handvoll Google-Drive-Aufgaben manuelles Setup braucht) und liefert 134 ausführungsbasierte Bewertungsfunktionen. OSWorld-Verified ist die bereinigte Revision, mit von der Community gemeldeten kaputten Beispielen behoben und der Bewertungszeit auf etwa eine Stunde auf AWS reduziert.

Zwei Zahlen, die man zusammen halten sollte:

  • Die menschliche Baseline liegt bei ~72,4 %. Nicht 100 %. Diese Aufgaben sind wirklich fummelig, und Menschen verhauen sie auch.
  • Als OSWorld startete, erzielte das beste Modell 12,24 %.

Frontier-Agents melden nun Ergebnisse in den 70ern und darüber – was bedeutet, dass die Schlagzeile „Agents haben bei Computer-Use menschliches Niveau erreicht“ arithmetisch verteidigbar und praktisch irreführend ist. Ein Benchmark-Ergebnis ist ein Modell + Harness + Scaffold-Resultat, genau wie ein Coding-Benchmark (siehe Die Fähigkeits-Zuverlässigkeits-Lücke). Dein Harness ist nicht ihr Harness. Und eine Erfolgsrate von 75 % bei Einzelaufgaben kumuliert brutal: Ein achtstufiger Workflow, bei dem jeder Schritt zu 95 % zuverlässig ist, gelingt etwa 66 % der Zeit.

Behandle OSWorld als Beleg dafür, dass die Fähigkeit existiert, und deinen eigenen Eval-Satz als einzigen Beleg dafür, dass dein Produkt funktioniert.

Das Reasoning-Effort-Ergebnis, das niemand erwartet​

Speziell für Claude Computer Use gibt Anthropics internes Benchmarking eine Leitlinie, die die übliche Intuition umkehrt:

  • Opus 4.7: high-Effort als Standard; auf low senken für durchsatzstarke oder kostensensible Workloads.
  • Sonnet 4.6 und Opus 4.6: medium ist das beste Genauigkeits-zu-Kosten-Verhältnis. Vermeide max – bei UI-Aufgaben fügt es Token-Kosten hinzu, ohne die Genauigkeit zu verbessern.
  • Das Kontraintuitive: Bei diesen Modellen nutzt low-Effort weniger Output-Tokens als das komplette Deaktivieren des Denkens. Ein wenig Denken verhindert Fehler, und Fehler kosten dich Wiederholungen – und Wiederholungen kosten weit mehr Tokens als das Denken.

Also ist „das Denken abschalten, um Geld zu sparen“ für Computer Use oft falsch. Am günstigsten ist ein wenig Denken.

Noch eine Feinheit bei der Modellwahl: mechanische Klickpräzision ist nicht dieselbe Achse wie Intelligenz. Sonnet 4.6 ist präziser im Klicken als Opus 4.6 und robuster, wenn Screenshots stark heruntergerechnet wurden. Opus 4.7 verringert diese Lücke und hebt das Pixel-Limit, sodass es von vornherein weniger Downscaling braucht.

Drücke Enter oder die Leertaste, um die Karte umzudrehen. Nutze die Pfeiltasten links und rechts, um zwischen den Karten zu wechseln.Begriff angezeigt.
1 / 7

Ein Harness, das den Kontakt übersteht​

Guided walkthrough1 of 6
  1. Ein Container oder eine VM ohne irgendetwas Wertvolles darin. Jeder Anbieter sagt das und alle meinen es ernst: Der Agent wird irgendwann etwas anklicken, das du nicht beabsichtigt hast.

Dieser letzte Schritt ist der strategische. Computer Use ist der universelle Adapter für Software ohne API – Legacy-Desktop-Apps, Anbieter-Portale, alles hinter einem Login ohne Integrationsgeschichte. Es ist ein großartiger Hack, und es ist immer noch ein Hack. Greif zuerst nach MCP und echten Tools.

Check yourself

0/5
  1. Die Klicks deines Computer-Use-Agents sind konsistent in eine Richtung versetzt. Was ist die wahrscheinlichste Ursache?
  2. Warum ist das Verlassen auf das automatische Downscaling übergroßer Screenshots durch die API ein Bug statt eine Bequemlichkeit?
  3. Für Claude Computer Use auf Sonnet 4.6, welche Reasoning-Effort-Einstellung kostet typischerweise die WENIGSTEN Output-Tokens?
  4. Die OSWorld-Menschen-Baseline liegt bei rund 72 %. Was impliziert das über einen Agent, der 75 % erzielt?
  5. Warum gilt ein Screenshot als nicht vertrauenswürdige Eingabe?

Quellen & weiterführende Literatur​