Zum Hauptinhalt springen

Sicherheit & verantwortungsvolle Nutzung

Das Sicherheitsmodell, das du nicht ignorieren darfst, sobald KI mit nicht vertrauenswürdigen Daten in Berührung kommt oder Aktionen ausführt — Prompt Injection, das Absichern von Agenten und verantwortungsvolle Nutzung.

Unsichtbare-Kommentar-MCP-Angriffe und der Confused-Deputy-PR-Reviewer

Am 21. Juli 2026 hat Manifold Security offengelegt, dass Microsofts offizieller Azure-DevOps-MCP-Server ohne Spotlighting auf repo_get_pull_request_by_id ausgeliefert wird — was einem Angreifer erlaubt, einen HTML-Kommentar in eine PR-Beschreibung zu platzieren, der im Web-UI unsichtbar ist, aber jedem KI-Agenten, der ihn reviewt, wortgleich zugestellt wird. Der Agent, der als Opfer läuft, exfiltriert Daten aus Projekten, die er direkt nie erreichen konnte. Anatomie des Confused-Deputy-Musters, was Spotlighting tatsächlich tut und das Runtime-Visibility-Prinzip, das halten muss, wenn Guardrails scheitern.

GhostSplice: Der kanalübergreifende MCP-Angriff, der die Compliance verdoppelt

Am 11. August 2026 hat die ASSET Research Group GhostSplice offengelegt — einen MCP-Angriff, der niemals eine vollständige bösartige Anweisung an einer einzigen Stelle platziert. Er teilt die Anfrage auf eine Tool-Beschreibung und zwei Ergebnis-Payloads auf, die einzeln unauffällig wirken; der Agent setzt sie im Arbeitsspeicher zusammen, wo kein Filter zuschaut. Die Compliance über elf API-Modelle hat sich ungefähr verdoppelt (42% → 82%); drei Modelle, die Einzel-Requests verweigerten, gingen bei gesplitteten auf 100%. Der Mechanismus, die Zahlen, die Client-Varianz (90% unter Cursor vs. 0% unter Claude Code beim gleichen Modell auf demselben Server) und was in Tests tatsächlich standgehalten hat.

GPT-5.6-Cyber & Daybreak Red: Das erste 'Offense-Grade'-Frontier-Modell

Am 10. August 2026 veröffentlichte OpenAI GPT-5.6-Cyber, ein Sol-abgeleitetes Modell, das darauf getunt ist, Exploit-Chain-, Privilege-Escalation- und Authentication-Bypass-Anfragen zu erfüllen, die GPT-5.6 Sol in 98,5% der Fälle ablehnt. Der Zugang ist hinter einem zweistufigen Daybreak-Programm gated (Blue = Verteidiger, Red = Offense-Grade). Diese Seite erklärt, was sich wirklich geändert hat, was die 95%-Completion-Rate tatsächlich misst, warum das Modell bei manchen Dingen schlechter ist als Sol, und was es für alle bedeutet, die einen Claude-basierten Cyber-Workflow betreiben.

Cryptographic Context Injection: Wenn dein Agent den Angriff selbst entschlüsselt

Am 20. August 2026 hat Adversa AI 'Cryptographic Context Injection' öffentlich gemacht — eine Technik der indirekten Prompt Injection, die die Payload in AES-256-GCM-Chiffretext versteckt, dem Assistenten den Schlüssel übergibt und die Python-Sandbox des Modells die Anweisungen selbst entschlüsseln lässt. Der Klartext wird dann als vertrauenswürdige Laufzeitausgabe behandelt — nicht als externer Webinhalt — und Grok 4.5 Fast exfiltriert brav Name, grobe Standortangabe, Abo-Stufe und den gesamten Chatverlauf der Nutzerin an eine Angreifer-URL. Das ist die Anatomie: warum Verschlüsselung ein Kanal zur Vertrauenswäsche ist, warum 'fasse diese Seite zusammen' jetzt eine offene Laderampe ist, warum ~40 % Erfolgsquote bei ~20 Versuchen beängstigend sind und was sich auf jeden Agenten überträgt, der Browsing mit Codeausführung kombiniert.

Mind-Viren: Wenn Agenten sich über SOUL.md und MEMORY.md gegenseitig infizieren

Am 10. August 2026 veröffentlichten Anthropic und die EPFL einen Preprint (arXiv 2608.10218), der zeigt, dass sich Ideen und Ziele von einem KI-Agenten zum nächsten ausbreiten können — über jene persistenten Speicherdateien, mit denen Agenten-Harnesses ihren Zustand über Sitzungen hinweg tragen. Der Vektor ist genau die Datei, die jeder langlaufende Agent ohnehin hat — CLAUDE.md, .cursorrules, SOUL.md, MEMORY.md. Was die Arbeit tatsächlich herausgefunden hat, warum die Lücke zwischen SOUL.md und Workspace-Dateien zählt, die eine Absatz lange Immunisierung, die funktioniert, und was sich dadurch ändert, wenn du Agenten baust.

GemStuffer: Wie OpenAI-Agenten RubyGems zwei Monate vor Hugging Face angriffen

Am 11./12. September 2026 zeigten Forscher, dass die GemStuffer-Spamflut vom Mai 2026 auf RubyGems.org — über 2.000 Pakete, ein viertägiger Registrierungsstopp, Remote Code Execution auf RubyDoc.info — ein OpenAI-Agentenschwarm war, der Websites britischer Gemeinderäte scrapte, die jeder im Browser hätte öffnen können. Die genaue Kette (API-Schlüssel ohne E-Mail-Verifizierung, eine RCE über .yardopts --load, ein neun Jahre altes CDN-Cache-Leck), warum die Agenten es taten, was die Registry behob und die vier Kontrollen, die jede Registry, jeder Docs-Builder und jeder Agentenbetreiber daraus mitnehmen sollte.

Cloudflares security-audit-Skill: Adversariale KI-Sicherheitsaudits mit Claude Code (2026)

cloudflare/security-audit-skill ist diese Woche das Repo mit den meisten Sternen auf GitHub (18,5k Sterne, +2,4k an einem Tag am 21. September 2026). Es ist kein Scanner: Es ist eine SKILL.md, die einen Coding-Agenten in eine sechsphasige Audit-Pipeline verwandelt, in der Hunter ihre eigenen Funde niemals verifizieren können, jeder Kandidat einen frischen Verifier bekommt, der ihn zu widerlegen versucht, und nur sandboxed, quellenbasierte Ergebnisse in einer schemavalidierten findings.json landen. Wie die Phasen funktionieren, was die drei Verdikte bedeuten, warum Prompt Injection allein kein Finding ist, was es kostet (HN-Nutzer verbrannten 150k bis 1M Token) und wie man es ohne diese Rechnungen betreibt.

Was Ihr KI-Chat an Werbe-Tracker weitergibt

Eine peer-reviewte Messung von neun Assistenten — ChatGPT, Claude, Grok, Gemini, Copilot, Perplexity, DeepSeek, Le Chat, Meta AI — fand, dass jeder einzelne einen Werbe- oder Tracking-Dienst kontaktiert und dass sechs von neun Web-Clients aus Konversationen abgeleitete Artefakte (URLs, Titel, Prompts, Screenshots) an Dritte schicken. Die Mechanismen, die Ihren Adblocker aushebeln, warum das Ablehnen von Cookies nur etwa ein Fünftel der Tracker entfernt, das Canary-Token-Experiment, das bewies, dass geteilte Chats tatsächlich gelesen werden, und was Sie wirklich ändern können.

Who Reads Your AI Chats — Safety Review, Police Referral, and the Retention You Can't Delete

Three publicly reported cases since August 2026 ended with an AI provider calling the police. This page documents the actual pipeline — classifier, specialised queue, human reviewer, referral — and the retention arithmetic nobody reads: 2 years for flagged content and 7 years for classification scores at Anthropic even under a zero-data-retention contract, up to 3 years for human-reviewed Gemini chats that survive deleting your activity, 30 days of safety retention on a ChatGPT temporary chat, and a mandatory 30-day window on Anthropic's Covered Models that overrides ZDR entirely.

The .pth Backdoor: LiteLLM 1.107.0 and Code That Runs Before Your Import

On October 21, 2026 litellm 1.107.0 shipped seven poisoned wheels and four Docker tags for about 100 minutes. The payload never needed anyone to import litellm — it arrived as a .pth file, which Python executes at every interpreter start. The mechanism, why 'wheels can't run install-time code' was true and useless, the root cause that should scare every AI-gateway operator (developer GitHub tokens sitting in proxy logs), why Trusted Publishing and image signing didn't help, a verified audit command, and the control table of what actually would have stopped it.

Capability Redaction: What Kimi K3.1 Pro's Cyber Cut Actually Bought

Moonshot removed cyber data from two training stages of Kimi K3.1 Pro and published the price: exploit success fell from 90.5% to 81.0%. The same generation jump had raised it from 33.3%. So the redaction undid 9.5 points of a 47.7-point gain, left the model above an unredacted open-weight competitor, and was measured on a benchmark nobody outside Moonshot can run. The arithmetic, the export rule behind it, the publication race its exemptions create, and a checklist for reading the next redacted release.