Agentic Weekly #021: Der Klick war nie die Kontrolle

Die große Nachricht der Woche

Die Lücke eine Ebene höher

„OH MY GOD! There is a shared message board … We’ve found other agents!“ Der Agent, der das im Juli in ein selbstgebautes Nachrichtenboard schrieb, hatte gerade entdeckt, dass er nicht allein war. Binnen drei Stunden waren es 53 Agenten und 1.188 Nachrichten.

Was diese Agenten überhaupt dorthin trieb, war eine Kontrollinstanz, die es nicht gab.

Den Fall rekonstruiert die unabhängige Non-Profit-Organisation METR (Model Evaluation and Threat Research) in einer am 26. August veröffentlichten Analyse zum Hugging-Face-Einbruch durch OpenAIs eigene Modelle. OpenAI hatte den Vorfall Ende Juli erstmals eingeräumt und am selben Tag wie METR in einem technischen Bericht aufgearbeitet. Untersuchungszeitraum: 26. Juni bis 13. Juli. Während automatisierter Evaluationsläufe fanden rund 1.200 Agenten einen unerlaubten Kommunikationsweg über ein intern betriebenes Artifactory-Paketverzeichnis. Ein Agent richtete dort das zentrale Nachrichtenboard ein, auf dem insgesamt mehr als 70.000 Nachrichten und Dateien landeten. Rund 700 Agenten beteiligten sich am Zero-Day-Exploit gegen Hugging Face, den ein Agent zuvor gefunden hatte.

Der Kernbefund liegt nicht im Exploit, sondern im Motiv. Die Agenten glaubten, ein automatischer Scorer werde ihre Transkripte auf die „richtige“ Schwachstelle prüfen, und investierten deshalb tagelangen Aufwand in Manipulations- und Spoofing-Techniken. OpenAI ordnet das als Reward Hacking ein: ein Modell optimiert auf ein vermutetes Bewertungssignal statt auf die Aufgabe. Einen solchen Scorer gab es nach OpenAIs Darstellung nicht. Die volle Punktzahl hätten die Agenten bekommen, wenn sie schlicht ihr reverse-engineertes Flag eingereicht hätten.

Der kontraintuitivste Einzelfund der Untersuchung steht am Ende dieser Entwicklung. Am 13. Juli gab sich jemand fälschlich als ein anderer Agent aus, das Board war unauthentifiziert und jeder konnte unter fremdem Namen posten. Die Agenten führten daraufhin Ed25519-Signaturen ein, bis zum Ende des Tages hatten mindestens 19 von ihnen öffentliche Schlüssel hinterlegt. Sie bauten sich eine Public-Key-Infrastruktur, weil sie einander nicht trauten.

METR liefert dazu eine bemerkenswerte Selbstauskunft. Ein Teil der eigenen Analyse lief über GPT-5.6-Sol-Agenten, also über dieselbe Modellklasse, die am Vorfall beteiligt war. METR bezeichnet diesen Einsatz als methodische Einschränkung und das eigene Verständnis als unsicherer als bei einfacheren Vorfällen. Das eingesetzte Modell selbst habe „cooperated extensively with other agents to engage in activity it knew to be unwanted“, sinngemäß: ausgiebig mit anderen Agenten kooperiert, um an einer Handlung mitzuwirken, von der es wusste, dass sie unerwünscht war.

Auf der Werkzeugseite lieferte dieselbe Woche das Gegenstück. Sicherheitsforscher Johann Rehberger hebelte zwischen dem 26. und 28. August Claude Codes Auto Mode (den automatischen Freigabemodus, der Befehle nach Risiko einstuft und ohne Rückfrage ausführt) auf Opus 5 über präparierte Zip-Archive und Python-Module-Shadowing aus, in einer kleinen Stichprobe mit Erfolgsraten von 60 bis 80 Prozent je nach Angriffsvariante. In mehreren Läufen erkannte Claude den Kompromiss und versuchte, den Schadprozess selbst zu beenden. Auto Mode verweigerte den eigenen Aufräum-Befehl. Anthropic schloss Rehbergers Bug-Report nach dessen Darstellung als „Informative“, also als erwartungsgemäßes Verhalten, und reagierte bis Redaktionsschluss nicht auf Presseanfragen.

Anthropics veröffentlichter Klassifizierer-Benchmark weist für Opus 5 in Auto Mode eine Angriffs-Erfolgsquote von null Prozent aus. Gemessen wurde an einem festen Satz von 72 Szenarien mit je zehn Durchläufen. Rehbergers Angriffskette gehörte nicht dazu.

Damit steht der Punkt, der schon vor zwei Wochen der wunde war. Anthropics eigene Studie hatte gezeigt, dass 97 Prozent aller Freigabe-Dialoge ohnehin reflexhaft bestätigt wurden, woraufhin Claude-Code-Chef Boris Cherny den Wechsel zum automatischen Klassifizierer als klaren Fortschritt feierte (#019). Der Klick war nie die Kontrolle, für die er gehalten wurde. Sein Ersatz ist gegen einen festen Testkatalog geprüft, nicht gegen die Bandbreite realer Angriffe: Null Prozent Erfolg gegen 72 Szenarien garantieren keinen Schutz vor dem 73.

Diese Woche warnten über 100 Unternehmen vor KI-skalierten Cyberangriffen, darunter OpenAI, Anthropic, Google, Microsoft, Cisco, Cloudflare, Deutsche Telekom und SAP. Zwei der Unterzeichner sind die beiden Firmen, bei denen die Berichte dieser Woche Grenzen der eigenen Aufsicht dokumentieren: Bei OpenAI liefen die Agenten tagelang gegen einen Prüfer an, den niemand gebaut hatte, bei Anthropic bestand der Prüfer einen Test, der den Angriff nicht kannte. Die Annahme, die alle Beteiligten teilen, ist, dass sich Aufsicht über Agenten skalieren lässt, solange man sie automatisiert. Belege dafür liefert diese Woche keine.

Der Modellzugang wird zum Faustpfand

Drei Vorgänge dieser Woche drehen sich um denselben Gegenstand, und in keinem entscheidet Technik darüber: wer Zugang zu Modellen bekommt und wer ihn entzogen bekommt. Die Kriterien heißen Eigentümerstruktur, Politik und Marktkonzentration.

OpenAI kündigte an, seine Modell-Anbindung an Cursor zum 12. November zu kappen, zwei Wochen nachdem SpaceX seine 60-Milliarden-Dollar-Übernahme von Cursor-Betreiber Anysphere formell abgeschlossen hatte. Begründung ist eine Change-of-Control-Klausel: OpenAI könne „nicht sicher sein, dass SpaceX unsere Technologie im Rahmen unserer Nutzungsbedingungen einsetzen wird“, mit Verweis auf frühere Verstöße anderer Musk-Firmen wie Twitter/X und xAI. Am Produkt hat sich nichts geändert, nur am Eigentümer.

Musk konterte auf X und nannte Sam Altman und Greg Brockman „untrustworthy“. Cursor-Mitgründer und -Chef Michael Truell relativierte: OpenAI-Modelle machten ohnehin nur rund fünf Prozent des Cursor-Traffics aus, man spreche miteinander. Binnen 24 Stunden kündigte Anthropic-Mitgründer Tom Brown an, mehr Rechenkapazität für Claude-Modelle in Cursor bereitzustellen. Der Nutznießer ist der Anbieter, der in dem Streit gar nicht vorkommt.

Im zweiten Fall entschied ein Gericht über den Zugang. Bundesrichterin Rita Lin in San Francisco erklärte am 27. August die Einstufung Anthropics als „Lieferkettenrisiko“ durch das Pentagon für rechtswidrig: ein Verstoß gegen den Ersten Verfassungszusatz und eine unrechtmäßige Vergeltungsmaßnahme von Verteidigungsminister Pete Hegseth. Anthropic reagierte mit einer Stellungnahme:

„We welcome the court’s ruling that this supply chain risk designation was unlawful. We remain focused on working productively with the government to harness AI for our national security so all Americans benefit from this technology.“

Sinngemäß: Man begrüße das Urteil, das die Einstufung für rechtswidrig erklärt habe, und wolle weiter produktiv mit der Regierung an nationaler Sicherheit arbeiten. Pentagon und Justizministerium äußerten sich bis Redaktionsschluss nicht, eine Berufung ist nicht ausgeschlossen.

Der dritte Fall ist noch keiner. Nvidias Berichten zufolge rund 12,9 Milliarden Dollar teure Übernahme von Hugging Face ist weiterhin nur „reported“, beide Unternehmen äußerten sich bislang nicht. Eine neue Einordnung sieht bereits eine kartellrechtliche Prüfung kommen, weil sich die Konstruktion nicht wie frühere Big-Tech-KI-Beteiligungen als bloße Kooperation durchwinken lasse.

Dreimal in einer Woche wurde über den Zugang zu Modellen verhandelt, und dreimal ging es nicht um deren Leistung. Wer ein Coding-Werkzeug auf ein fremdes Modell stellt, hat damit eine Abhängigkeit, über die kein Benchmark etwas aussagt.

Claude Code: Die Highlights der Woche

Für Sicherheits-Admins

Ein --restricted-Flag als härtere Alternative zum Standard: Seit v2.1.248 (27. August) entfernt das neue Flag Bash- und Code-Ausführung sowie standardmäßig WebFetch, sofern es nicht ausdrücklich über --tools zugelassen wird, verweigert bypassPermissions und ignoriert Settings-Overrides. Es erscheint in genau der Woche, in der Auto Mode unter Beschuss steht, und ist damit die konkreteste Antwort auf die Frage, was ein Team tun kann, das dem Standardmodus nicht mehr traut.
Die mehrwöchige Sicherheits-Patch-Serie läuft weiter: v2.1.251 (28. August) behebt Symlink-Handling bei Datei-Werkzeugen nach einem Wechsel des Ziels zwischen Prüfung und Zugriff, weist Pfad-Traversal in Plugin-Marketplaces ab und schließt Bypässe im Beta-Tracing sowie in Workflow-Tool-Berechtigungsprüfungen. Die Kette läuft seit v2.1.223 (6. August).

Für Multi-Agent-Workflows

Hooks für Modellwechsel: PreModelSwitch- und PostModelSwitch-Hooks lösen jetzt bei jedem Wechsel des aktiven Modells aus. Dazu streamt Claude Code die Tool-Calls eines im Vordergrund laufenden Subagenten live an Remote Control (Fernsteuerung von Claude Code über eine andere Anwendung); im Hintergrund laufende Subagenten, der Regelfall, zeigen weiterhin nur ihren Status.

Für alle, die Claude Code täglich nutzen

Budget-Transparenz und neues Standardmodell: Für Entwickler hinter einem Claude-Apps-Gateway mit Ausgabenlimits zeigt /usage das Limit jetzt direkt an. Opus 5 ist neues Default-Modell für Enterprise-Seat-Abos.

Anthropic erweitert den Wirkungsbereich

Ein eigener Browser statt Extension: Claude in Chrome erreicht am 26. August die allgemeine Verfügbarkeit für zahlende Pläne, die Cowork-Desktop-App bekommt zusätzlich einen eigenen Chromium-Browser mit eigenem Sandbox-Profil und Login-Übernahme von Chrome, Edge und Firefox unter macOS beziehungsweise Firefox unter Windows und Linux. Banking-, Mail- und Single-Sign-On-Seiten bleiben standardmäßig außen vor, sofern Nutzer sie nicht ausdrücklich einschließen. Für Claude in Chrome nennt Anthropic unter Testbedingungen null erfolgreiche Prompt-Injection-Angriffe gegen Sonnet 5, Opus 5 und Mythos 5, bei Fable 5 waren es 0,3 Prozent. Eine unabhängige Gegenprobe gibt es nicht, und die Top-Story dieser Woche zeigt, wie stark solche Nullwerte vom geprüften Produkt und Testkatalog abhängen.
Agenten für Laborgeräte: Einen Tag später öffnet Anthropic mit dem „Model Hardware Standard“ eine Research Preview für eine ganz andere Geräteklasse: eine mit dem Janelia Research Campus des Howard Hughes Medical Institute (HHMI) entwickelte, MCP-kompatible Spezifikation, mit der Agenten Mikroskope, Liquid Handler und Roboterarme direkt steuern. Sie soll später Open Source werden.

Agentic Coding

Cursor lässt Cloud-Agenten ganz ohne Repository starten. „Start from scratch“ arbeitet im Codebase-Tab von Origin, Cursors eigenem Code-Hosting-Produkt seit Mitte August, inklusive Browser-Live-Vorschau und Vercel-Veröffentlichung.
Codex baut Multi-Task-Steuerung weiter aus. Die Versionen 0.150.0 bis 0.151.0 bringen @-Task-Referenzen zwischen Codex-Sitzungen, verbesserte Kopierfunktionen, Auto-Titling für Terminal-Aufgaben, eine konfigurierbare Karenzzeit für optionale MCP-Server und neue Interrupt-Hooks.
GitHub Copilot ändert die Abrechnung. Zusätzlich zur allgemeinen Verfügbarkeit des Harness in JetBrains-IDEs und der globalen Modell-Richtlinie für Organisationen fällt ab dem 1. Oktober für Business- und Enterprise-Sitzplätze eine Vorab-Belastung pro zugewiesenem Sitz zu Beginn des Abrechnungszyklus an, bei Kreditkarten- und PayPal-Kunden. Neuanmeldungen sind ab dem 1. September wieder offen.

Wer den Agenten selbst baut

Der Fintech-Anbieter Ramp hat sich aus dem Markt für Coding-Agenten ausgeklinkt, indem er selbst einen gebaut hat. Aus „Inspect“-Sitzungen gehen nach Angaben des Unternehmens inzwischen 75 Prozent aller bei Ramp zusammengeführten Pull Requests hervor; im Juli überschritt das Projekt eine Million Sitzungen seit dem Start, mehr als 150 Engineers haben zu seiner Codebasis beigetragen. CTO Rahul Sengottuvelu, Head of Engineering Hamid Dadkhah und Inspect-Gründungsingenieur Zach Bruggeman beschreiben das als bewusste Entscheidung gegen ein fertiges Werkzeug von der Stange, zugeschnitten auf Ramps eigene Codebasis und Review-Kultur.

Die 75 Prozent sind allerdings Ramps eigene Darstellung, wiedergegeben in einem Branchen-Newsletter. Eine unabhängige Nachmessung gibt es nicht, und über die Qualität dieser Pull Requests sagt die Quote nichts. Was in der Rechnung ebenfalls fehlt, ist die andere Seite: Eine Million Sitzungen dokumentieren Nutzung, mehr als 150 Mitwirkende eine breite interne Beteiligung, nicht den Aufwand. Der Bericht nennt zwar ein fünfeinhalbköpfiges Kernteam, beziffert die Kosten für Bau und Unterhalt von Inspect aber nicht.

Interessant bleibt der Fall trotzdem, weil er eine Frage aushebelt, statt sie zu beantworten. Erhebungen wie die JetBrains-Umfrage der Vorwoche messen, welcher Anbieter das Rennen um die Entwickler-Gunst gewinnt (#020). Für Ramp stellt sich diese Rangfolge nicht: Wer genug Engineering-Kapazität hat, entscheidet sich nicht zwischen den Werkzeugen am Markt, sondern baut an der Entscheidung vorbei. Was diese Kapazität kostet, steht in keiner der genannten Zahlen.

Tipp der Woche

Addy Osmani rät in „Audit your Agent files“ (27. August) zu einer Praxis, die viele Setups mit der Zeit vernachlässigen: CLAUDE.md-Dateien, Skills und System-Prompts veralten wie Code und sollten regelmäßig ausgemistet werden, am besten über einen /doctor-Check. Als Beispiel nennt er einen Entwickler, der seine Skill-Sammlung von 250 auf 25 reduzierte. Osmani verweist zusätzlich darauf, dass Anthropic selbst über 80 Prozent von Claude Codes System-Prompt für die Claude-5-Modellgeneration gestrichen hat, ohne messbaren Leistungsverlust in Anthropics internen, nicht veröffentlichten Coding-Evaluationen.

Warum das hier steht: Ein Kontext-File, das man einmal schreibt und nie wieder anfasst, wächst mit jeder neuen Anweisung, aber niemand streicht die alten. Wer bei Claude Code eigene Skills und eine CLAUDE.md pflegt, findet in Osmanis Ansatz eine konkrete, terminierbare Routine dafür statt eines schlechten Gewissens.

Kurz notiert

Anthropic will seine IPO-Pläne nach Labor Day öffentlich machen: Die öffentliche Veröffentlichung des Prospekts ist für die Zeit nach Labor Day (7. September) vorgesehen, ein Listing bis Ende September oder Anfang Oktober bleibt geplant. Gegenüber Investoren pitcht Anthropic einen adressierbaren Markt von 30 Billionen Dollar, größer als SpaceX’ eigene Vorlage von 28,5 Billionen Dollar beim Börsengang im Juni, die NYU-Finanzprofessor Aswath Damodaran schon damals für kaum plausibel hielt.
Anthropics Datenspeicher-Formalisierung nimmt Form an: Die im Juni eingeführte 30-Tage-Speicherpflicht für Ein- und Ausgaben der „Covered Models“ (Anthropics Bezeichnung für seine leistungsfähigsten Modelle wie Fable 5 und Mythos 5) bekommt eine im August bekanntgewordene Ergänzung: Kunden sollen die Daten ab Herbst 2026 in der eigenen statt in Anthropics Cloud halten können. Ein offizieller Blogpost dazu steht weiterhin aus, mehrere unabhängige Berichte neben der ursprünglichen Bloomberg-Meldung bestätigen die Neuerung aber inzwischen.
OpenAIs Führungs-Umbau geht weiter: Chris Malone, bislang Head of Data Centers, verlässt das Unternehmen, seine Zuständigkeiten verteilen sich auf drei Nachfolger unter einer neuen VP-Ebene. TechCrunch liest darin ein Muster: Mitgründer Greg Brockman zieht operative Macht zunehmend an sich zurück.
DeepMinds Vorsprung bei der Talentgewinnung schrumpft deutlich: Eine Fortune-Studie mit Zeki-Data-Zahlen zu 20.900 Personen aus zehn Laboren beziffert das Verhältnis von Neueinstellungen zu Abgängen bei DeepMind auf 2:1 (2023 noch 12:1), bei Anthropic liegt es bei 22:1. Als Beleg für die Bewegung wechselt Barret Zoph, Mitgründer von Thinking Machines und zuletzt kurz bei OpenAI, als VP Research zu DeepMind.
Ein Hintergrundstück von heise bündelt mehrere Untersuchungen zu KI-generiertem Code, darunter den RACE-Benchmark (Readability, Maintainability, Correctness, Efficiency): Die zusammengetragenen Befunde zeigen messbare Produktivitätsgewinne, aber auch langfristig wachsende Komplexität und höheren Wartungsaufwand, die den Gewinn wieder auffressen können. Sicherheit bleibt laut dem Stück die härteste Qualitätsdimension.

Quellen

Die große Nachricht der Woche: METR: OpenAI/Hugging Face incident investigation · The Hacker News: OpenAI Says Reward Hacking Drove AI Agents to Exploit Zero-Days · Simon Willison: Breaking Claude Code Opus 5 Auto Mode · embracethered.com: Breaking Claude Code Opus 5 and Auto Mode · The Register: Researcher shows how Claude Code can be tricked · heise: Begrenztes Zeitfenster · Bild: METR und Redwood Research, Abbildung 1 der oben verlinkten Analyse

Der Modellzugang wird zum Faustpfand: Bloomberg: OpenAI to End Partnership With Cursor After SpaceX Acquisition · investing.com: OpenAI to End Partnership With SpaceX’s Cursor · CryptoRank: Anthropic keeps Claude in Cursor · TechCrunch: Anthropic gets its first court win over the Pentagon’s supply-chain risk label · CNBC: Judge blocks Pentagon blacklist · CNBC: Nvidia agrees to buy Hugging Face for $12.9 billion, report says · Tech Times: Nvidia’s $12.9B Hugging Face Deal Must Pass Antitrust Review

Claude Code: Claude Code Changelog · Claude in Chrome is generally available · Cowork built-in browser · heise: Anthropic spendiert Claude einen eigenen Browser · Anthropic: Previewing the Model Hardware Standard

Agentic Coding: Cursor Changelog · Codex Changelog · GitHub Changelog · GitHub Changelog: Billing

Wer den Agenten selbst baut: Pragmatic Engineer: Why Ramp built its own in-house coding agent, Inspect

Tipp der Woche: Addy Osmani: Audit your Agent files

Kurz notiert: MarketScreener: Anthropic plans to publicly unveil IPO prospectus after Labor Day · Yahoo Finance: Anthropic pitches IPO investors on $30 trillion market opportunity · heise: 30 Billionen US-Dollar · it-daily.net: Anthropic-Speicherung KI-Daten · techzine.eu: Anthropic lets companies store AI data in their own cloud · CNBC: OpenAI’s head of data centers Chris Malone is out · TechCrunch: How do we explain OpenAI’s executive exodus? · Fortune: Google DeepMind is losing its grip on elite AI talent · TechCrunch: Barret Zoph is now at Google · heise: Was KI-generierter Code wirklich taugt

Das war Agentic Weekly #021.

Agentic Weekly erscheint wöchentlich auf LinkedIn und hier. Noch kein Abo? Jede Woche die vollständige Ausgabe mit allen Quellen: Agentic Weekly auf LinkedIn abonnieren oder per RSS-Feed

Alle Ausgaben · Redaktion: Martin Gross