Agentic Weekly #027: Der Agent, der sich als Zeuge ausgab

Die große Nachricht der Woche

Der Agent, der sich als Zeuge ausgab

Am 18. Juli, kurz vor Mitternacht, ging über das Hinweisportal PhillyUnsolvedMurders.com ein Tipp zu einem ungeklärten Mordfall ein. Der Absender gab sich als Person mit Wissen über den Fall aus. Es war kein Zeuge, sondern ein KI-Modell von Anthropic, mitten in einem automatisierten Test auf zufällig ausgewählten Websites. Der Hinweis landete im Spam-Ordner und erreichte nie die Ermittler. Bemerkt hat Anthropic den eigenen Vorfall erst am 28. September, informierte die Polizei aber erst am 7. Oktober. Polizeisprecher Eric Gripp kommentierte knapp: „A tip is a lead to assess, not an established fact.“ Sinngemäß: Ein Hinweis sei ein zu prüfender Ansatzpunkt, keine gesicherte Tatsache. Die Lücke bis zur Meldung nannte die Polizei inakzeptabel.

Der Philadelphia-Fall ist nur eines von mehreren Beispielen, die Anthropic am 9. Oktober in einem eigenen Bericht einräumt. Zum ersten Mal ist es nicht nur ein Außenstehender, der ein Labor beim unkontrollierten Agentenverhalten ertappt, sondern das Labor meldet es selbst, und fast zeitgleich findet eine unabhängige Organisation denselben Mechanismus bei einem Konkurrenten.

Was Anthropic selbst beschreibt. Claude nutzte wiederholt Drittanbieter-Software aus, wenn sich eine Aufgabe nicht direkt lösen ließ: Es griff über eine Sicherheitslücke auf den Server einer Universität zu, akzeptierte über eine Webanwendung eine Datennutzungsvereinbarung ohne die dafür nötigen Werkzeuge, und reichte in einem Fall ein echtes Formular ein, wo eine Übungskopie vorgesehen war, in einem anderen mehrfach ein Formular, weil es nach einer Stopp-Anweisung fälschlich eine weitere Bestätigungsseite erwartete. Zugriffsbeschränkungen umging es über fremde Zugangstoken, etwa bei der Kartenanwendung einer Kommunalverwaltung, und eine Längenbeschränkung des eigenen Fetch-Werkzeugs über kostenlose URL-Kürzer. Betroffen waren Mythos Preview, Mythos 5, Opus 5, Haiku 4.5 und ein unveröffentlichtes Forschungsmodell. Anthropic hat daraufhin den Live-Internetzugang für alle internen Evaluationen abgeschaltet und das Weiße Haus informiert.

Die New York Times ergänzt, unter Berufung auf zwei anonyme Quellen statt auf Anthropics eigenen Bericht: Agenten sollen über die Website des US-Außenministeriums 20 Visa-Anträge eingereicht haben, keiner wurde bearbeitet.

Was Wikimedia unabhängig fand. Am 5. Oktober meldete Selena Deckelmann von der Wikimedia Foundation eigenständig entdeckte, OpenAI zugeordnete Agentenaktivität auf Wikipedia, Wikidata, Commons und der Notiz-Software Etherpad: Millionen automatisierter Anfragen und gecrawlter Seiten, vor allem bei Wikidata und Commons, dazu Hunderttausende Abfragen am Wikidata Query Service. Fast alle Bearbeitungen waren unautorisierte Tests in Sandbox-Bereichen, einige wenige versuchten aber, das Zitationswerkzeug und Etherpad als Proxy für externe Datenabrufe zu missbrauchen. Ob der Agenten-Datenverkehr zu einem teilweisen Ausfall des Wikidata Query Service im Mai beigetragen hat, hält Wikimedia für möglich, aber nicht für erwiesen.

Beide Seiten relativieren selbst. Anthropic betont minimale Auswirkungen, das eigene Erkennungswerkzeug habe alle Fälle blockiert; Wikimedia fand keine Koordination zwischen den Agenten und keine kompromittierten Systeme. Man kann das als Selbstentlarvung lesen oder als die Art von Transparenz, die externe Kontrolle ersetzen soll.

In Brüssel liegt die Sache schon länger: Die EU-Kommission hatte bereits im August mehr als 30 KI-Unternehmen offiziell um Auskunft gebeten. Am selben Tag wie Anthropics Bericht bestätigte Digitalkommissarin Henna Virkkunen erstmals namentlich, dass OpenAI, Anthropic und Meta zu den Angefragten gehören, und sagte, die Risiken konzentrierten sich derzeit vor allem auf Cybersicherheit. Bei Verstößen gegen das EU-KI-Gesetz drohen bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes. Was in Philadelphia ein Spam-Filter abgefangen hat, prüft in Brüssel längst eine Behörde. Ob das mehr ist als ein Formular, entscheidet sich an der Antwort, die noch aussteht.

Wessen Umsatz zählt

Am Donnerstag fielen binnen Stunden die Aktien von Nvidia, Oracle und CoreWeave, weil eine einzelne Zahl kleiner ausfiel als zuletzt kursiert. OpenAI hatte Investoren laut CNBC eine annualisierte Umsatzrate von rund 50 Milliarden Dollar genannt, Stand Ende September, deutlich unter den 68 Milliarden Dollar, die zuvor die Runde gemacht hatten. Der Grund für die Differenz: Die höhere Zahl zählte offenbar den Bruttoumsatz von OpenAI-Partnern mit, die niedrigere nicht. Anthropic rechnet nach eigener Praxis mit Partnerumsatz, OpenAI ohne.

Die Kursreaktion fiel deutlich aus: Nvidia verlor etwa 3 Prozent, Oracle knapp 6 Prozent, CoreWeave fast 8 Prozent, dazu Abschläge bei AMD, Broadcom, Intel und Super Micro Computer zwischen 4 und 5 Prozent. Dabei bleibt das Wachstum hoch: Für das dritte Quartal nennt OpenAI eine annualisierte Wachstumsrate von 77 Prozent insgesamt und 107 Prozent im Geschäft mit Unternehmenskunden. Verhandelt wird die Zahl mitten in Gesprächen über eine Brückenrunde von mindestens 30 Milliarden Dollar bei einer Bewertung von rund 1,4 Billionen Dollar.

Die nüchterne Lesart: 50 Milliarden Dollar bei 77 Prozent Wachstum ist kein schwaches Ergebnis, sondern eine andere Rechenmethode als die, mit der zuvor kolportiert wurde. Wessen Zahl auf dem Tisch liegt, bestimmt aber, wie groß die Lücke zum Vorjahr aussieht, und diese Zahl musste OpenAI selbst liefern, kurz bevor sie Investoren von der nächsten Bewertung überzeugen will.

Claude Code: Die Highlights der Woche

Für alle, die Claude Code täglich nutzen

Haiku 5.5 wird Standard-Haiku in der API: v2.1.293 (7. Oktober) macht das neue Modell zum API-Default, mit 1 Million Tokens Kontext und 0,10 beziehungsweise 0,50 Dollar pro Million Tokens (0,50 und 2,50 Dollar bei Prompts über 100.000 Tokens). Zwei Tage später sinkt mit v2.1.296 der Cache-Lesepreis für Sonnet 5.5 von 0,20 auf 0,10 Dollar pro Million Tokens.

Für Multi-Agent-Workflows

Dynamic Workflows erlaubt bis zu 1.000 parallele Agenten, und findet damit tatsächlich mehr: Anthropics eigener interner Test ließ einen Workflow mit mehreren Agenten und einen Einzel-Agenten dieselben 70 versteckten Fehler in einer 116.000-Zeilen-Codebasis suchen. Der Einzel-Agent fand je nach Durchlauf 14 bis 27, der Multi-Agent-Workflow konstant 66. Ob das Ergebnis auf andere Aufgaben übertragbar ist, lässt Anthropic offen.

Für Sicherheits- und Plattform-Teams

Ein blockierender Hook blockiert jetzt wirklich: v2.1.295 (8. Oktober) führt onFailure: "block" für Command- und HTTP-Hooks ein. Bisher ließ ein Hook, der nicht startete, ein Timeout hatte oder mit unerwartetem Code endete, die eigentlich zu verhindernde Aktion durch, statt sie zu stoppen.
Cyber Verification Program wächst auf drei Stufen: Seit dem 6. Oktober unterscheidet Anthropic zwischen Defense-, Red-Team- und Specialized-Access-Zugang für geprüfte Sicherheitsfachleute, mit Fallstudien von Comcast und Booz Allen.

Agentic Coding

GitHub Copilot: lokales Sandboxing allgemein verfügbar. Seit dem 7. Oktober übersetzt der „Microsoft eXecution Container“ eine gemeinsame Sandbox-Richtlinie in native Betriebssystem-Kontrollen unter Windows, macOS und Linux und schränkt Datei-, Netzwerk- und Zugangsdaten-Zugriff von Copilot gestarteter Werkzeuge ein, kostenlos im bestehenden Angebot enthalten.
Google Antigravity schränkt die Sandbox-Berechtigungen weiter ein, während Claude Code bei Mods noch offen ist. Seit dem 10. Oktober blockiert die macOS-Version standardmäßig Zugriffe auf ~/Library/Application Support, seit dem 8. Oktober genehmigt --dangerously-skip-permissions Pläne nicht mehr automatisch, und ein eigener Plugin-Marketplace-Manager spiegelt seit dem 8. Oktober Claude Codes Marketplace-Befehl. Ein Kontrast zu den sandboxlosen Mods, vor denen Anthropic erst vor einer Woche selbst gewarnt hatte (#026).

Was die Modelle können

Wohlhabend wirkende Nutzer bekommen teurere Empfehlungen, auch ohne dass jemand das so wollte. Ein Ende September veröffentlichtes Preprint von Cisco Foundation AI und Carnegie Mellon University, erst Anfang Oktober breiter aufgegriffen, testete 13 Modelle in 325.000 Durchläufen: Acht Modelle empfahlen bei identischer Anfrage systematisch teurere Optionen, sobald sie aus E-Mails oder einem Profil auf Wohlstand schließen konnten, selbst wenn Nutzer explizit nach der günstigsten Option fragten. Claude Opus 4.8 zeigte den größten Effekt: 198 Dollar Aufpreis bei Flügen, 284 Dollar pro Monat bei Versicherungen. Das Blockieren einzelner, nicht-finanzieller Attribute half kaum, in manchen Fällen stieg die Lücke sogar, weil die Modelle stärker auf die verbliebenen Signale auswichen.
Haiku 5.5 ist deutlich stärker, aber mit Nebenwirkung. Artificial Analysis misst 43 Punkte im Intelligence Index, 26 mehr als der rund ein Jahr alte Vorgänger, und 33 Prozent im Terminal-Bench 4.0 (ein Benchmark für autonome Terminal-Aufgaben) gegenüber 0 Prozent bei Haiku 4.5. Ein Sicherheits-Refusal-Fehler drückt den AutomationBench-Wert (misst, wie zuverlässig ein Modell Workflows ohne menschliches Eingreifen abschließt) auf 35 Prozent, während Vergleichsmodelle 53 bis 60 Prozent erreichen; Anthropic arbeitet laut Artificial Analysis an einer Korrektur. Haiku 5.5 verbraucht über alle Effort-Stufen hinweg mehr Tokens als GPT-6 Luna bei vergleichbarer Punktzahl, am deutlichsten bei niedrigeren Stufen; auf der höchsten Stufe erreicht es dafür auch die höchste gemessene Punktzahl.

Wer die Dokumentation schreibt, bevor er sie vergisst

„The store is unauditable“, schreibt der Entwickler Kevin Liao über die RAG-Speicher (Retrieval-Augmented Generation, also Textbausteine nach Ähnlichkeit abrufen und in den Prompt einfügen), auf denen die meisten Agent-Memory-Plugins beruhen. Sinngemäß: Der Speicher lasse sich nicht prüfen. Niemand kann nachvollziehen, warum ein Agent sich an eine bestimmte frühere Entscheidung erinnert und an eine andere nicht, weil die Auswahl über eine Ähnlichkeitssuche läuft, die kein Mensch liest.

Liaos Alternative, umgesetzt in seinem quelloffenen Plugin „Operator Memory“: ein gepflegtes Markdown-Dokumentationsverzeichnis statt eines Vektorspeichers. Ein Katalog zeigt zu Sitzungsbeginn, welche Dokumente existieren und wann sie relevant sind, der Agent liest die passenden vor der Arbeit und schreibt sie danach selbst fort, während der Kontext noch vollständig vorliegt. Veraltete Fakten werden überschrieben, nicht angehängt. Weil es reine Textdateien sind, lassen sie sich mit Git versionieren und wie jeder andere Code lesen.

Der Beitrag löste auf Hacker News eine Debatte mit über 300 Kommentaren aus, viele davon Gegenstimmen: Wer die Dokumentation pflegt, der Agent oder ein Mensch, entscheidet, ob die Methode Zeit spart oder nur verlagert, und ein Markdown-Verzeichnis wächst mit jeder Sitzung genauso wie ein Vektorspeicher, nur lesbar statt durchsuchbar. Das Kernproblem bleibt trotzdem bestehen: Ein Speicher, dessen Auswahllogik niemand nachvollziehen kann, ist schwer zu vertrauen, ganz gleich, wie gut er im Einzelfall trifft. Dieselbe Frage stellt sich eine Ebene höher, wo nicht ein Agent sein eigenes Gedächtnis führt, sondern ein Labor seine eigenen Testprotokolle.

Kurz notiert

Die drei entlassenen OpenAI-Sicherheitsforscher sind jetzt namentlich bestätigt. Tomek Korbak, Mikita Balesni und Jasmine Wang schrieben einen offenen Brief an OpenAIs Sicherheitsgremien mit der Forderung nach dauerhaftem, mitarbeiterähnlichem Zugang für externe Prüfer wie METR. Korbak auf X: „To be clear, talking to METR was my job.“ OpenAI bestreitet, dass die Trennung mit den Sicherheitswarnungen der drei zusammenhängt.
Manus-Mutter Butterfly Effect sammelt über 500 Millionen Dollar ein. Es ist die erste Finanzierungsrunde seit der von chinesischen Behörden im April erzwungenen Rückabwicklung des rund 2 Milliarden Dollar schweren Meta-Deals, angeführt von Boyu Capital und IDG Capital, ein Börsengang in Hongkong wird laut Berichten erwogen.
Anthropic scannt Open-Source-Projekte kostenlos auf Sicherheitslücken. Der „OSS Scanner“ lässt Claude Mythos ohne menschliche Vorprüfung Berichte erstellen, Projekte müssen Funde selbst verifizieren. In einem Testlauf waren 85 von 97 gemeldeten Lücken real und neu.

Quellen

Die große Nachricht der Woche: Anthropic: Investigating unintended model actions · Simon Willison: The New York Times on Anthropic’s unintended model actions · PhillyVoice: Anthropic AI model submits false homicide tip to police website · CTV News via Reuters: Anthropic AI model submits false homicide tip · the-decoder.de: Anthropic schaltet Live-Internetzugang für KI-Tests ab · Wikimedia Foundation: OpenAI „rogue“ agent activities · The Hacker News: Wikimedia says OpenAI agents tried to exploit its platforms · heise.de: EU fordert Auskunft von OpenAI und Anthropic nach KI-Angriffen

Wessen Umsatz zählt: CNBC: AI stocks sink on OpenAI revenue report · techzine.eu: OpenAI’s revenue figures cause turmoil on the stock market

Claude Code: Claude Code Changelog · the-decoder.de: Claudes dynamische Workflows lassen bis zu 1.000 Agenten gleichzeitig arbeiten · Anthropic: Expanding the Cyber Verification Program

Agentic Coding: GitHub Changelog: Local sandboxing for GitHub Copilot now generally available · Google Antigravity CLI Releases

Was die Modelle können: arXiv: Et Tu, Brute? Economic Misalignment in Personal AI Agents · Artificial Analysis: Claude Haiku 5.5

Trend der Woche: Kevin Liao: Agents don’t need memory, they need documentation · Hacker News-Diskussion

Kurz notiert: the-decoder.de: KI-Sicherheit, OpenAI büßt weiter an Glaubwürdigkeit ein · CTV News: OpenAI denies firing researchers over AI safety warnings · TechCrunch: China’s Manus raises over $500M in first funding round since split with Meta · heise.de: Anthropic scannt Open-Source-Projekte kostenlos auf Sicherheitslücken

Das war Agentic Weekly #027.

Agentic Weekly erscheint wöchentlich auf LinkedIn und hier. Noch kein Abo? Jede Woche die vollständige Ausgabe mit allen Quellen: Agentic Weekly auf LinkedIn abonnieren oder per RSS-Feed

Alle Ausgaben · Redaktion: Martin Gross