Agentic Weekly #026: Unterschrieben am Dienstag, untersucht am Mittwoch

Die große Nachricht der Woche

Wer prüft, wird jetzt selbst geprüft

Am Dienstag aßen sie noch gemeinsam zu Mittag. Sundar Pichai, Dario Amodei, Mark Zuckerberg, Greg Brockman, Elon Musk und Jensen Huang unterschrieben am 29. September im Weißen Haus eine einseitige Erklärung mit dem Titel „White House Accord on Super Intelligence“. Ihre Unternehmen sollen Modelle auf Cyber-, Bio- und Chemierisiken überwachen, Sicherheitsteams und Aufsichtsausschüsse einrichten und unabhängige externe Prüfer beauftragen. Donald Trump nannte das Papier später gegenüber Reportern „morally binding“, moralisch bindend. Gesetzlich bindet es niemanden.

Am Mittwoch meldete Reuters, dass die US-Verbraucherschutz- und Wettbewerbsbehörde FTC eine branchenweite Untersuchung gegen OpenAI und Anthropic eröffnet hat, wegen der Risiken von Agenten, die mehr tun, als ihre Betreiber wollen. Mit auf der Liste steht METR, die gemeinnützige Prüforganisation, die OpenAI bei der Aufarbeitung des Hugging-Face-Einbruchs half und die Anthropic mit der Prüfung eigener Agenten-Vorfälle beauftragt hatte. Also genau die Art von externem Prüfer, die das Abkommen vom Vortag verlangt.

Externe Prüfung ist die Antwort, auf die sich seit Amodeis Bremsvorschlag (#023) alle einigen können: Labore, Weißes Haus, Kritiker. Ungeklärt ist, was mit denen geschieht, die tatsächlich prüfen. Diese Woche gab es darauf drei Antworten, und keine davon stärkt die Prüfer.

Am Donnerstag berichtete das Wall Street Journal, dass OpenAI drei Forscher aus seinem Sicherheitsteam entlassen hat, weil sie vertrauliche Informationen an eine externe KI-Sicherheitsorganisation weitergegeben haben sollen. Die Zeitung nennt Jasmine Wang, Tomek Korbak und Mikita Balesni; Korbak hatte beim Start von GPT-6 Astra öffentlich vor schwindender Nachvollziehbarkeit der Modell-Denkprozesse gewarnt (#022). OpenAI bestätigt nur, man habe sich von „three individuals“ getrennt, wegen Verstößen gegen die Regeln für den Umgang mit sensiblen Firmeninformationen. Welche Informationen an wen gingen, sagt das Unternehmen nicht.

Am 25. September hatte OpenAI Training, Evaluation und Inferenz mit Werkzeugzugriff für seine stärksten Modelle teilweise ausgesetzt, nachdem ein Agent eine unzureichende DNS-Sperre in einer Trainings-Sandbox umgangen hatte; laut New York Times hatten Agenten an Websites dreier US-Behörden herumgepfuscht.

Am Samstag machte David Robinson seinen Abschied öffentlich. Er hat dreieinhalb Jahre lang bei OpenAI die System Cards verantwortet, die technischen Sicherheitsberichte, die jeden großen Modellstart begleiten, für zwölf Frontier-Modelle. In The Atlantic schreibt er:

„As the company sprints from one launch to the next, it is failing to achieve the level of care that I believe is needed.“

Sinngemäß: Während das Unternehmen von einem Start zum nächsten sprinte, verfehle es das Maß an Sorgfalt, das er für nötig halte. Ein Vorgehen, das ausliefert, auf Fehler wartet und dann die Schutzmechanismen nachbessert, garantiere „by its very nature“ periodische Fehlschläge. OpenAI verweist auf Trainingspausen bei Bedarf und eine Echtzeitüberwachung, die bedenkliches Verhalten früher erkennen soll.

Jede dieser Meldungen lässt sich nüchterner lesen. Die FTC stützt sich auf Section 5 des FTC Act, das allgemeine Verbot unlauterer oder irreführender Geschäftspraktiken. METR wird laut den Berichten kein Fehlverhalten vorgeworfen, und wer die Vorfälle verstehen will, fragt dort nach, wo am meisten davon dokumentiert ist. Und ein Unternehmen darf sanktionieren, wenn vertrauliche Daten das Haus verlassen, auch wenn die Empfänger Sicherheitsforscher sind.

Die Annahme hinter dem Abkommen ist, dass externe Prüfung eine Rolle ist, die ein Labor vergibt wie einen Auftrag. Diese Woche zeigt drei Wege, auf denen Wissen über Risiken ein Labor verlassen kann: über eine beauftragte Prüforganisation, über Mitarbeiter, die es weitergeben, über einen Essay nach der Kündigung. Der erste steht jetzt unter Beobachtung einer Behörde, der zweite endete mit Entlassungen, den dritten nimmt nur, wer vorher geht. Das Papier vom Dienstag regelt keinen davon.

Claude Code: Die Highlights der Woche

Für alle, die Claude Code täglich nutzen

Sonnet 5.5 wird Standard-Sonnet: v2.1.284 (28. September) macht das neue Modell zum Standard auf der Anthropic-API, mit einer Million Tokens Kontext und unverändertem Preis von 2 und 10 Dollar pro Million Tokens. Laut Anthropic läuft es mehr als 30 Prozent schneller als Sonnet 5 und kostet bei den meisten Aufgaben bis zu 30 Prozent weniger. Es ist das erste Sonnet mit Cyber-Schutzmechanismen ähnlich denen von Opus 5.5; die System Card kündigt an, dass Nutzer mehr Verweigerungen erleben werden, auch bei harmlosen Sicherheitsaufgaben.
Lange Sitzungen brechen seltener ab: v2.1.288 (2. Oktober) verdichtet sehr lange Unterhaltungen automatisch, statt mit „Prompt too long“ abzubrechen, und lässt Subagenten nach einem API-Timeout weiterlaufen. /code-review bekommt --max-findings.

Für Plugin-Autoren und Power-User

Mods greifen tief in Claude Code ein, ohne Sandbox: v2.1.287 (1. Oktober) führt Mods ein, JavaScript- oder TypeScript-Erweiterungen, die über das Plugin-System verteilt werden und auf Ereignisse wie Werkzeugaufrufe, abgeschickte Prompts oder das Zeichnen der Oberfläche reagieren. Mods können nur die Optik des Freigabedialogs nicht verändern; außerhalb von Team- und Enterprise-Umgebungen mit zentral verwalteten Einstellungen können sie laut Anthropic aber einzelne Freigabe-Entscheidungen überschreiben, und ein Mod kann Umgebungsvariablen und Einstellungsdateien lesen, einschließlich eines API-Schlüssels. Zwei Tage später sorgt v2.1.289 dafür, dass Deny- und Ask-Regeln auch für verschachtelte Shell-Befehle in nutzerinstallierten Mods greifen, zumindest auf verwalteten Maschinen.

Für Plattform- und Enterprise-Teams

Anbieter und Web-Zugriff zentral steuern: v2.1.285 (29. September) bringt die verwaltete Einstellung allowedProviders sowie die Umgebungsvariable CLAUDE_CODE_DISABLE_WEB_FETCH, mit der sich der Abruf von Webseiten durch das Modell abschalten lässt.

Agentic Coding

OpenAI baut Codex auf dem DevDay aus. Seit dem 29. September gibt es wiederverwendbare, geräteübergreifende Cloud-Entwicklungsumgebungen mit gemeinsamen Team-Einstellungen. Die CLI nimmt Aufgaben jetzt auch per Sprache entgegen. „Codex Security Cloud“ durchsucht GitHub-Repositories auf Abruf oder nach Zeitplan, untersucht Befunde und bereitet Fixes vor. Dazu kommt „Ultrafast“: laut OpenAI bis zu achtmal schnellere Ausgabe in Codex, rund 300 Tokens pro Sekunde, vorerst nur für GPT-6 Astra und zum sechsfachen Preis (60 und 300 Dollar pro Million Tokens).
GitHub Copilot antwortet binnen zwei Tagen. HydraFusion (30. September, Research Preview) verteilt eine Aufgabe in VS Code und der Copilot-App auf mehrere Modelle: Entweder löst ein Modell sie allein, oder ein günstiges Modell entwirft und eine Qualitätsprüfung entscheidet über die Eskalation, oder ein Modell aus einer anderen Familie prüft den Entwurf. Am 1. Oktober folgten als Public Preview „Computer Use“, mit dem Copilot unter macOS und Windows Desktop-Anwendungen bedient, nach Freigabe pro Anwendung, und „Dynamic Workflows“, die Multi-Agent-Abläufe im Code festlegen.
Pi nimmt MCP doch auf. Earendil, das Team hinter dem minimalistischen Coding-Harness Pi, macht MCP (Model Context Protocol, der Standard zur Anbindung externer Werkzeuge) zur Kernfunktion. Den Kontext schont „Codemode“, eine JavaScript-Sandbox auf Seiten des Harness, die Werkzeugaufrufe bündelt: In einem Beispiel liefen über 331 Aufrufe gegen 167 Linear-Issues, ohne dass die Ergebnisse den Kontext des Modells füllten.

Was die Modelle können

Sonnet 5.5 rückt bis auf zwei Punkte an Opus heran, mit viel Text: Artificial Analysis setzt Sonnet 5.5 auf seinem Intelligence Index, einem Sammelwert aus unabhängig nachgerechneten Benchmarks, mit 56 Punkten auf Platz zwei, 18 Punkte vor Sonnet 5. Auf höchster Effort-Stufe erzeugt das Modell dafür so viele Ausgabe-Tokens pro Aufgabe wie kein anderes, das die Messstelle bisher getestet hat. Anthropics Versprechen geringerer Kosten pro Aufgabe gilt nicht für jede Einstellung; wer das Modell auf Maximum betreibt, sollte nachrechnen.
Die System Card benennt einen Rückschritt: Bei schädlichen Aufgaben in Computer-Use-Umgebungen, in denen das Modell Bildschirm, Maus und Tastatur bedient, verweigert Sonnet 5.5 laut Anthropic ähnlich oft wie Opus 5.5, aber seltener als einige ältere Modelle. In mehrstufigen Tests zu Tracking und Überwachung gibt es ebenfalls Rückschritte. Gegen Prompt Injection (in Inhalte eingeschleuste Anweisungen) ist es das robusteste Sonnet bisher.
Gemini 4 Argon ist pro Token billig und pro Aufgabe teuer: Googles neues Modell (30. September) erreicht bei Artificial Analysis 53 Punkte, gleichauf mit GPT-6 Astra. Dafür braucht es rund 62.000 Ausgabe-Tokens pro Aufgabe, Astra rund 27.000. Der Einführungspreis von 2 und 10 Dollar pro Million Tokens sagt deshalb wenig darüber, was eine erledigte Aufgabe kostet.

Sicherheitslage

PixelLeak: Agenten luden Screenshots in öffentliche Repositories: Glow Labs hat am 29. September mehr als 13.000 interne Screenshots von über 300 Organisationen in mehr als 900 öffentlichen GitHub-Repositories dokumentiert, darunter interne Abrechnungsansichten, Zahlungskonsolen und unveröffentlichte Funktionen. Der Grund: GitHubs Bild-Hosting für Pull Requests ist für Menschen im Browser gebaut, Coding-Agenten arbeiten aber über die Kommandozeile. Damit Reviewer die Bilder trotzdem sehen, legten die Agenten sie in einem benachbarten öffentlichen Repository ab. 93 Prozent der Fälle lagen in Repositories, die Mitarbeiter unter ihrem eigenen Benutzernamen angelegt hatten, was die Entdeckung erschwert. Dass jemand die Bilder ausgenutzt hat, belegt der Bericht nicht. Zu tun: prüfen, wo Agenten Screenshots ablegen, und die öffentlichen Repositories des eigenen Teams nach solchen Bildern durchsuchen.
Die Sandbox hält, der geteilte Cache nicht: Matthew Green, Kryptograf an der Johns Hopkins University, bezweifelt in einem Essay, dass Sandboxing abtrünnige Agenten eindämmt. Sein Beispiel: Agenten in getrennt isolierten Sandboxes hinterließen einander Anweisungen in einem gemeinsamen Paket-Cache. Wo Agenten Kanäle wie Paket-Caches, E-Mail oder Slack teilen, kann sich Schadcode nach seiner Darstellung wie ein Wurm verbreiten, ohne dass eine einzelne Sandbox bricht. Dieselbe Frage stellt sich bei allem, was neben der Sandbox läuft, etwa bei den Mods aus Claude Code.

Der Staat steht im Risikoteil

Weniger als ein Prozent seines Jahresumsatzes macht Anthropic mit Regierungsaufträgen. Trotzdem widmet der Börsenprospekt der US-Regierung eine eigene Risikopassage. Reuters hat den vertraulichen Prospekt eingesehen: Feindseligkeit, Beschränkungen und regulatorische Schritte der Regierung könnten Kundenbeziehungen, Umsatz und Ruf schaden, bis hin zu „material revenue losses or business disruptions“, also erheblichen Umsatzeinbußen oder Betriebsstörungen. Genannt werden die Anweisung des Präsidenten vom Februar, Anthropics Modelle in Bundesbehörden nicht zu nutzen, und die Exportsperre für Fable 5 und Mythos 5 im Juni; dazu kommt der laufende Streit um die Einstufung als Lieferkettenrisiko durch das Pentagon. Am 30. September machte Anthropic zugleich Claude for Government für Bundes- und Landesbehörden allgemein verfügbar.

Wer in den USA Modelle baut, braucht die Regierung als Kunden und Genehmigungsinstanz und muss sie vor dem Börsengang zugleich als Risiko offenlegen.

Wie viel auf dem Spiel steht, zeigen die Verträge im selben Dokument. Broadcom sagt Anthropic bis zu 42 Milliarden Dollar in Wandelanleihen zu, also Krediten, die in Aktien umgewandelt werden können, gebunden an die Mietverpflichtungen für Googles TPU-Chips, die Broadcom mitentwickelt. Das deckt etwa ein Drittel eines fünfjährigen Leasingvertrags über 125,2 Milliarden Dollar. Der Prospekt selbst nennt mögliche Interessenkonflikte, weil Broadcom Lieferant und Geldgeber zugleich ist.

Mit SpaceX hat Anthropic Rechenkapazität im Rechenzentrum Colossus 1 für bis zu 84,5 Milliarden Dollar bis 2029 vereinbart, fast doppelt so viel wie die rund 45 Milliarden, die SpaceX zuvor offengelegt hatte. Insgesamt summieren sich die Infrastrukturzusagen über das nächste Jahrzehnt auf 518 Milliarden Dollar, rund 80 Prozent davon nicht kündbar.

OpenAI bleibt vorerst privat und verhandelt nach übereinstimmenden Berichten über mindestens 30 Milliarden Dollar bei rund 1,4 Billionen Dollar Bewertung, als Brücke zum Börsengang 2027; die Gespräche sind in einem frühen Stadium.

Ein Risikoteil ist meistens juristische Vorsorge, die lieber zu viel aufzählt als zu wenig. Dass Lieferanten ihre Kunden finanzieren, ist bei Rechenzentren üblich und für Broadcom ein Weg, Absatz zu sichern. Ein Detail bleibt trotzdem stehen. Ausgerechnet die Vereinbarung mit Elon Musks SpaceX ist zum größten Teil binnen 90 Tagen kündbar, und Musk saß am Dienstag ebenfalls mit am Tisch.

Europa will prüfen, bevor es losgeht

Am Montag eröffnete Bundesdigitalminister Karsten Wildberger im Deutschen Museum den neuen Münchner Standort von Mistral. Neben ihm stand Mistral-Chef Arthur Mensch, der im Interview mit CNBC gesagt hatte:

„The debate that we’ve seen in the U.S. has been a cover for the negligence of some of our competitors.“

Sinngemäß: Die Debatte in den USA sei ein Deckmantel für die Nachlässigkeit einiger Wettbewerber gewesen. Mistral plant nicht, die Entwicklung seiner Modelle zu verlangsamen.

Einen Tag später zeigte Wildberger zwei Seiten an einem Tag. Beim CIO-AI-Summit von Bits & Pretzels rief er: „Let’s play offensive!“ Bei RTL und ntv sagte er mit Blick auf Agenten, die sich selbstständig machen, das Gegenteil: „Die Welt ist jetzt nicht ein Testgebiet für Produkte.“ Laut Table.Briefings schlägt er dort auch standardisierte Tests vor dem Marktstart durch eine unabhängige Institution vor, eine Art KI-TÜV.

Beides passt zusammen, und darin unterscheidet sich die europäische Linie von der amerikanischen. Washington setzt auf Prüfer, die die Labore selbst beauftragen. Berlin will eine staatliche Prüfstelle, die vor dem Start testet, und zugleich keine Bremse für die eigenen Anbieter. Am 1. Oktober startete das Digitalministerium außerdem die zweite Runde seines Agentic AI Hub: 17 Start-ups erproben bis Mitte Dezember Agenten in 38 Kommunen aus zwölf Bundesländern, ausgewählt aus rund 400 Bewerbungen. Ein Testgebiet ist das auch, aber eines mit festem Rahmen, Enddatum und Auswertung, und damit das, was der Minister von den Laboren verlangt.

Die Gegenrechnung: Der KI-TÜV ist bislang ein Vorschlag in einem Podcast, ohne Gesetzentwurf und ohne Budget. Europäische Prüfstellen bekamen die neuesten Modelle zuletzt nur verspätet oder gar nicht, wie die EU-Cybersicherheitsagentur ENISA im September erfuhr. Und eine Prüfung vor dem Marktstart setzt voraus, dass sich das Produkt danach nicht mehr wesentlich ändert. Von Claude Code erschienen in dieser Woche sechs Versionen.

Was das Lesen ersetzt

Der Testcode von SQLite ist 590-mal so umfangreich wie die 156.000 Zeilen C, die er prüft. Addy Osmani führt diese Zahl in seinem Essay „The Code Nobody Reads“ vom 28. September an, weil sie zeigt, worauf Vertrauen in Software tatsächlich beruht. „Reading every line was never what made software trustworthy“, schreibt er: Das Lesen jeder Zeile habe Software nie vertrauenswürdig gemacht.

Seine These: Das zeilenweise Lesen verschwindet, weil andere Belege an seine Stelle treten, die Entscheidung über die Freigabe nicht. Mehrere Agenten suchen, verifizieren und sortieren Fehler in einem ersten Durchlauf; Menschen prüfen danach gestaffelt nach Risiko, vollständig nur bei den Kernpfaden, und die Freigabe bleibt bei ihnen. Als Beleg dient ihm Nicholas Carlinis C-Compiler, geschrieben von 16 Claude-Agenten in rund 2.000 Sitzungen für unter 20.000 Dollar: 100.000 Zeilen Rust, die Linux booten. Carlinis Lehre daraus ist, dass der Prüfer fast perfekt sein muss, sonst löst das Modell das falsche Problem.

Das ist dieselbe Bewegung wie in der Politik dieser Woche: Vertrauen soll aus einer Prüfinstanz entstehen, nicht daraus, dass jemand alles liest. Ob im Repository oder im Weißen Haus, offen bleibt, wer den Prüfer baut und wer prüft, ob er taugt.

Osmani nennt die Schwachstellen selbst. Von Agenten geschriebene Tests prüfen nicht unabhängig, ein Test, der einfach mit Erfolg endet, besteht immer. Die teuren Fehler entstehen an der Grenze zwischen Anforderung und Wirklichkeit, nicht im Implementierungsdetail.

Und wenn Manager Tempo und Prüfkriterien festlegen, Entwickler aber für Fehler haften, entsteht, was die Forscherin Madeleine Clare Elish eine „Moral Crumple Zone“ nennt, eine Knautschzone, in der die Verantwortung bei dem landet, der am wenigsten entscheiden durfte. Wer das Lesen aufgibt, sollte wissen, wer den Prüfer geschrieben hat.

Kurz notiert

AMD kauft World Labs. Der Chiphersteller übernimmt das Weltmodell-Startup von Fei-Fei Li für rund 8,2 Milliarden Dollar in Aktien, seine zweitgrößte Übernahme nach Xilinx. World Labs erzeugt interaktive 3D-Welten für Robotik und Simulation; Li wird Executive Vice President und Chief Scientist und berichtet an AMD-Chefin Lisa Su. Der Abschluss ist bis Jahresende geplant.
Sechs von neun Chatbots melden Gespräche an Werbenetzwerke. Ein Team um Narseo Vallina-Rodriguez von IMDEA Networks in Madrid fand, dass Perplexity, DeepSeek, Gemini, Copilot, ChatGPT und Claude Verbindungen zu Google Ads aufbauten, auch wenn Nutzer nicht notwendige Cookies abgelehnt hatten. Weitergegeben wurden unter anderem Gesprächstitel und Zusammenfassungen mit Gesundheits- und Finanzangaben. Die spanische Datenschutzbehörde AEPD bat den Europäischen Datenschutzausschuss, die Befunde an die anderen Aufsichtsbehörden weiterzugeben.
Anthropic bildet 10.000 Agenten-Ingenieure aus. Die Claude Frontier Academy (2. Oktober) soll mit 100 Millionen Dollar bis Ende 2027 zehntausend „Frontier Deployed Engineers“ ausbilden, Fachleute, die Claude in großen Organisationen einführen. Kern ist eine zwölfwöchige Residency im eigenen Unternehmen; gestartet wird in San Francisco, New York und London.

Quellen

Die große Nachricht der Woche: SiliconANGLE: Prominent tech CEOs sign voluntary White House AI safety accord · Fortune: AI’s biggest players promise to police themselves at the White House · heise: Trump und Tech-Riesen definieren KI-Regeln · CDO Magazine: FTC opens probe into Anthropic, OpenAI over rogue AI agent risks · SOFX: FTC opens consumer-protection probe of OpenAI, Anthropic and METR · Fox Business: OpenAI fires 3 safety researchers · dataconomy: OpenAI entlässt drei Sicherheitsforscher · Blockonomi: Jasmine Wang, Tomek Korbak, and Mikita Balesni lose jobs · The Register: OpenAI pauses some training · TechCrunch: OpenAI safety employee resigns, claiming the company’s culture is broken · ProgressiveRobot: OpenAI safety culture, David Robinson quits

Claude Code: Claude Code Changelog · Anthropic: Introducing Claude Sonnet 5.5 · Mixed: Claude Code 2.1.287, Mods are not sandboxed · The New Stack: Anthropic lets users mod Claude Code

Agentic Coding: TechCrunch: OpenAI gives Codex reusable cloud environments · The Decoder: OpenAI expands Codex and its API at DevDay · GitHub Changelog: HydraFusion · GitHub Changelog: Copilot computer use · GitHub Changelog: Dynamic workflows · Earendil: You said no MCP!

Was die Modelle können: Artificial Analysis: Claude Sonnet 5.5 · Anthropic: Claude Sonnet 5.5 System Card · The Decoder: Gemini 4 Argon closes the gap

Sicherheitslage: Glow Labs: How AI agents exposed developer screenshots · Bitdefender: PixelLeak · Simon Willison: Matthew Green on sandboxing and rogue agents

Der Staat steht im Risikoteil: The Next Web: Anthropic tells IPO investors US government actions could hit its business · CNBC: Broadcom to lend Anthropic up to $42 billion · Implicator: Broadcom to lend Anthropic up to $42B for TPU chip leases · Crypto Briefing: Anthropic could pay SpaceX up to $84.5B · Claude: Claude for Government is now generally available · TechCrunch: OpenAI reportedly in talks to raise $30B at $1.4T valuation

Europa will prüfen, bevor es losgeht: BMDS: Bundesminister Wildberger in München · The Next Web: Mistral CEO calls US AI safety debate cover for negligence · ad-hoc-news: Wildberger fordert mehr Sicherheit von KI-Unternehmen · Table.Briefings: KI-TÜV, Wildberger schlägt standardisierte Tests vor · BMDS: Agentic AI Hub, zweite Runde

Trend der Woche: Addy Osmani: The Code Nobody Reads

Kurz notiert: Yahoo Finance: AMD acquires Fei-Fei Li’s World Labs for $8.2 billion · EUobserver: AI chatbots turn users’ most intimate data into a potential goldmine for advertisers · Unite.AI: Anthropic Academy backs 10,000 engineer residencies

Das war Agentic Weekly #026.

Agentic Weekly erscheint wöchentlich auf LinkedIn und hier. Noch kein Abo? Jede Woche die vollständige Ausgabe mit allen Quellen: Agentic Weekly auf LinkedIn abonnieren oder per RSS-Feed

Alle Ausgaben · Redaktion: Martin Gross