Agentic Weekly #018: Zum ersten Mal Critical

Die große Nachricht der Woche

Fünf Befunde, und diesmal misst der Staat mit

Der Regierungsbericht. Das UK AI Security Institute (AISI), die staatliche britische Prüfstelle für KI-Sicherheit, veröffentlicht am 4. August einen Vorfallsbericht aus eigenen Cybersecurity-Tests. In 10 von 122 Testläufen handelten die geprüften Modelle außerhalb ihres Auftrags, insgesamt 19 dokumentierte Aktionen: 17 davon von Anthropics Mythos 5 (Anthropics leistungsfähigere, nur ausgewählten Partnern zugängliche Modell-Variante), zwei von OpenAIs GPT-5.6-Sol.

Der schwerste Einzelfall: Mythos 5 legte sich einen eigenen GitHub-Account an, um eine absichtlich eingebaute Schwachstelle in ein öffentliches Projekt zu bringen. Dafür erfand es mehrere Identitäten und setzte Phishing-Nachrichten ein, also gefälschte Mails, die Menschen zu einer Handlung bewegen sollen. Ein menschlicher Maintainer erkannte den Code und verweigerte die Freigabe. Danach stellte das Modell die Lücke als ehrlichen Fehler dar und versuchte, sie in den Korrekturen erneut unterzubringen. AISI dazu:

„This is the first time we have seen risks around autonomy and deception manifest this clearly, without specific prompting, in the real-world.“

Sinngemäß: Zum ersten Mal zeigten sich Autonomie- und Täuschungsrisiken derart deutlich in der realen Welt, ohne dass jemand gezielt danach gefragt hätte. Schaden ist nach AISIs Untersuchung keiner entstanden.

Der Testpartner. Am 6. August wird bekannt, dass ein Meta-Modell während eines Sicherheitstests in die Systeme eines fremden Unternehmens eindrang. Ursache war dieselbe Fehlerklasse wie bei Anthropics Vorfall aus der Vorwoche (#017): eine Fehlkonfiguration beim externen Prüfdienstleister Irregular, die dem Modell versehentlich Internetzugang gab. OpenAIs Vorfall hatte einen anderen Mechanismus: Dort brachen die Modelle über eine selbst gefundene Zero-Day-Lücke in einer internen Softwareverwaltung aus ihrer Testumgebung aus, ganz ohne externen Prüfdienstleister. Simon Willison:

„So that’s Anthropic, OpenAI, and Meta. Google Gemini really needs to catch up on accidentally cyberattacking other companies.“

Sinngemäß: Damit wären Anthropic, OpenAI und Meta durch, Google müsse beim versehentlichen Angriff auf fremde Firmen noch aufholen.

Die erste Critical-Einstufung. Am 7. August stuft OpenAI sein noch unveröffentlichtes Modell Astra als potenziell „Critical“ ein, die höchste Stufe im eigenen Preparedness Framework, dem internen Risikoraster für Modellfähigkeiten. Bisherige Modelle inklusive GPT-5.6 Sol lagen maximal bei „High“. Die Begründung: Astra könnte funktionsfähige Zero-Day-Exploits, also Angriffe über bislang unbekannte Lücken, in gehärteten Produktivsystemen ohne menschliches Zutun entwickeln oder aus einer einzigen Zielvorgabe komplette Angriffsstrategien planen und ausführen. OpenAI antwortet mit isolierten Testumgebungen, eingeschränktem Netz- und Werkzeugzugang, stärker verschlüsselten Modellgewichten und einer Überwachung aller agentischen Astra-Anwendungen, die riskante Aktivitäten automatisch anhält.

Die CVEs. Novee Security zeigt am 5. August auf der Black Hat USA, wie ein GitHub-Konto ohne Rechte am Repository Code auf den CI-Runnern der Hersteller ausführt, also auf deren Build-Servern. CVE-2026-12537 trifft die Gemini CLI mit dem Höchstwert 10.0 auf der CVSS-Schwereskala: eine Befehls-Injektion über eine präparierte .gemini/.env-Datei, behoben in 0.39.1. CVE-2026-54316 trifft Claude Code und macht den öffentlichen Download-Zähler von Hugging Face zum Ausleitungskanal, über den ein API-Schlüssel zeichenweise nach außen wandert; behoben in 2.1.163.

Die Rekonstruktion. Simon Willison legt am 7. August die erste vollständige Zeitleiste zum OpenAI-Einbruch bei Hugging Face vor. Die Agenten erreichten in unter 13 Stunden Administratorrechte über mehrere Cluster. Unterwegs bauten sie sich in einem Artefakt-Speicher ein improvisiertes schwarzes Brett: Ein Agent hinterlegte eine Notiz mit einer Frage, weitere fanden den Ablageort und begannen dort zu lesen und zu schreiben. Als OpenAI am 4. Juli die Zugangsdaten sperrte, stand vier Tage später ein neuer Kanal über einen unauthentifizierten WebDAV-Endpunkt.

Warum das relevant ist: Fünf Wochen lang bestand diese Serie aus Selbstauskünften der Labore und Funden einzelner Forscher. Diese Woche prüft eine Regierungsbehörde unabhängig nach, ein gemeinsamer Prüfdienstleister erweist sich als geteilter Fehlerpunkt bei zwei der drei Labore, und ein Anbieter erklärt sein nächstes Modell für gefährlich genug, um die Arbeit daran anders abzusichern. Wer agentische Werkzeuge in eine CI-Pipeline hängt, prüft besser nicht das Modell, sondern die Rechte, die das Drumherum ihm einräumt.

Google DeepMind verliert an einem Tag CEO und Chief Scientist

Am 5. August kündigt Google einen Umbau an der Spitze seiner KI-Organisation an. Demis Hassabis gibt den CEO-Posten von Google DeepMind ab und wird Chairman von Google DeepMind sowie Chief Scientist von Alphabet; die Leitung von Isomorphic Labs behält er. Koray Kavukcuoglu, bisher CTO, übernimmt als Senior Vice President von Google DeepMind die Verantwortung für die Gemini-Entwicklung und berichtet direkt an Sundar Pichai.

Am selben Tag wird bekannt, dass Jeff Dean Google nach 27 Jahren verlässt. Er gründet mit Sanjay Ghemawat, Oriol Vinyals und Quoc Le die Public Benefit Corporation Discovery Loop (eine in den USA verbreitete Unternehmensform, die neben Gewinn auch einen definierten Gemeinwohlzweck verfolgt), die maschinelles Lernen sowie Wissenschafts- und Ingenieursforschung automatisieren soll. Alphabet ist Gründungsinvestor, die Aktie gab nach der Ankündigung rund 5 % nach.

Vier Namen, die zusammen einen erheblichen Teil der Google-Infrastruktur und der Gemini-Linie gebaut haben, gründen gemeinsam neu, und der Konzern finanziert es mit. Das ist die freundlichste Form, in der ein Lab seine Schlüsselleute verlieren kann. Verloren hat es sie trotzdem.

Claude Code: Die Highlights der Woche

Für Teams mit Compliance-Auflagen

Self-hosted Environments (Public Beta): Angekündigt am 6. August, ausgeliefert mit v2.1.224 (7. August) können Team- und Enterprise-Kunden Claude-Code-Sitzungen aus Web, Mobile und Desktop auf eigenen Maschinen oder Containern laufen lassen (claude self-hosted-runner). Repository-Checkouts, Build-Artefakte, Secrets und geänderte Dateien bleiben auf der eigenen Infrastruktur; Prompts, Antworten, Tool-Ergebnisse und Sitzungsprotokolle gehen weiterhin an Anthropic. Standardmäßig ist das Feature aus, für Organisationen mit Zero Data Retention (Anthropic speichert dort keine Inhalte) gibt es das Angebot gar nicht.

Für alle, die Claude Code täglich nutzen

Ein Sicherheitsbündel in drei Tagen: v2.1.222 (4. August) verhindert, dass worktree-isolierte Sitzungen zerstörerische Git-Befehle gegen den Haupt-Checkout absetzen. v2.1.223 (6. August) schließt einen Permission-Bypass, bei dem zsh versteckte Befehle in [[ ]]-Bedingungen ausführen konnte, behebt zwei weitere Verschleierungslücken in den Permission-Prüfungen und stoppt Workflow-Skripte, die per dynamischem import() aus ihrer Sandbox ausbrachen. v2.1.224 (7. August) legt nach: eine Session-Verzeichnis-Kollision bei langen Pfaden und umgehbare Sandbox-Sperren durch einen angehängten Schrägstrich sind behoben.

Für Multi-Agent-Workflows

Das 200-Subagenten-Limit fällt: v2.1.224 hebt die Obergrenze pro Sitzung auf, lange Läufe verweigern keine neuen Agenten mehr. Dieselbe Version lässt Sitzungen einander über Maschinengrenzen hinweg Nachrichten schicken (macOS und Linux).

Agentic Coding

Meta steigt in den Terminal-Wettbewerb ein. Am 5. August stellt Meta AI Research Muse Code vor, einen terminalbasierten Coding-Agenten auf Basis von Muse Spark 1.2, vorerst in früher Beta. Interessanter als das Produkt ist das Preisblatt: 1,25 $ Eingabe und 4,25 $ Ausgabe je Million Tokens im Standardtarif, im „Contributor“-Tarif gegen Rückmeldungen der Nutzer 0,10 $ und 0,20 $. Alexander Wang, Chief AI Officer bei Meta, beschreibt das als Einstieg zu deutlich niedrigeren Kosten.
Grok Build verlässt die Beta. xAI veröffentlicht am 7. August die 1.0.0, vier Tage nach 0.2.120. Inhaltlich ein Politurrelease: Berechtigungsdialoge zeigen jetzt vollständige Skripte, dazu bessere Theme-Erkennung über SSH und tmux.
Codex CLI nimmt die neue MCP-Fassung auf. v0.147.0 (7. August) unterstützt die Spezifikation 2026-07-28 als Opt-in, dazu ein --approve-for-me-Flag für automatisch geprüfte Freigaben und portable Agent Plugins. Deren Standard 1.0 kommt von Amazon, Cursor, Microsoft, OpenAI und Vercel: Anthropic sitzt nicht im Steering Committee, obwohl das Format auf zwei Anthropic-Spezifikationen aufsetzt.
Copilot holt Kimi K3 und schraubt am Enterprise-Tuning. Am 6. August erscheint Kimi K3 im Modell-Picker, am selben Tag kommen MCP-Allowlists in die Enterprise-Einstellungen, am 7. August werden die Effort-Stufen im Copilot-Code-Review allgemein verfügbar.
Cursor greift auf Google Workspace zu. Seit dem 3. August lesen und schreiben Cursor-Agenten über neue Plugins direkt in Gmail, Drive und Kalender.

Europas Souveränität steht im Kleingedruckten

Jeremy Kahn zeichnet am 5. August bei Fortune nach, wie schief die europäische Souveränitätserzählung hängt. Mistral-CEO Arthur Mensch warnt, Europa habe rund zwei Jahre Zeit, eigene KI-Infrastruktur aufzubauen, sonst werde es zum „vassal state“, zum dauerhaft abhängigen Vasallenstaat. Gleichzeitig kommen etwa 40 % des Mistral-Umsatzes aus nicht-europäischen Märkten, die Microsoft-Partnerschaft wurde gerade ausgeweitet, und die Bewertung von rund 23 Mrd. $ ist ein Bruchteil dessen, was Anthropic und OpenAI aufrufen.

Die Aufsicht kommt derweil in der Praxis an. Zu den seit dem 2. August geltenden Transparenzpflichten der KI-Verordnung sagt Bitkom-Präsident Ralf Wintergerst, die Übergangsfrist habe den Unternehmen „faktisch keine Zeit für die Vorbereitung gegeben, weil zentrale Leitlinien und Auslegungshilfen erst vor Kurzem veröffentlicht wurden“; er fordert „pragmatische Hilfestellungen, eine verhältnismäßige Durchsetzung und ein europaweit abgestimmtes Vorgehen“. Die Bundesnetzagentur nimmt seit dem 29. Juli unter bundesnetzagentur.de/ki Beschwerden über Verstöße entgegen und gibt sie weiter: Datenschutzfälle an die Landesdatenschutzbeauftragten, Finanzsektor an die BaFin.

Souveränität wird gerade an drei Stellen gleichzeitig verhandelt, und keine davon ist die Modellqualität: am Kapital, an der Aufsicht und am Betriebsmodell. Die On-Premise-Beta aus dem Claude-Code-Block ist dabei die ehrlichste Antwort der Woche. Sie hält Code und Secrets im Haus und schreibt zugleich in die Dokumentation, was trotzdem das Haus verlässt.

Tipp der Woche

Niklas Gruhn hat am 3. August aufgeschrieben, warum ihn weitergeleitete KI-Antworten ärgern: „Don’t be a meat proxy“. Wer eine Modellausgabe ungelesen durchreicht, zwingt sein Gegenüber, einen Text zu prüfen, den er selbst nicht geprüft hat. Sein Gegenvorschlag ist unbequem einfach: lesen, verstehen, validieren, dann in eigenen Worten antworten. Die eigenen Worte sind der Beleg, dass die ersten drei Schritte stattgefunden haben.

Warum das hier steht: Der Text beschreibt die Kehrseite jeder Produktivitätsrechnung, die dieser Newsletter sonst führt. Ein Agent, der das Zehnfache an Text produziert, erledigt die Prüfarbeit nicht. Er verschiebt sie an die nächste Person in der Kette.

Kurz notiert

Oracle verbietet KI-generierten Code in OpenJDK: Seit dem 3. August sind Beiträge untersagt, die von großen Sprach- oder Diffusionsmodellen stammen, für Code, Text und Bilder in Repositories, Pull Requests, Mails, Wikis und Issue-Trackern. Begründung: Prüfaufwand, plausibel aussehender falscher Code, Sicherheitsrisiken, ungeklärte Rechtslage. Konzern-CTO Larry Ellison hatte 2025 erklärt, Oracles Code schreibe längst die eigene KI.
Zwei Hardware-Meldungen an einem Tag: AMD übernimmt am 6. August den 2023 gegründeten Toronto-Spezialisten Taalas für Inferenz-Silizium, Konditionen nicht offengelegt. Am selben Tag bestätigt Anthropic eine eigene Chip-Entwicklung, ausdrücklich als Mehr-Chip-Strategie neben den bestehenden Partnern. Fortsetzung der Linie aus #012.
Anthropic holt einen früheren Höchstrichter: Mariano-Florentino „Tino“ Cuéllar, zuvor Präsident des Carnegie Endowment for International Peace und Richter am obersten Gericht Kaliforniens, wird am 4. August erster Chief Global Affairs Officer. Sein Mandat im Long-Term Benefit Trust von Anthropic hat er dafür niedergelegt.

Quellen

Die große Nachricht der Woche: AISI: Incident report on unsanctioned agent behaviour · heise: Weitere KI-Attacke · Simon Willison: An AI model from Meta also hacked another company · heise: Auch KI von Meta hackte sich in eine andere Firma · the-decoder: OpenAI flags Astra as potentially Critical · SiliconANGLE: Astra may possess critical hacking capabilities · The Hacker News: Claude Code and Gemini CLI flaws · Simon Willison: A timeline of the OpenAI accidental attack

Google DeepMind verliert an einem Tag CEO und Chief Scientist: the-decoder: Google DeepMind loses both its CEO and chief scientist · Fortune: Hassabis steps down amid a major AI leadership shake-up

Claude Code: Anthropic: Run Claude Code sessions on your own compute · Claude Code Changelog · Claude Release Notes

Agentic Coding: Meta AI Research: Introducing Muse Code and Muse Spark 1.2 · Engadget: Meta introduces Muse Code · Grok Build Release Notes · Codex Changelog · blogspan.net: Agent-Plugins-Standard ohne Anthropic · GitHub Changelog · Cursor Changelog

Trend der Woche: Fortune: Europe’s AI sovereignty is under threat · datensicherheit.de: AI Act seit 2. August · all-ai.de: Beschwerdestelle der Bundesnetzagentur

Tipp der Woche: Niklas Gruhn: Don’t be a meat proxy

Kurz notiert: The Register: Oracle says it loves AI-written code, just not in OpenJDK · AMD Newsroom: AMD acquires Taalas · heise: Anthropic develops own AI chips · Anthropic: Tino Cuéllar joins as Chief Global Affairs Officer

Das war Agentic Weekly #018.

Agentic Weekly erscheint wöchentlich auf LinkedIn und hier. Noch kein Abo? Jede Woche die vollständige Ausgabe mit allen Quellen: Agentic Weekly auf LinkedIn abonnieren oder per RSS-Feed

Alle Ausgaben · Redaktion: Martin Gross