Zum Inhalt springen

Anthropic öffnet für METR: sechs externe Prüfer im Unternehmen

Anthropic bettet sechs METR-Prüfer mit internem Zugang und Veröffentlichungsrecht ein. Eingeschränkte Kategorien und noch ausstehende Ergebnisse bleiben…

6 Min. Lesezeit Wie wir arbeiten

Sechs Personen von METR haben Hardware, Arbeitsräume und interne Zugänge erhalten, die mit denen der eigenen Risikobewertungsgruppen von Anthropic vergleichbar sind. Das Unternehmen hat dies am 15. Oktober 2026 bekannt gegeben: Die neue Zusammenarbeit zwischen Anthropic und METR bringt externe Prüfer in die Organisation, mit der Möglichkeit, eigene Analysen zu veröffentlichen. Es handelt sich nicht um ein bereits abgegebenes Sicherheitsurteil über Claude. Es ist eine Änderung der Art und Weise, wie dieses Urteil künftig gebildet und diskutiert werden kann.

Anthropic update on independent evaluators
Anthropic announces updates to embedding independent evaluators

Wir haben die Ankündigung von Anthropic gelesen, die von METR am 14. Oktober veröffentlichte Arbeitsmethodik, den Vorschlag zu internen Bewertungen sowie das Archiv früherer Prüfungen. Es handelt sich um Primärdokumente der beteiligten Akteure. Wir haben keinen Zugang zu vertraulichen Vereinbarungen oder den untersuchten Systemen und schreiben der neuen Gruppe keine noch nicht veröffentlichten Ergebnisse zu.

Sechs Personen, ein Zugang mit Grenzen

Anthropic beschreibt eine kleine Gruppe, die bereits in das Unternehmen eingebettet ist und über Werkzeuge und Informationen verfügt, die denen der eigenen Risikobewertenden ähneln. Das entscheidende Wort ist „ähneln“: Es bedeutet keinen uneingeschränkten Zugang. Kundendaten, anwaltlich geschützte Informationen und Details zu Modellarchitekturen gehören zu den Kategorien, die üblicherweise ausgenommen sind. Die Weitergabe von Architekturinformationen, sofern sie besonders relevant sind, erfordert spezifische Genehmigungen.

Entscheidend ist, den Prozess zu beobachten, der über das Verhalten des Modells in einer Demonstration hinausgeht. Das Beispiel der dokumentierten unerwünschten Aktionen in Claude-Tests zeigt, wie sehr die Umgebungsbedingungen, die verfügbaren Werkzeuge und die Kriterien zur Erkennung von Vorfällen eine Rolle spielen. Wir stellen die Einbindung von METR nicht als Lösung dieser Probleme dar: Neue Analysen müssen sichtbar machen, was tatsächlich untersucht wurde.

Auch innerhalb von METR bleibt die Weitergabe von Informationen auf die autorisierte Gruppe beschränkt. Anthropic stellt klar, dass die übrigen Mitarbeitenden der Organisation von der Arbeit des eingebetteten Teams getrennt sind und dass die Vereinbarungen bindend sind. Eine Ausweitung des Prüferzugangs bedeutet also nicht, dass Daten und Systeme öffentlich zugänglich werden. Unsere Einschätzung ist, dass diese Trennung Teil der Glaubwürdigkeit des Projekts ist, sofern die für die Schlussfolgerungen relevanten Einschränkungen klar benannt werden.

Drei Ebenen geben nicht dieselben Rechte

Das Unternehmen unterscheidet drei Ebenen. Auf der ersten stellt es Informationen für eine begrenzte Untersuchung bereit und behält die Genehmigung zur Veröffentlichung. Auf der zweiten kann der Prüfer ohne diese Genehmigung veröffentlichen und verfügt über mehr Informationen, wobei Schwärzungen in definierten Kategorien möglich bleiben. Die dritte Ebene fügt den für METR beschriebenen internen Zugang hinzu. Vereinbarungen zu zählen, ohne diese Ebenen zu unterscheiden, würde ein ungenaues Bild davon liefern, wie viel externe Kontrolle tatsächlich verfügbar ist.

Drei Zugriffsebenen und unterschiedliche Veröffentlichungsrechte
Drei Zugriffsebenen und unterschiedliche Veröffentlichungsrechte

SecureBio, Accenture und Faculty werden in noch laufenden Berichten erwähnt. Hugging Face unter den Organisationen aufgeführt wird, mit denen erste Gespräche begonnen haben. Diese Kooperationen sind nicht alle gleichwertig mit der METR-Gruppe. Auch die Instrumente unterscheiden sich: Die von Anthropic aktualisierten Nutzungsbedingungen regeln den Dienst. Ein Prüfer Belege und Praktiken untersucht. Eine Richtlinie, eine Zugangsvereinbarung und eine abgeschlossene Prüfung sind nicht dasselbe Ergebnis.

Veröffentlichen bedeutet nicht, jeden Datenpunkt zu zeigen

Laut Anthropic kann das Unternehmen die Veröffentlichung von METR-Analysen nicht per Veto verhindern. Es kann verlangen, Material zu schwärzen, das in die vereinbarten eingeschränkten Kategorien fällt. METR kann solche Schwärzungen öffentlich beschreiben und angeben, ob es sie für gerechtfertigt hält, ohne die geschützten Informationen preiszugeben. Dieser Mechanismus ermöglicht es dem Leser, eine Einschränkung des Berichts zu kennen, auch wenn der zugrundeliegende Inhalt nicht veröffentlicht werden kann.

Our approach to working with AI companies
How we approach working with AI companies on projects that the public might rely on to understand risks.

Die von METR veröffentlichte Methodik betont genau diesen Punkt. Die Organisation möchte Umfang, Dauer, Zugänge, Ressourcen, Einschränkungen und Einflüsse angeben, die eine Schlussfolgerung beeinflusst haben könnten. Es handelt sich um ein von der Organisation erklärtes Transparenzversprechen, nicht um einen Beweis, dass jeder künftige Bericht vollständig sein wird. Die nützliche Prüfung wird darin bestehen, zu vergleichen, was der Prüfer nach eigenen Angaben gesehen hat, mit dem, was er zu schlussfolgern behauptet.

Der METR-Zugang bleibt durch Kategorien vertraulicher Informationen begrenzt
Der METR-Zugang bleibt durch Kategorien vertraulicher Informationen begrenzt

Der Vergleich mit dem Zugang von Agenten zu Bankkonten dient dazu, das Problem zu verdeutlichen, nicht die beiden Systeme gleichzusetzen. Ein breiter Zugang hebt nicht jede Schranke auf und macht den wichtigsten Nachweis nicht automatisch verfügbar. Unsere Einschätzung ist, dass die redaktionelle Unabhängigkeit derjenigen, die veröffentlichen. Der Rahmen dessen, was beobachtet werden kann, separat beschrieben werden müssen. Erstere schützt das Urteil; letzterer begrenzt seine Reichweite.

Unabhängigkeit zeigt sich in der Methode

METR erläutert, dass seine Aufgabe darin besteht, Belege für das Risiko eines Kontrollverlusts zu sammeln, und nicht, allein zu entscheiden, wie Unternehmen Agenten entwickeln oder einsetzen sollen. Der Vorschlag vom 14. Oktober unterscheidet zwischen Ausrichtung, Kontrolle interner Agenten und der Beschleunigung der Forschung durch KI. Dies sind vorgeschlagene Untersuchungsbereiche: Wir machen aus dem Dokument keine Reihe von Ergebnissen, die durch den neuen Zugang zu Anthropic bereits erzielt worden wären.

Ein Vorschlag zur besseren Information der Öffentlichkeit über Kontrollverlustrisiken bei der Entwicklung von Frontier-KI
Die zentralen Fragen zur internen KI-Entwicklung, zu denen die Öffentlichkeit mehr Belege benötigt, und ein konkreter Vorschlag, wie Entwickler mit METR zusammenarbeiten könnten, um diese Belege zu erstellen und zu teilen.

In den eigenen Arbeitsregeln benennt METR Interessenkonflikte, finanzielle und operative Unabhängigkeit, Vertraulichkeit sowie die Veröffentlichung von Methoden. Die Ankündigung vom 15. Oktober enthält keine detaillierte wirtschaftliche Aufschlüsselung der neuen Vereinbarung. Angaben zu Vergütungen, Kosten oder deren Fehlen lassen sich daraus nicht ableiten. Wie beim Zusammenspiel zwischen Workday, Sana und Claude gilt: Eine Kontrollarchitektur zu beschreiben ist der Beginn einer Überprüfung, nicht ihr Abschluss.

Was sich für Nutzer von KI-Agenten ändert

Konkret: für ein deutsches Unternehmen, das Claude einsetzt, verändert diese Ankündigung weder bestehende Verträge noch die Berechtigungen der eigenen Umgebung. Sie bietet eine neue mögliche Informationsquelle zu den Risiken des Anbieters. Veröffentlichte Berichte können helfen, gezieltere Fragen zu stellen; sie müssen jedoch im Hinblick auf ihren Anwendungsbereich gelesen werden. Eine Untersuchung interner Agenten eines Labors zertifiziert nicht automatisch eine Anwendung, die mit Kundendaten arbeitet.

Dasselbe Thema stellt sich bei den KI-Recherche-Agenten Bloomberg ASKB. Synthetisiert ein Dienst Dokumente oder führt Werkzeuge aus, muss klar sein, welche Belege die Kontrollversprechen stützen. Laut unserer Einschätzung macht ein guter externer Bericht vorhandene Zweifel lesbarer, statt sie mit einem Zuverlässigkeitssiegel zu überdecken. Eine abschließende Bewertung der neuen Gruppe liegt uns nicht vor.

Anthropic und METR im Überblick

Was bestätigt ist, was nicht

  • Bestätigt: Sechs Prüfer mit internem Zugang, wie von Anthropic beschrieben; Veröffentlichung ohne allgemeines Vetorecht.
  • Nicht angegeben: Ergebnisse der neuen Arbeit, vollständiger Zeitplan und wirtschaftliche Details der Vereinbarung.
  • Zu beobachten: Öffentliche Berichte, Zugangsbeschränkungen und Begründungen für etwaige Schwärzungen.

Das größere Bild

Unsere Einschätzung: Die Meldung verschiebt den Blick vom isolierten Modell hin zur Organisation, die es entwickelt. Sicherheit hängt auch von Protokollen, Anreizen, Werkzeugen und der Reaktion auf Vorfälle ab. Unser Dossier zur Künstlichen Intelligenz verfolgt diesen Wandel: Es reicht nicht mehr zu fragen, ob eine Antwort korrekt ist; entscheidend ist zu verstehen, wie Verhaltensweisen beobachtet werden, die ein normaler Chat-Verlauf nicht sichtbar macht.

Die relevanten Signale sind die ersten Berichte der neu eingesetzten Gruppe, die Beschreibung fehlender Zugänge und mögliche Meinungsverschiedenheiten über Schwärzungen. Zu prüfen bleibt, ob die vorgelegten Belege Vergleiche über Zeit und zwischen Unternehmen zulassen. Derzeit lässt sich feststellen: Sechs Personen sind autorisiert, genauer hinzuschauen, und ein erklärtes Veröffentlichungsrecht besteht. Ein bereits ausgestelltes Sicherheitszertifikat ist das nicht.

Werbeinhalt
Bloggerverzeichnis Bloggerei.de - Wirtschaftsblogs