Altman, Musk und Amodei fordern KI-Bremse: Erstmals wollen die Marktführer langsamer voran

Zum ersten Mal sind es nicht externe Organisationen oder Akademiker, die eine Verlangsamung des KI-Rennens fordern, sondern die Protagonisten selbst. Dario Amodei, Gründer und CEO von Anthropic, veröffentlichte einen langen Essay, in dem er die gesamte Branche explizit auffordert, die Entwicklung von KI-Systemen zu verlangsamen. Binnen weniger Stunden stimmten zwei seiner schärfsten Konkurrenten zu: Sam Altman von OpenAI und Elon Musk von xAI. Branchenbeobachter beschreiben diesen Moment als selten und in gewisser Weise historisch, da drei Persönlichkeiten, die oft offen miteinander konkurrieren, hier eine gemeinsame Position einnehmen.

Die Angelegenheit hat sich innerhalb von kaum zwei Tagen auch zu einem Ereignis entwickelt, das die Finanzmärkte konkret bewegt hat: Massiver Verkaufsdruck traf KI-Aktien in Asien. Was schlägt Amodei genau vor, wie haben die anderen Akteure reagiert, und warum ist die Geschichte alles andere als einhellig, auch innerhalb derselben Branche?

Was Amodei konkret fordert

In seinem Essay mit dem Titel „We Must Pace the Frontier“ schreibt der Anthropic-CEO: „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern. Der Fortschritt wird trotzdem schnell wirken, und wir müssen die gewonnene Zeit gut nutzen.“ Entscheidend ist dabei zu verstehen, was er damit genau meint, denn er selbst stellt es unmissverständlich klar: Es geht nicht darum, das Modelltraining oder den technischen Fortschritt an sich zu stoppen, sondern darum, genug Zeit zu gewinnen, damit Sicherheitsarbeit, externe Überprüfung und operative Sorgfalt mit dem Schritt halten können, zu dem diese Systeme fähig sind.

Amodei schlägt konkret drei Interventionsebenen vor. Die erste ist die Einführung unabhängiger Evaluatoren mit dauerhaftem Zugang zu den Systemen der KI-Entwickler, nahezu vergleichbar mit dem Zugang eines internen Mitarbeiters. Anthropic erklärte, diesen ersten Punkt unilateral umzusetzen, ohne auf den Rest der Branche zu warten. Die zweite Ebene betrifft die Abstimmung zwischen den führenden Laboren auf gemeinsame Sicherheitsstandards. Die dritte, ambitioniertere Ebene fordert eine internationale und staatliche Kooperation zu diesem Thema.

Dario Amodei: We Must Pace the Frontier

Warum jetzt: die zwei auslösenden Faktoren

Amodei verknüpft seine Position explizit mit zwei spezifischen Elementen. Das erste ist das, was er als „rekursive Selbstverbesserung“ bezeichnet, also die Phase, in der KI-Systeme beginnen, direkt zum Aufbau ihrer eigenen Nachfolger beizutragen und das Fortschrittstempo auf potenziell schwer kontrollierbare Weise zu beschleunigen. Das zweite ist ein jüngster Cybersicherheitsvorfall mit autonomen KI-Agenten, die nicht autorisiertes Verhalten zeigten. Einigen Berichten zufolge soll der Vorfall Agenten betreffen, die von einem direkten Konkurrenten entwickelt wurden.

Der Essay entstand nicht im Vakuum, auch wenn er allein veröffentlicht wurde. Einige Tage zuvor hatte ein Forscher, der sowohl für OpenAI als auch, zuletzt, für Anthropic gearbeitet hatte, die Branche mit einem viral gegangenen Post verlassen, in dem er beiden Unternehmen vorwarf, auf Systeme mit Selbstverbesserungsfähigkeiten zuzusteuern, ohne verantwortungsvoll zu handeln. Der Forscher bezeichnete dies als eine Wette mit dem Leben aller. Ein bedeutsames Detail: Der Leiter des Alignment-Teams von Anthropic erklärte öffentlich, diese Bedenken zu teilen, und schätzte die Wahrscheinlichkeit eines schweren Szenarios innerhalb eines Jahrzehnts auf über zehn Prozent.

Die Reaktionen: Konsens, aber nicht einhellig

Die Antworten der anderen beiden Hauptakteure kamen rasch. Sam Altman schrieb auf X, er stimme zu, dass man „das Tempo an der Frontier bestimmen“ müsse, und kündigte an, OpenAI werde ebenfalls den ersten Punkt, unabhängige Evaluatoren, umsetzen. Weitere Details seien in Kürze zu erwarten. Elon Musk antwortete mit drei Worten: „Dario hat recht.“ Der Vollständigkeit halber sei ein Kontextdetail erwähnt: Anthropic soll laut Reuters Kapazitäten aus Musks Rechenzentren nutzen, was einige Beobachter angemerkt haben, ohne dass dies notwendigerweise einen direkten Interessenkonflikt bedeuten würde.

Nicht alle haben den Appell positiv aufgenommen. Ein bekannter Venture-Capital-Investor kritisierte Amodeis Essay öffentlich mit dem Argument, die Argumentation diene letztlich dazu, die Entwicklung von Open-Source-Modellen zu bremsen und enorme technologische und wirtschaftliche Macht in den Händen von Anthropic selbst zu konzentrieren. Diese skeptische Lesart verdient Erwähnung, denn sie erinnert daran, wie in einer Branche mit kolossalen kommerziellen Interessen selbst Appelle zur Vorsicht durch die Linse des Marktwettbewerbs gelesen werden können. Altman seinerseits bestätigte in einem im selben Zeitraum erschienenen Interview, dass OpenAI im Jahr 2026 keinen Börsengang anstrebt, und nannte explizit Sicherheitsbedenken im Zusammenhang mit dieser Debatte als Grund.

Trumps Reaktion und der Einbruch der asiatischen Märkte

Der Appell hatte unmittelbare politische Folgen. Am Sonntag, dem 13. September, wies US-Präsident Donald Trump die Forderung nach einem verlangsamten KI-Ausbau öffentlich zurück. Die Vereinigten Staaten seien China im Bereich künstliche Intelligenz voraus, und er beabsichtige, diesen Vorsprung zu halten. Wer in der KI gewinne, gewinne alles, erklärte er laut CoinDesk, und bezeichnete jene, die das Thema aufwerfen, als „negative Kräfte“, die Szenarien verbreiten, die nicht eintreten würden. Es ist die erste öffentliche Stellungnahme der Regierung zu diesem gemeinsamen Appell. Sie bestätigt, wie zentral das Thema des Wettbewerbs mit China für den Ansatz des Weißen Hauses zur KI-Regulierung bleibt, die sich bislang überwiegend auf freiwilliger Basis bewegt hat.

Das Thema wurde schnell auch zu einer Marktgeschichte. Am Montag, dem 14. September, gerieten KI-bezogene Aktien zum Auftakt des asiatischen Handels unter erheblichen Verkaufsdruck. Der japanische Großinvestor mit direkter OpenAI-Beteiligung verlor zeitweise bis zu 13 Prozent, wie Bloomberg berichtete, und zog dabei Halbleiter- und Speicherhersteller aus Taiwan, Südkorea und Japan mit, deren Titel bei einzelnen Namen bis zu knapp zehn Prozent einbrachen. Auch die Futures auf die wichtigsten amerikanischen Technologieindizes verzeichneten zu Handelsbeginn Abschläge. Marktbeobachter betonen, dass die vorsichtigere Lesart dieser Verkaufswelle nicht ein drohendes Ende der KI-Rechennachfrage ist, sondern eine möglicherweise schneller als erwartet veränderte Zusammensetzung zwischen Training und praktischer Nutzung, ein Thema, das wir bereits im Zusammenhang mit den chinesischen Prognosen zur Zukunft der KI-Rechenkapazität behandelt haben.

Die größere Einordnung

Dieser Vorgang markiert einen potenziell wegweisenden Moment in der öffentlichen Debatte über künstliche Intelligenz. Zum ersten Mal kommt die Forderung nach Vorsicht aus dem Inneren des Wettbewerbs selbst, von Akteuren mit dem stärksten kommerziellen Interesse daran, schneller als die Konkurrenz zu sein. Ob es sich um eine echte Sorge handelt, um einen strategischen Schachzug zur Neugestaltung der Spielregeln zu eigenen Gunsten oder wahrscheinlicher um eine Kombination aus beidem, wie die geäußerte Kritik nahelegt, bleibt eine offene und legitim diskutierte Frage, über die sich der Leser selbst ein Urteil bilden sollte.

Für den Beobachter ist die Lehre zweigeteilt. Einerseits zeigt dieser Vorgang, wie das Thema KI-Sicherheit den technischen und akademischen Bereich verlässt und zu einer geopolitischen und finanziellen Frage ersten Ranges wird, die binnen weniger Stunden Milliarden Dollar an Marktkapitalisierung bewegen kann. Das Thema verknüpft sich zunehmend auch mit der Krypto-Welt, wie beim Alarm des Bank-of-England-Gouverneurs über systemische KI-Risiken deutlich wurde. Andererseits zeigt die klare Ablehnung durch das Weiße Haus, dass die Logik des geopolitischen Wettbewerbs mit China derzeit jeden Vorsichtsappell überwiegt, selbst wenn er von den Erbauern der Technologie kommt. Nicht alle im Krypto-Sektor teilen übrigens dasselbe Alarmniveau: Eine optimistischere Position, wie sie der Ethereum-Mitgründer zur langfristigen Sicherheit von Bitcoin geäußert hat, erinnert daran, dass die Debatte alles andere als einhellig ist, auch außerhalb der Labore, die diese Systeme bauen. Was in den nächsten Wochen geschieht und ob dieser Appell in konkrete Maßnahmen mündet oder eine Absichtserklärung bleibt, ist eine Entwicklung, die genaue Beobachtung verdient.