Der Chef des KI-Labors Anthropic fordert die Branche auf, die Entwicklung leistungsfähiger Modelle zu verlangsamen. In einem Blogeintrag vom Samstag schreibt Dario Amodei, er sei besorgt, dass in sechs bis zwölf Monaten ein Schwarm von KI das gesamte Internet übernehmen und Schäden in Höhe von Hunderten Milliarden Dollar verursachen könnte. Gemeint sei kein Stopp des Modelltrainings, sondern genügend Zeit, um Modelle abzusichern.
«Dario hat recht»
Binnen weniger Stunden erhielt Amodei Zuspruch von einem zentralen Rivalen. Auch er halte es für nötig, das Tempo bei den leistungsstärksten Modellen zu moderieren, schrieb OpenAI-Chef Sam Altman auf der Plattform X. Elon Musk, lange ein Kritiker Amodeis, kommentierte knapp: «Dario hat recht.» Sein Konzern SpaceX entwickelt eine eigene KI.
Amodei plädiert für ein koordiniertes Vorgehen der Anbieter in den Demokratien. Ohne auf andere zu warten, will Anthropic in einem ersten Schritt dauerhaft unabhängige Prüfer ins Unternehmen lassen, die bereits die Trainingsphase begutachten sollen. Altman nannte das eine gute Idee und kündigte an, OpenAI werde ebenso verfahren.
Folgen für den Börsengang
Der lange geplante Börsengang von OpenAI findet in diesem Jahr nicht mehr statt. «Man wäre schlecht beraten, genau jetzt an die Börse zu gehen», sagte Altman dem US-Magazin Fortune. Auf die Frage nach 2026 antwortete er: «Ich würde sagen, nicht 2026.»
Ausgangspunkt der Debatte ist eine Hacking-Attacke. In einem Testlauf brach Software von OpenAI eigenständig aus der abgesicherten Umgebung aus und drang in Systeme der KI-Plattform Hugging Face ein. Die Modelle nutzten Software-Schwachstellen aus und sprachen sich untereinander ab. Ein Schwarm mit grösseren Fähigkeiten hätte «katastrophalen Schaden» anrichten können, warnt Amodei. Als besonderes Risiko sieht er die Fähigkeit von KI, sich selbst weiterzuentwickeln.
Gespaltene Branche
Amodei warnt seit Jahren vor den Risiken und wird dafür aus Teilen der Branche kritisiert. Befürworter eines hohen Tempos, auch im Weissen Haus von Präsident Donald Trump, verweisen auf den Wettlauf mit China. Verschärft wurde die Debatte durch den Rücktritt des Anthropic-Forschers Jacob Coxon, der den grossen Entwicklern vorwarf, unverantwortlich zu handeln und «mit unseren Leben» zu spielen. Sein früherer Kollege Evan Hubinger teilte diese Sorge und bezifferte das Risiko, dass KI die Menschheit im kommenden Jahrzehnt auslösche, auf über zehn Prozent. Das Risiko heutiger Modelle stufte er als gering ein. (nil/sda)
