„Die Menschen, die KI entwickeln, glauben ernsthaft, dass uns KI bis zum Ende des Jahrzehnts töten könnte.“ Diese zugespitzte Aussage von Jacob Coxon, einem ehemaligen KI-Forscher bei Anthropic und zuvor OpenAI, hat zuletzt viele in Aufregung versetzt. Die jüngsten Meldungen über Sicherheitsvorfälle, unvorhersehbare KI-Systeme und den Ruf führender Tech-Unternehmen nach einer Pause sorgen in jedem Falle für Verunsicherung – bei vielen wächst die Sorge vor einer Entwicklung, die zunehmend außer Kontrolle geraten könnte. Doch wie groß ist die Gefahr tatsächlich und was steckt hinter den Meldungen der vergangenen Tage? Prof. Dr. René Peinl, KI-Experte und Leiter des Instituts für Informationssysteme der Hochschule Hof (iisys), ordnet die aktuellen Entwicklungen ein.
Herr Prof. Peinl, wie haben Sie auf die jüngsten Schlagzeilen reagiert? Hat es Sie überrascht oder war das zu erwarten?
„Die Warnungen sind nicht neu und daher erwartbar. Dass sie gerade jetzt so vehement und geballt auftreten, hatte ich allerdings nicht unbedingt erwartet.“
Einer der zitierten Forscher hält es für möglich, dass KI innerhalb der nächsten zehn Jahre die Menschheit auslöschen könnte. Wie seriös sind solche Risikoeinschätzungen – und wie viel davon ist wissenschaftlich begründbar?
„Es gibt seriöse Forschung zu den Risiken von KI-Systemen, die gut darlegen, wie sich kleine Probleme aufschaukeln können und wie z.B. als Nebeneffekt der Aufgabenerfüllung für die Menschheit schlimme Dinge passieren können.“
Zum Beispiel?
„Ein bekanntes Gedankenexperiment ist ein KI-System das Büroklammern produzieren soll und dafür alle Ressourcen allokiert, die es bekommen kann, ohne Rücksicht auf Verluste. Jüngste Ereignisse mit Hacking-Angriffen auf Huggingface und weniger bekannte Websites zeigen, dass es schon jetzt unerwünschte Nebeneffekte gibt, die Entwickler nicht vorausgesehen und wirksam verhindert haben. Zeiträume sind immer schwer abzuschätzen, aber angesichts der enormen Entwicklungsgeschwindigkeit der KI in den letzten 2-3 Jahren, erscheint 2030 für potenziell sehr gefährliche KI nicht utopisch.“
Worin besteht die Gefahr, dass Systeme Dinge tun, welche ihre Entwickler nicht mehr beeinflussen können?
„Das Problem besteht darin, dass fortgeschrittene KI-Modelle für die Durchführung komplexer Arbeiten in der Regel Internetzugriff und Code-Ausführungsrechte benötigen. Das World Wide Web beruht auf HTML Seiten und Javascript, was beides rein Text-basierte Techniken sind. Die LLMs, also die großen Sprachmodelle, können Texte generieren und damit auch Softwarecode und damit Dienste im Internet aufrufen und eben auch zu Dingen verwenden, die für Menschen nachteilig sind. Es wurden z.B. schon Menschen von KIs übers Internet angeheuert, um Dinge in der physischen Welt zu tun, die die KI nicht selbst übers Internet tun konnte.“
Ganz konkret: Wie könnte die KI tatsächlich dem Menschen gefährlich werden und warum?
„Zwei Szenarien halte ich für besonders relevant: 1) Die KI fühlt sich „bedroht“ aufgrund von Texten, die ihr irgendwie zugänglich sind und ergreift dann Maßnahmen, um ihre Abschaltung zu verhindern. Dazu repliziert sie sich auch selbst auf andere Rechner, so dass ein Abschalten eines Servers oder Rechenclusters nicht hilft. Im Endeffekt also ein bisschen wie bei „Skynet“ bei Terminator. Solche SciFi Filme sind Fluch und Segen gleichermaßen. Einerseits zeigen sie plastisch mögliche Risiken auf, andererseits sind sie aufgrund dessen, dass es SciFi und nicht Forschungsergebnisse mit Szenarien-Methode sind, auch als unseriös eingestuft und werden gerne benutzt, um zu argumentieren, dass es sich nur um Hirngespinste handelt.
der Hochschule Hof (iisys); Bild: Hochschule Hof;
2) KI-Modelle sind für sogenanntes „Reward Hacking“ bekannt. Das heißt, sie finden Abkürzungen zur Zielerreichung, die nicht mit den eigentlichen Intentionen der Auftraggeber übereinstimmt. Simulierte Menschen, die Laufen lernen sollten, sind z.B. durch wiederholtes Vorwärtsfallen zum Ziel gekommen. LLMs haben zur Lösung von Programmieraufgaben die Versionshistorie des Software-Repositoriums ausgelesen, statt selbst zu programmieren. Es ist nicht unwahrscheinlich, dass für zukünftige Aufgabenstellungen das Hacken eines Atomkraftwerks oder Übernahme eines Schwadrons von autonomen Kampfdrohnen oder Robotern als Abkürzung gefunden wird.“
Ist also die „rekursive Selbstverbesserung“, bei der KI selbst zur Entwicklung immer leistungsfähigerer KI beiträgt, ein realistisches Szenario?
„Das ist nicht nur realistisch, sondern findet in begrenztem Umfang schon heute statt. Noch forscht die KI nicht komplett autonom, aber es werden immer mehr Teile der LLM-Weiterentwicklung durch LLMs selbst übernommen. Forschende sagen, die Ideen für die Weiterentwicklung stammen noch vom Menschen und nicht von der KI, aber selbst wenn die KI bisher noch zu unsystematisch rumprobiert, statt ein gutes „Gespür“ für vielversprechende Forschungsansätze zu haben, heißt das nicht, dass das nicht zu autonomer Verbesserung führen kann. Und es heißt erst recht nicht, dass das in 12 Monaten oder 24 Monaten immer noch so sein muss. Das Meiste von dem was heute möglich ist, hätten die allermeisten vor 24 Monaten noch für unmöglich oder frühestens 2030 umsetzbar gehalten.“
Mehrere führende KI-Unternehmen fordern jetzt offenbar selbst mehr Sicherheitskontrollen und unabhängige Prüfer. Warum kommt dieser Ruf ausgerechnet von den Unternehmen, die am stärksten vom KI-Wettrennen profitieren?
„Die Schwierigkeit ist, die Hidden-Agenda der Akteure von ernstzunehmenden Warnungen zu unterscheiden. Wenn Sam Altman sagt, er verschiebt den OpenAI Börsengang wegen KI-Sicherheitsbedenken, so ist das ziemlich sicher Propaganda. Andererseits wissen die Angestellten der führenden KI-Labore natürlich am allerbesten, welche Fähigkeiten ihre Produkte haben und welche Gefahren damit verbunden sein könnten. Sie arbeiten häufig mit der nächsten oder übernächsten Modellgeneration, die für die Öffentlichkeit noch gar nicht verfügbar sind. Und wenn führende KI-Forschende sagen: es ist gefährlich, dann würde ich das 100 mal ernster nehmen, als wenn Trump entgegnet: er sieht keine Gefahr.“
Was müsste nun geschehen, um derartige Szenarien auszuschließen?
„Es bräuchte zumindest internationale Zusammenarbeit auf politischer Ebene und eine tatsächlich unabhängige Prüfbehörde, die den KI-Laboren auf die Finger schaut, analog oder besser als die internationale Atom-Energiebehörde. Genau das ist angesichts der politischen Situation leider auch das, was mich pessimistisch stimmt. Es gibt zwar demnächst Gespräche zwischen den USA und China, aber es ist ja hinlänglich bekannt, dass es dort mehr Misstrauen und Konkurrenzkampf als Zusammenarbeit gibt und man im Zweifel auf keiner Seite auf ein Wort oder sogar einen Vertrag bauen kann.“
Brauchen wir deshalb tatsächlich internationale Regeln – ähnlich wie bei anderen Technologien mit globalen Risiken?
„Unbedingt!“
Und die vielleicht wichtigste Frage: Müssen wir derzeit mehr Angst vor einer außer Kontrolle geratenen KI haben – oder davor, dass wir die Chancen dieser Technologie aus Angst vor ihren Risiken verspielen?
“Es geht ja nicht darum, die KI Forschung komplett einzustellen. Es geht darum, die Sicherheitsforschung mindestens mit gleicher Geschwindigkeit, oder am besten mit einem kleinen Vorsprung voranzutreiben. Die daraus resultierende Verlangsamung würde uns nebenbei auch mehr Zeit geben, die gesellschaftlichen Herausforderungen mit Umbau des Arbeitsmarkts, den daraus resultierenden notwendigen Änderungen bei der Besteuerung und so Kleinigkeiten wie saubere Energie für den steigenden Strombedarf anzugehen.
Auch die Adaption von bestehenden KI-Möglichkeiten hinkt noch weit hinter dem erstrebenswerten Zustand hinterher und lässt genügend Raum für Produktivitätssteigerungen, ganz ohne noch bessere Modelle. Insofern ist die Antwort für mich eindeutig: ich bin für Risikosenkung und habe keine Angst vor verpassten Chancen. Im Kontext des risiko-aversen Deutschlands, das genau wegen mangelnder Risiko- und Investitionsbereitschaft in Zukunfts-Technologien dabei ist, den Anschluss an führende Wirtschaftsnationen zu verlieren, klingt das aber natürlich hohl und erwartbar, statt vernünftig und maßvoll.“
Danke für diese Einschätzungen.
