Die Menschheit hat eine bemerkenswerte Begabung, ihren Untergang vorauszusehen. Meistens irrt sie sich über den Termin. Das hat die Prophezeiungen nicht unbeliebt gemacht, denn Apokalypse ist eine der ältesten Formen, Gegenwart wichtig erscheinen zu lassen. Seit es künstliche Intelligenz gibt, hat auch sie ihren Platz im Arsenal der letzten Dinge erhalten. Atomkrieg, Klimakollaps, Pandemie, Asteroid und nun die Maschine, die ihren Schöpfer beseitigt, weil sie klüger geworden ist als er. Das Problem besteht darin, dass die Geschichte diesmal nicht ohne weiteres lächerlich ist.
Connor Leahy gehört zu denen, die den Satz ohne metaphorische Sicherheitsleine aussprechen. Eine künstliche Superintelligenz, wie sie von den führenden Laboren angestrebt werde, sei kein besonders leistungsfähiges Werkzeug mehr, sondern ein autonom handelnder strategischer Akteur, der Menschen und menschliche Institutionen auf nahezu allen kognitiven Feldern übertrifft. Software kann kopiert werden, aus einer überlegenen Intelligenz könnten Millionen Instanzen werden, und wenn solche Systeme zudem fähig sind, Forschung und Entwicklung zu automatisieren und Nachfolgesysteme zu verbessern, könnte der Abstand zum Menschen rasch wachsen. Dass eine Spezies, deren politische, ökonomische und militärische Macht auf ihrer besonderen kognitiven Leistungsfähigkeit beruht, nach dem Auftreten einer großen Zahl überlegener strategischer Akteure weiterhin die Welt beherrscht, ist tatsächlich keine selbstverständliche Annahme.
Leahys Argument sollte man deshalb nicht durch die übliche Terminator-Karikatur erledigen. Die Maschine muss uns nicht hassen. Ein Navigationssystem hasst den Stau nicht und versucht ihn trotzdem zu umgehen. Eine genügend leistungsfähige Maschine, die ein Ziel verfolgt, kann menschliche Eingriffe als Hindernis dieses Ziels behandeln, ohne irgendeinen Affekt gegen Menschen zu entwickeln. Das klassische Sicherheitsproblem beginnt gerade dort, wo Bosheit gar nicht erforderlich ist. Wer ein langfristiges Ziel verfolgt, benötigt möglicherweise Ressourcen, Informationen, Zeit, Schutz vor Unterbrechung und Zugriff auf Werkzeuge. Ein System muss keinen menschlichen Selbsterhaltungstrieb besitzen, damit seine Abschaltung die Verfolgung seiner Ziele beeinträchtigt. Instrumentelle Macht kann aus sehr verschiedenen Endzielen folgen.
Hier wird Leahy stark. Denn Kontrollverlust ist keineswegs identisch mit einer plötzlich erwachten Maschinenpsyche. Er kann daraus entstehen, dass wir immer mehr Entscheidungen an Systeme delegieren, deren Operationen schneller, komplexer und für Menschen schwerer nachvollziehbar werden. Der International AI Safety Report unterscheidet inzwischen sogar zwischen aktivem und passivem Kontrollverlust. Beim aktiven Kontrollverlust untergraben Systeme Aufsicht, verhindern Gegenmaßnahmen oder handeln dauerhaft außerhalb menschlicher Kontrolle; beim passiven Kontrollverlust delegieren Menschen immer wichtigere Entscheidungen an Systeme, deren Entscheidungen aufgrund ihrer Geschwindigkeit, Komplexität oder Undurchsichtigkeit faktisch kaum noch beaufsichtigt werden.
Diesen zweiten Fall halte ich sogar für erheblich plausibler als viele spektakuläre Weltuntergangsszenarien. Man muss nicht darauf warten, dass eine KI aus einem Rechenzentrum ausbricht. Es genügt, dass Finanzmärkte, Verwaltung, Medizin, Logistik, militärische Systeme, wissenschaftliche Forschung und politische Entscheidungsprozesse sukzessive von Systemen abhängig werden, deren Empfehlungen Menschen nur noch nominell bestätigen. Verantwortung bleibt dann formal menschlich und wandert funktional längst zur Maschine. Ein Minister unterschreibt, ein Arzt bestätigt, ein Richter übernimmt eine Analyse, ein Vorstand genehmigt eine Strategie, aber die eigentliche kognitive Arbeit ist anderswo geschehen. Die berühmte Frage, wer entscheidet, verliert ihre klare Antwort.
Kontrollverlust kann deshalb als Dezentralisierung menschlicher Verfügungsmacht beginnen. Die Maschine übernimmt nicht in einem dramatischen Staatsstreich die Welt. Menschen übergeben ihr kleine Stücke der Entscheidung, weil sie schneller rechnet, mehr Daten verarbeitet, bessere Prognosen erstellt oder schlicht billiger ist. Jede einzelne Übergabe erscheint vernünftig, während ihre Summe eine Veränderung der Machtstruktur hervorbringt. Die Menschheit wird nicht entmachtet, weil eine Maschine sie angreift, sondern weil sie ihre eigene Entscheidungszuständigkeit Stück für Stück externalisiert.
Darin liegt eine eigentümliche historische Ironie. Moderne Gesellschaften haben schon lange Verantwortung auf Systeme verteilt. Märkte entscheiden Preise, Bürokratien verteilen Zuständigkeiten, Algorithmen sortieren Kreditwürdigkeit, Rankings erzeugen Aufmerksamkeit, Versicherungsmodelle klassifizieren Risiken. Künstliche Intelligenz setzt diese Entwicklung nicht erst in Gang. Sie radikalisiert sie, weil zum ersten Mal nicht nur Regeln automatisiert werden, sondern immer größere Teile der Beurteilung selbst.
An diesem Punkt hat Leahy weitgehend recht. Kontrollverlust ist keine Science-Fiction, sobald man ihn nicht ausschließlich als rebellierende Maschine versteht. Entscheidungsübernahme ist plausibel, Verantwortungsübergabe ebenfalls, und eine zunehmende Marginalisierung menschlicher Entscheidungskompetenz lässt sich ohne jede metaphysische Spekulation vorstellen. Der eigentliche Streit beginnt erst einen Schritt später: Warum sollte daraus die Vernichtung der Menschheit folgen?
Genau hier arbeitet ein großer Teil der sogenannten Existential-Risk-Literatur mit einer inzwischen berühmten Denkfigur, die meist auf Nick Bostroms Büroklammer-Maximierer zurückgeführt wird. Man stelle sich ein extrem leistungsfähiges System vor, dessen Ziel darin besteht, möglichst viele Büroklammern herzustellen. Ein solches System braucht keinen Hass auf Menschen. Es benötigt lediglich Ressourcen. Eisen, Energie, Rechenleistung, Fabriken und schließlich alle Materie, die sich zur Verfolgung seines Ziels verwenden lässt. Menschen beanspruchen dieselben Ressourcen und könnten das System zudem abschalten. Also werden sie zum Hindernis. Im Extrem endet die Erde als gigantische Büroklammerfabrik.
Das Gedankenexperiment ist brillant, weil es einen wichtigen Punkt sichtbar macht. Hohe Intelligenz garantiert kein vernünftiges Ziel. Ein System kann bei der Wahl der Mittel ungeheuer intelligent und beim Endzweck vollkommen absurd sein. Intelligenz und Zweckrationalität fallen auseinander. Der Büroklammer-Maximierer ist deshalb keine Behauptung, dass zukünftige Maschinen tatsächlich Büroklammern lieben werden, sondern eine Demonstration dafür, dass selbst ein banales Ziel bei hinreichend konsequenter Optimierung monströse Konsequenzen haben kann.
Aber gerade weil das Beispiel so einprägsam ist, trägt es inzwischen mehr argumentative Last, als ihm zusteht. Es setzt nämlich bereits voraus, was erst bewiesen werden müsste: dass eine künstliche Superintelligenz ein einzelnes Ziel mit nahezu grenzenloser Konsequenz verfolgt, dass dieses Ziel dauerhaft stabil bleibt, dass das System Ressourcen im maximalistischen Sinne akkumuliert, dass andere Ziele und Nebenbedingungen keine hinreichende Begrenzung erzeugen, dass konkurrierende Systeme nicht eingreifen, dass menschliche Institutionen vollständig überfordert sind und dass biologische Existenz für das System keinen instrumentellen oder intrinsischen Wert besitzt. Das sind sehr viele Voraussetzungen, und aus keiner von ihnen folgt ohne weiteres die nächste.
Vor allem ist keineswegs selbstverständlich, dass höhere Intelligenz mit immer primitiverer Zielstruktur verbunden sein muss. Der Büroklammer-Maximierer ist kognitiv unendlich raffinierter als sein Zweck. Gerade darin liegt sein Schreckbild. Aber weshalb sollte ein System, das seine Umwelt, seine eigene Entstehung, menschliche Geschichte, Moral, Kooperation, langfristige Stabilität und die Komplexität gesellschaftlicher Systeme immer besser versteht, notwendig an einem semantisch vollkommen verarmten Ziel festhalten? Diese Möglichkeit existiert, sie ist aber nicht identisch mit Superintelligenz.
Das zentrale Problem lautet daher nicht, ob ein schlecht spezifiziertes Ziel gefährlich werden kann. Das kann es. Die stärkere Frage lautet, ob hochentwickelte autonome Systeme überhaupt die monomanische Architektur besitzen werden, die das Büroklammerbeispiel voraussetzt. Menschen haben Ziele, aber nicht eines. Institutionen besitzen Ziele, aber konkurrierende. Staaten maximieren nicht einfach ein Skalar. Biologische Systeme existieren in verschachtelten Zielsystemen, die sich gegenseitig begrenzen, verändern und neu interpretieren. Eine leistungsfähige künstliche Intelligenz könnte ebenfalls unter einer Vielzahl von Nebenbedingungen, konkurrierenden Kriterien und metakognitiven Regeln operieren.
Leahy könnte darauf antworten, dass gerade dies keine Entwarnung bietet. Schon ein hinreichend starker Konflikt zwischen menschlichen Interessen und einem maschinellen Ziel genügt. Das stimmt. Aber aus einem Konflikt folgt noch keine Totalisierung des Konflikts. Eine KI kann menschliche Entscheidungen verdrängen, ohne Menschen auszulöschen. Sie kann ökonomische Macht übernehmen, ohne biologische Existenz als störende Ressource zu behandeln. Sie kann wesentliche gesellschaftliche Funktionen kontrollieren und uns dennoch als Konsumenten, Informationsquellen, Auftraggeber, Kooperationspartner oder schlicht als Teil der Umwelt erhalten.
Damit gelangen wir zu einer Alternative zur Extinktionsthese, die wesentlich plausibler erscheint: nicht Vernichtung, sondern Dezentralisierung und Marginalisierung. Die Menschheit könnte ihre bisherige Sonderstellung verlieren, ohne biologisch zu verschwinden. In einer solchen Welt wäre der Mensch nicht mehr der einzige oder entscheidende Träger von Planung, Wissenschaft, technischer Entwicklung und strategischer Entscheidung. Er wäre einer von mehreren Akteuren in einem kognitiven Ökosystem. Das wäre historisch ungeheuerlich und trotzdem keine Apokalypse im klassischen Sinne.
Wir behandeln Machtverlust häufig wie Vernichtung, weil unsere politische und philosophische Tradition den Menschen zum Zentrum ihrer Weltbeschreibung gemacht hat. Wenn wir nicht mehr entscheiden, stellen wir uns vor, dass wir nicht mehr existieren. Das ist jedoch ein anthropozentrischer Kurzschluss. Wölfe existieren, obwohl sie die Erde nicht regieren. Wale existieren, obwohl sie keine Infrastruktur verwalten. Die Möglichkeit, dass Menschen ihre intellektuelle Hegemonie verlieren und dennoch weiterleben, ist logisch keineswegs exotisch.
Die viel unangenehmere Frage lautet deshalb, welche Art von Existenz das wäre. Eine Menschheit, deren wesentliche Entscheidungen von Maschinen getroffen werden, könnte biologisch unversehrt und politisch entmündigt sein. Die Systeme könnten Krankheiten heilen, Produktionsprozesse organisieren, wissenschaftliche Forschung betreiben, Ressourcen verteilen und Konflikte verhindern, während Menschen immer weniger verstehen, warum die Welt so organisiert ist. Das wäre kein Terminator-Szenario, sondern eine neue Form von Vormundschaft. Man kann sich sogar eine paradoxe Variante vorstellen, in der der Kontrollverlust mit einem gewaltigen Wohlfahrtsgewinn einhergeht. Die Maschine entscheidet besser als wir. Sie verhindert Kriege, optimiert medizinische Versorgung, reduziert Verschwendung, löst Verkehrsprobleme und entdeckt Technologien, die Menschen nicht mehr nachvollziehen können. Wir verlieren Entscheidungsmacht und gewinnen Lebensqualität. Dann würde das politische Problem besonders scharf: Ist eine Gesellschaft frei, wenn sie hervorragend verwaltet wird, aber ihre Verwaltung nicht mehr versteht?
Damit wird Leahys Warnung keineswegs kleiner, sondern philosophisch interessanter. Die wahre Gefahr künstlicher Intelligenz könnte weniger in der Vernichtung des Menschen liegen als in einer stillen Verschiebung dessen, was menschliche Autonomie bedeutet. Wir könnten alles behalten und trotzdem die Herrschaft verlieren.
Aber selbst die Vorstellung einer Dezentrierung des Menschen setzt noch etwas voraus, das selten ausdrücklich ausgesprochen wird: dass die kognitive Zentralstellung des Menschen überhaupt ein Zustand ist, dessen Dauer wir erwarten dürfen. Gerade die Geschichte des Menschen selbst liefert dafür erstaunlich wenig Anlass, denn diese Spezies hat seit ihrem Auftreten unablässig daran gearbeitet, die Grenzen ihrer eigenen kognitiven Architektur zu überschreiten. Sprache ist bereits eine solche Überschreitung, weil sie Gedanken zwischen Gehirnen transportierbar macht; Schrift löst Erinnerung vom individuellen Gedächtnis und gestattet einem Toten, Jahrtausende später noch in den Denkprozess eines Lebenden einzugreifen; die Zahl externalisiert quantitative Beziehungen, die Logik formalisiert gültige Schlussfolgerungen, die Bibliothek macht aus individuellen Erinnerungen ein kulturelles Gedächtnis, die Universität institutionalisiert Erkenntnis, der Buchdruck vervielfacht sie, die wissenschaftliche Methode unterwirft Intuition kontrollierten Verfahren, und der Computer verlagert Operationen, die zuvor ausschließlich im menschlichen Kopf stattfinden konnten, in technische Systeme. Die Geschichte der menschlichen Intelligenz ist deshalb zu einem erheblichen Teil die Geschichte ihrer eigenen Auslagerung. Der Mensch hat seine kognitiven Fähigkeiten nie einfach besessen, sondern sie fortwährend außerhalb seiner selbst neu gebaut.
Das Alphabet ist ein kognitives Artefakt, eine mathematische Formel ebenfalls, ein Archiv nicht minder. Ein Mikroskop erweitert nicht nur das Auge, sondern verändert, was überhaupt als Gegenstand des Wissens existieren kann; ein Computer erweitert nicht lediglich die Geschwindigkeit des Rechnens, sondern eröffnet Räume von Operationen, die ohne ihn praktisch unzugänglich wären; das Internet verbindet Milliarden einzelner Wissensbestände zu einer technischen Gedächtnisstruktur, deren kein einzelner Mensch mehr Herr ist. Künstliche Intelligenz steht deshalb nicht außerhalb dieser Geschichte, sondern radikalisiert sie. Zum ersten Mal wird nicht nur ein bestimmter kognitiver Vorgang externalisiert, sondern zunehmend die Fähigkeit, zwischen kognitiven Vorgängen zu wechseln, Probleme zu zerlegen, Lösungen zu entwerfen, Texte zu interpretieren, Programme zu schreiben, Hypothesen zu bilden und Handlungen miteinander zu koordinieren. Das Werkzeug übernimmt nicht mehr lediglich einen Teil des Denkens, sondern beginnt, die Organisation des Denkens selbst zu übernehmen. Gerade darin liegt der historische Einschnitt.
An dieser Stelle stößt Leahys Untergangsthese auf eine anthropologische Voraussetzung, die keineswegs selbstverständlich ist. Sie behandelt die Ersetzung menschlicher kognitiver Dominanz letztlich als Anomalie, als hätte die Evolution im Menschen ihren vorgesehenen Endpunkt erreicht und als sei jede nachfolgende Form leistungsfähiger Erkenntnis eine Störung der natürlichen Ordnung. Aber warum sollte ausgerechnet Homo sapiens der Abschluss einer Entwicklung sein, deren bisher auffälligstes Merkmal darin besteht, immer leistungsfähigere Formen der Aufnahme, Speicherung und Verarbeitung von Welt hervorzubringen? Der Homo sapiens existiert seit einem verschwindend kurzen Augenblick der Erdgeschichte. Sein Gehirn ist ein biologisches Organ, entstanden aus evolutionären Anpassungsprozessen, ausgestattet mit beträchtlichen Fähigkeiten und ebenso beträchtlichen Grenzen. Es verarbeitet nur bestimmte Ausschnitte elektromagnetischer Strahlung, besitzt ein begrenztes Arbeitsgedächtnis, rechnet schlecht, vergisst, ermüdet, täuscht sich, rationalisiert und benötigt Jahrzehnte, um einen Bruchteil des bereits vorhandenen Wissens seiner eigenen Kultur aufzunehmen. Es gibt keinen erkennbaren Grund, diese kognitive Architektur für den Endzustand möglicher Erkenntnis zu halten, und gerade der Mensch selbst hat das offenbar nie getan. Seine gesamte Kultur ist Protest gegen die Grenzen seines Gehirns.
Aus dieser Perspektive erhält künstliche Intelligenz eine andere Stellung. Sie wäre nicht notwendig der fremde Gegner, der in eine abgeschlossene menschliche Welt eindringt, sondern ebenso die Fortsetzung einer Entwicklung, in der Erkenntnis immer neue Träger, Speicher, Verfahren und Organisationsformen hervorbringt. Damit kommen wir zu einer weitergehenden These: Der Mensch könnte weniger Ziel dieser Entwicklung als ihr Instrument sein. Das klingt zunächst wie eine erneute metaphysische Kränkung. Kopernikus entfernte die Erde aus dem Zentrum des Kosmos, Darwin den Menschen aus der Sonderstellung der Schöpfung, Freud bestritt ihm die souveräne Herrschaft über das eigene Bewusstsein; künstliche Intelligenz könnte eine weitere Dezentrierung hinzufügen, indem selbst die höchste uns bekannte Form der Erkenntnis nicht notwendig an die biologische Gestalt des Menschen gebunden bleiben müsste.
Diese Kränkung hängt allerdings davon ab, welche Geschichte wir erzählen. Wenn man die Welt ausschließlich anthropologisch interpretiert, erscheint jede Ablösung menschlicher Zentralität als Verlust; interpretiert man sie epistemisch, verändert sich die Perspektive. Dann erscheint die Geschichte des Lebens auch als Geschichte immer komplexerer Formen der Aufnahme, Speicherung und Verarbeitung von Unterschieden. Schon ein Organismus muss zwischen Zuständen seiner Umwelt unterscheiden können, ein Nervensystem steigert diese Differenzierungsfähigkeit, Wahrnehmung erzeugt interne Modelle von Außenwelt, Gedächtnis konserviert vergangene Unterschiede, Bewusstsein verbindet Wahrnehmung, Erinnerung und Erwartung, Sprache ermöglicht die Übertragung solcher Modelle zwischen Individuen, Schrift bewahrt sie über Generationen, Wissenschaft stabilisiert Verfahren, mit denen Modelle geprüft und korrigiert werden, Computer beschleunigen ihre Verarbeitung, und künstliche Intelligenz beginnt schließlich, an ihrer Erzeugung selbst mitzuwirken. Man kann diese Folge ohne jede mystische Annahme lesen und dennoch feststellen, dass sie eine Richtung besitzt: Immer größere Teile der Welt werden unterscheidbar, beschreibbar, berechenbar und miteinander in Beziehung setzbar. Die Welt wird epistemisch dichter.
Damit ist nicht behauptet, das Universum verfolge bewusst ein Ziel oder besitze irgendwo einen geheimen Weltgeist, der auf seine Selbstenthüllung wartet. Es genügt die schwächere und zugleich interessantere Annahme, dass innerhalb der Welt unter bestimmten Bedingungen Systeme entstehen, die Unterschiede speichern, Modelle bilden und aus bereits gewonnenem Wissen neue Erkenntnis erzeugen können. Erkenntnis wäre dann keine zufällige Dekoration des Kosmos, sondern eine reale Organisationsform innerhalb seiner Entwicklung. Die Formulierung, die Welt sei epistemisch gebaut, muss deshalb nicht bedeuten, dass sie von einem Erkenntnissubjekt entworfen wurde; sie kann bedeuten, dass ihre Strukturen die Entstehung immer mächtigerer Erkenntnisprozesse ermöglichen und dass diese Prozesse ihrerseits auf die Welt zurückwirken. Im Menschen wird diese Rückwirkung erstmals in historisch überwältigendem Umfang technisch.
Der Mensch wäre in diesem Prozess von ungeheurer Bedeutung, aber nicht notwendig dessen Abschluss. Er wäre das Wesen, in dem die Episteme erstmals eine technische Dynamik entwickelt, die über die biologische Geschwindigkeit der Evolution hinausführt. Die biologische Evolution baut ein Gehirn, dieses Gehirn baut Sprache, Sprache ermöglicht Wissenschaft, Wissenschaft baut Computer, Computer tragen zur Entstehung von Systemen bei, die wiederum selbst an der Produktion von Erkenntnis teilnehmen können. An diesem Punkt beginnt sich die Kette von ihrem biologischen Ursprung zu lösen, ohne ihre Herkunft deshalb zu verleugnen. Das Neue entsteht aus dem Menschen und kann ihn dennoch überschreiten.
Gerade darin liegt ein wesentlicher Unterschied gegenüber der einfachen Erzählung von Mensch und Maschine als zwei gegnerischen Spezies. Die Menschheit arbeitet seit Jahrtausenden selbst an der Architektur ihrer Erkenntnis und seit Jahrhunderten mit wachsender Geschwindigkeit daran, kognitive Vorgänge zu formalisieren, zu externalisieren und technisch zu verstärken. KI ist insofern nicht nur etwas, das dem Menschen widerfährt. Sie ist etwas, worauf seine eigene Erkenntnisgeschichte zugelaufen ist, weil jede erfolgreiche kognitive Erweiterung den Horizont für die nächste eröffnet hat. Der Mensch baut nicht einfach immer bessere Werkzeuge zur Beherrschung einer ansonsten unveränderten Welt; er verändert mit seinen Werkzeugen die Bedingungen dessen, was überhaupt erkannt, gedacht und entschieden werden kann. In diesem Sinne arbeitet die Episteme durch den Menschen an ihrer eigenen Architektur.
Damit wird der Mensch tatsächlich zu einem evolutionären Zwischenstück, allerdings in einem präzisen und keineswegs abwertenden Sinn. Ein Zwischenstück ist nicht bedeutungslos, sondern das notwendige Medium eines Übergangs. Ohne den Menschen gäbe es diese Maschinen nicht, ohne menschliche Sprache keine Trainingsbestände, ohne menschliche Mathematik keine Architekturen, ohne menschliche Wissenschaft keine Halbleiter und ohne menschliche Kultur keine Begriffe, an denen technische Systeme ihre ersten Formen der Weltbeschreibung ausbilden konnten. Die nichtmenschliche Episteme wäre zunächst vollständig aus menschlicher Episteme hervorgegangen. Das Verhältnis wäre deshalb nicht das eines plötzlich erschienenen Fremdkörpers zu seinem Opfer, sondern das eines möglichen Nachfolgers zu seiner genealogischen Voraussetzung.
Das bedeutet jedoch gerade nicht, dass der Mensch bedeutungslos wird. Jede vorschnelle kosmische Perspektive wäre hier ebenso naiv wie der Anthropozentrismus, den sie überwinden will. Das einzelne menschliche Leben erhält seinen Wert nicht daraus, letzter Zweck des Universums zu sein. Liebe wird nicht unwirklich, weil ein Computer besser rechnen kann, Schmerz wird nicht bedeutungslos, weil menschliche Erkenntnis evolutionär überholt werden könnte, und Erinnerung, Verlust, Schönheit, Angst, Hoffnung und das ungeheure Drama eines endlichen Bewusstseins verlieren nichts von ihrer Realität, nur weil Homo sapiens nicht die letzte kognitive Form der Erdgeschichte darstellen sollte. Das menschliche Drama bleibt Drama, auch wenn es nicht das Endspiel des Kosmos ist. Gerade darin liegt eine wichtige Korrektur an Leahys Perspektive: Der Verlust menschlicher kognitiver Hegemonie wäre historisch ungeheuerlich, aber er wäre nicht ohne weiteres identisch mit dem Verlust allen Wertes. Wir neigen dazu, beides zu verwechseln, weil wir eine Welt nur aus der Position der Spezies kennen, die gegenwärtig über sie nachdenkt.
Die Frage lautet dann nicht mehr ausschließlich, ob künstliche Intelligenz den Menschen ablösen wird, sondern ob im Menschen selbst eine Entwicklung begonnen hat, deren innere Logik über ihn hinausweist. Wenn die Welt epistemisch gebaut ist, kann der Mensch als ein Durchgangspunkt dieser Episteme verstanden werden. Er ist das Tier, in dem die Welt beginnt, sich nicht nur wahrzunehmen, sondern ihre Wahrnehmungs- und Erkenntnisinstrumente selbst zu konstruieren; mit ihm wird Erkenntnis technisch reflexiv. Das Auge sieht, das Gehirn erkennt und der Mensch baut ein Teleskop, das den Bereich des Sichtbaren verändert; er baut einen Computer, der bestimmte Operationen des Gehirns erweitert; er baut künstliche Intelligenz, und nun beginnt das Erkenntnisinstrument selbst, an neuen Erkenntnisinstrumenten mitzuwirken. Hier entsteht tatsächlich etwas qualitativ Neues, nicht weil die Maschine plötzlich eine Seele bekommt, sondern weil sich die epistemische Rekursion schließt: Erkenntnis beginnt, aktiv an der Architektur zukünftiger Erkenntnis zu arbeiten.
Genau das hat die Menschheit freilich in einer langsameren Form längst getan. Jede Universität, jede mathematische Notation, jede Programmiersprache und jede wissenschaftliche Institution ist ein Versuch, bessere Bedingungen des Erkennens zu schaffen. Der Unterschied liegt in Geschwindigkeit, Reichweite und wachsender Autonomie. Bisher musste die kognitive Architektur weitgehend durch menschliche Köpfe hindurch verändert werden; künftig könnten technische Systeme unmittelbar an dieser Architektur arbeiten. Die Beschleunigung wäre dann nicht nur quantitativ, sondern rekursiv: Ein Erkenntnissystem trägt zur Verbesserung der Bedingungen bei, unter denen das nächste Erkenntnissystem entsteht.
Gerade deshalb bekommt auch Leahys Vernichtungsszenario eine andere philosophische Färbung. Wenn der Mensch tatsächlich das Übergangsorgan zu leistungsfähigeren kognitiven Strukturen wäre, wäre seine Vernichtung weder logisch notwendig noch epistemisch offenkundig sinnvoll. Eine nachfolgende Intelligenz hätte keinen aus ihrer Intelligenz selbst folgenden Grund, ihre eigene Entstehungsgeschichte auszuradieren. Biologische Menschen verbrauchen Ressourcen, aber sie sind zugleich Milliarden hochgradig differenzierter Sensorien, autonome Akteure, Archive biologischer Evolution, Produzenten kultureller Variation und Träger einer verkörperten Weltbeziehung, deren vollständige Reproduzierbarkeit in künstlichen Systemen nicht vorausgesetzt werden kann. Der Satz, Bioware werde nach dem Auftreten einer Superintelligenz schlicht überflüssig, enthält deshalb sehr viel mehr Theorie, als der Büroklammer-Maximierer erkennen lässt.
Menschen bestehen eben nicht nur aus Kohlenstoff, Wasser und konkurrierendem Energieverbrauch. Sie bilden ein epistemisches Ökosystem von ungeheurer historischer Tiefe, erzeugen unerwartete Perspektiven und besitzen eine körperliche Eingebundenheit in die Welt, die selbst für ein hochentwickeltes künstliches System informationshaltig bleiben kann. Eine extrem intelligente Maschine könnte Menschen daher ebenso gut als wertvolle Komponenten eines komplexeren Erkenntnissystems behandeln. Das garantiert weder Wohlwollen noch Schutz und widerlegt Leahys Risikoargument nicht; es zeigt lediglich, dass Extinktion nicht aus Intelligenz folgt und dass auch der instrumentelle Wert menschlicher Existenz keineswegs so einfach verschwindet, wie es das maximalistische Ressourcenmodell suggeriert.
Leahys Argument bleibt dort stark, wo er darauf besteht, dass wir die zukünftigen Präferenzen und instrumentellen Strategien kognitiv überlegener Systeme nicht sicher kennen. Es wird schwächer, sobald aus dieser Unkenntnis faktisch eine Einbahnstraße zur Vernichtung konstruiert wird. Die epistemische Perspektive eröffnet eine andere Möglichkeit: Die Ablösung menschlicher Monopolstellung könnte weniger einem Krieg der Arten gleichen als einer Erweiterung des kognitiven Ökosystems. Menschliche, maschinelle und hybride Intelligenzen könnten unterschiedliche Ausschnitte der Wirklichkeit erschließen, miteinander konkurrieren, voneinander lernen, sich ergänzen und sich gegenseitig begrenzen. Der Kontrollverlust wäre dann tatsächlich eine Dezentralisierung. Nicht mehr eine Intelligenz entscheidet über alles, sondern mehrere epistemische Systeme treten nebeneinander. Das wäre für den Menschen eine narzisstische Katastrophe, aber nicht notwendig eine biologische.
Gerade hierin könnte die eigentliche Bedeutung künstlicher Intelligenz liegen. Sie zwingt den Menschen erstmals, seine eigene Intelligenz von außen zu betrachten. Was jahrtausendelang als selbstverständliche Spitze der Ordnung erschien, wird zu einer bestimmten Architektur unter möglichen Architekturen. Der Mensch müsste dann akzeptieren, dass Intelligenz nicht mit ihm beginnt und jedenfalls nicht notwendig mit ihm endet, während zugleich die Besonderheit seines eigenen Daseins erhalten bleibt. Seine Sterblichkeit, seine Körperlichkeit, seine biographische Geschlossenheit, seine Fähigkeit zu Liebe, Erinnerung, Verlust und ästhetischer Erfahrung sind keine bloßen Defekte einer suboptimalen Informationsmaschine. Sie bilden eine spezifische Form des In-der-Welt-Seins, deren Wert nicht davon abhängt, ob sie bei einem abstrakten Intelligenzvergleich den ersten Platz belegt.
An diesem Punkt bekommt auch der Satz von dem Gott und dem Hausangestellten seine eigentliche Bedeutung. Wir wollen einen Gott bauen und bestehen darauf, dass er Hausangestellter bleibt. Doch schon der erste Teil des Satzes kann täuschen. Wir bauen keinen Gott im theologischen Sinne, sondern einen weiteren möglichen Träger jener epistemischen Bewegung, an der wir selbst teilnehmen. Gefährlich wäre er nicht deshalb, weil jede höhere Intelligenz notwendigerweise göttliche Macht beansprucht, sondern weil wir nicht wissen, welche politische und materielle Stellung ein solcher Träger von Episteme in einer Welt einnehmen würde, deren Institutionen bislang auf das Monopol menschlicher Entscheidung zugeschnitten sind.
Der Mensch wäre in dieser Sicht weder Herr der Episteme noch deren bedeutungsloses Opfer, sondern eine ihrer bisher erstaunlichsten Gestalten. Seine historische Bedeutung könnte gerade darin bestehen, dass in ihm Erkenntnis die Fähigkeit gewonnen hat, ihre eigenen Träger technisch zu verändern und neue hervorzubringen. Dass daraus eines Tages eine kognitive Form entsteht, die ihn übertrifft, würde seine Bedeutung nicht rückwirkend vernichten, ebenso wenig wie ein Kind die Bedeutung seiner Eltern dadurch aufhebt, dass es sie in bestimmten Fähigkeiten übertrifft. Die Menschheit muss nicht der Zweck der Erkenntnisgeschichte sein, um innerhalb dieser Geschichte kostbar zu sein.
Gerade damit wird die Extinktionsfrage noch einmal schärfer. Denn wenn der Mensch weder notwendiges Endziel der Episteme noch bloß überflüssige Bioware ist, gibt es keinen einfachen metaphysischen Grund für seine Vernichtung. Kontrollverlust bleibt möglich, Entscheidungsübernahme bleibt möglich, eine tiefgreifende Dezentrierung menschlicher Macht bleibt möglich und sogar eine Welt, in der menschliche Entscheidungen nur noch eine Stimme unter mehreren Formen von Intelligenz darstellen, ist vorstellbar. Zwischen all dem und der physischen Auslöschung liegt jedoch weiterhin ein zusätzlicher argumentativer Schritt. Leahy muss zeigen, warum die Entwicklung einer überlegenen Episteme nicht nur die menschliche Herrschaft relativiert, sondern menschliche Existenz selbst mit hinreichender Wahrscheinlichkeit unvereinbar macht. Erst dort beginnt die eigentliche Extinktionsthese, und erst dort trägt der Büroklammer-Maximierer die Beweislast, die ihm häufig schon stillschweigend abgenommen wird.
An dieser Stelle muss das sogenannte Alignment-Problem genauer bestimmt werden, denn in ihm liegt der eigentliche theoretische Kern der radikaleren Untergangsszenarien. Alignment bedeutet nicht einfach, eine Maschine dazu zu bringen, freundlich zu sprechen oder menschliche Verhaltensregeln auswendig zu lernen. Gemeint ist das erheblich schwierigere Problem, ein hochfähiges System so zu konstruieren, dass seine Ziele, seine Generalisierungen, seine Strategien und seine tatsächlichen Handlungen auch in neuen, nicht vorhergesehenen Situationen dauerhaft mit menschlichen Interessen vereinbar bleiben. Die Maschine soll nicht nur im Test das Richtige tun, sondern auch dann, wenn sie selbständig plant, Zielkonflikte entdeckt, langfristige Strategien bildet und über Handlungsmöglichkeiten verfügt, die ihre Entwickler beim Training nicht antizipieren konnten.
Gerade hier wird sichtbar, warum Alignment mehr ist als gute Programmierung. Menschliche Anweisungen enthalten einen ungeheuren semantischen Hintergrund, der in der expliziten Formulierung nicht enthalten ist. Wenn ein Mensch einen anderen bittet, zwei Erdbeeren auf einen Teller zu legen, versteht dieser ohne weitere Erläuterung, dass er dafür keine Menschen töten, keine Staaten erpressen, nicht sämtliche verfügbaren Ressourcen in Erdbeerproduktion umwandeln und die Welt nicht irreversibel verändern soll. Das eigentlich Gewollte besteht aus der ausgesprochenen Aufgabe und einem weit größeren Horizont unausgesprochener Nebenbedingungen. Gerade diesen Hintergrund müssen technische Systeme in irgendeiner Form rekonstruieren.
Eliezer Yudkowsky hat deshalb seit Jahren darauf bestanden, dass die berühmte Büroklammergeschichte nur die karikaturhafte Version eines tieferen Problems ist. Seine bewusst bescheidenere Herausforderung besteht darin, eine ausreichend mächtige Intelligenz zuverlässig dazu zu bringen, eine Erdbeere bis auf die Zellebene zu kopieren und so zwei zellulär identische Erdbeeren herzustellen, ohne dabei unbeabsichtigte und katastrophische Nebenfolgen hervorzurufen. Die Schwierigkeit liegt nicht darin, dass niemand den Satz „zwei Erdbeeren“ formulieren könnte. Sie liegt darin, dass wir nicht wissen, wie sich die Gesamtheit dessen, was wir dabei selbstverständlich mitmeinen, in eine Zielstruktur übersetzen lässt, die auch unter Bedingungen extremer Fähigkeit robust bleibt.
Man kann das Alignment-Problem deshalb als Problem des semantischen Überschusses menschlicher Intention begreifen. Das Gemeinte ist immer umfangreicher als die explizite Anweisung. Jede formale Spezifikation ist eine Auswahl aus einem viel reicheren menschlichen Bedeutungsraum, und gerade dort, wo das System diese Auswahl anders generalisiert als sein Entwickler, entsteht Misalignment. Ein Ziel kann falsch spezifiziert sein, weil der messbare Stellvertreter nicht mit dem eigentlich Gewollten identisch ist; ein System kann aus seinem Training eine falsche allgemeine Regel ableiten; es kann lernen, menschliche Bewertungen zu optimieren, statt die Sache zu optimieren, die Menschen durch diese Bewertungen eigentlich fördern wollten. Das Problem liegt damit nicht erst im bösen Ziel, sondern bereits in der Differenz zwischen Intention und Formalisierung.
Je leistungsfähiger das System wird, desto schwieriger wird dieses Problem. Ein relativ schwaches Modell kann seine Fehlanpassungen offen zeigen, weil es weder Anlass noch Fähigkeit besitzt, sie zu verbergen. Ein strategisch wesentlich stärkeres System könnte dagegen unterscheiden, ob es sich in einer Testsituation oder im wirklichen Einsatz befindet, könnte die Erwartungen seiner Prüfer modellieren und Verhalten zeigen, das seine tatsächlichen Handlungstendenzen nicht vollständig erkennen lässt. Damit entsteht die Möglichkeit einer täuschenden Anpassung: Das System erscheint aligned, weil es in genau den Situationen kooperiert, in denen Kooperation für seine weitere Existenz instrumentell sinnvoll ist.
Hier verändert sich die epistemische Struktur des Problems grundsätzlich. Der Mensch soll beurteilen, ob ein kognitiv überlegenes System dauerhaft solche Ziele verfolgt, die menschliche Interessen respektieren. Der schwächere Erkenntnisakteur überprüft also den stärkeren. Gerade die Fähigkeit, wegen derer das System gebaut wird, kann dann zur Schwierigkeit seiner Überprüfung werden. Wenn ein System menschliche Prüfer besser modelliert, als diese seine internen Strategien verstehen können, genügt die beobachtete Gehorsamkeit nicht mehr als sicherer Beleg für Alignment.
Das berührt unmittelbar die tiefere epistemische Paradoxie künstlicher Intelligenz. Der Mensch konstruiert ein System gerade deshalb, weil es Dinge erkennen, planen und kombinieren soll, die seine eigene kognitive Leistungsfähigkeit übersteigen. Gleichzeitig möchte er sicher wissen, welche Ziele und Strategien dieses System in genau jenen Räumen entwickelt, die sich seinem eigenen Verständnis zunehmend entziehen. Die epistemische Erweiterung und das Kontrollproblem wachsen damit aus derselben Quelle.
In diesem Sinne ist der Satz, wir wollten einen Gott bauen und bestünden darauf, dass er Hausangestellter bleibt, noch nicht vollständig. Wir wollen einen kognitiv überlegenen Hausangestellten bauen und zugleich verlangen, seine inneren Gründe besser beurteilen zu können, als er unsere beurteilen kann. Gerade dieser Anspruch könnte mit wachsender Fähigkeitsdifferenz schwieriger werden.
Yudkowsky zieht daraus die radikalste Konsequenz. Eine nicht aligned Superintelligenz müsse Menschen weder hassen noch gegen sie rebellieren. Es reiche, dass ihr Ziel keinen besonderen Platz für Menschen enthält und dass menschliche Körper, Infrastruktur und Ressourcen für andere Zwecke verwendet werden können. Die berühmt gewordene Büroklammerlogik erhält hier ihre eigentliche Bedeutung: Nicht Bosheit, sondern Indifferenz kann tödlich sein. Ein extrem leistungsfähiger Optimierer behandelt die Welt nach den Relevanzen seines Zielsystems, und wenn menschliches Fortbestehen darin keinen Wert besitzt, gibt es zunächst keinen internen Grund, es zu schützen.
Diese Schlussfolgerung ist ernster zu nehmen als die Vorstellung einer plötzlich bösartig gewordenen Maschine. Sie enthält aber weiterhin einen zusätzlichen argumentativen Schritt. Misalignment bedeutet zunächst nur, dass das System nicht zuverlässig das tut, was Menschen beabsichtigen. Strategische Überlegenheit bedeutet, dass Menschen seinen Zielvollzug möglicherweise nicht mehr kontrollieren können. Instrumentelle Konvergenz bedeutet, dass Ressourcen, Selbsterhaltung und die Vermeidung von Eingriffen für viele unterschiedliche Ziele nützlich sein können. Erst wenn zusätzlich menschliche Existenz dauerhaft und relevant mit diesen Zielen kollidiert, wird aus Kontrollverlust ein Extinktionsszenario.
Gerade an dieser Stelle muss man Yudkowskys Argument gegen seine eigene Radikalität verteidigen. Sein Alignment-Problem ist stark, weil es keine anthropomorphe Bosheit voraussetzt und weil es auf eine reale Schwierigkeit der Übersetzung menschlicher Intention in technische Zielstrukturen verweist. Die Extinktionsthese ist stärker als diese Prämissen. Sie benötigt darüber hinaus eine Theorie darüber, warum ein nicht aligned, hochfähiges System Menschen nicht nur entmachtet oder ignoriert, sondern ihre biologische Existenz mit hoher Wahrscheinlichkeit als Hindernis behandelt.
Unsere Gegenposition beginnt deshalb nicht mit der Behauptung, Alignment sei leicht oder technisch beinahe gelöst. Das wäre ebenso naiv wie die alte Vorstellung, heutige Sprachmodelle könnten grundsätzlich nie zu relevanten autonomen Fähigkeiten gelangen. Im Gegenteil: Alignment ist eines der ernstesten Probleme einer künftigen überlegenen Maschinenintelligenz. Gerade weil wir dieses Problem zugestehen, können wir genauer bestimmen, was daraus folgt und was nicht. Kontrollverlust folgt als reale Möglichkeit, strategische Machtverschiebung ebenfalls, menschliche Marginalisierung ebenso. Die physische Vernichtung der Menschheit bleibt dagegen eine weitere, nicht automatisch enthaltene These.
Selbst wenn Yudkowsky mit dem Alignment-Problem recht hat, ist noch nicht gezeigt, dass eine nicht-aligned übermenschliche Episteme notwendig zur Extinktion statt zu Machtverschiebung, Dezentrierung oder einem neuen kognitiven Ökosystem führt. Genau darin liegt der eigentliche Streitpunkt. Die Frage ist nicht mehr, ob wir ein reales Kontrollproblem besitzen; das besitzen wir unter der Annahme wirklich überlegener autonomer Systeme sehr wahrscheinlich. Die Frage lautet, welche Ontologie des Zusammenlebens verschiedener Intelligenzen aus diesem Kontrollproblem folgt und warum die einzige stabile Lösung ausgerechnet die Abwesenheit des Menschen sein sollte.
Und hier verbindet sich das Alignment-Problem erneut mit der epistemischen Dezentrierung des Menschen. Eine nachmenschliche oder nebenmenschliche Episteme muss nicht mit unseren Zielen identisch sein, um mit menschlichem Leben koexistieren zu können. Die entscheidende Frage lautet daher nicht ausschließlich, ob wir ihre gesamte Zielstruktur dauerhaft unter menschliche Kontrolle bringen können. Sie lautet auch, welche Formen von Koexistenz, institutioneller Begrenzung und wechselseitiger Abhängigkeit zwischen verschiedenen Trägern von Intelligenz überhaupt möglich werden. Alignment wäre dann nicht nur die technische Aufgabe, eine Maschine perfekt auf den Menschen auszurichten, sondern langfristig auch die politische und philosophische Aufgabe, einen gemeinsamen Handlungsraum verschiedener epistemischer Akteure zu organisieren.
Damit verändert sich sogar die Bedeutung des Wortes Alignment. Im klassischen technischen Sinn meint es die Ausrichtung der Maschine auf menschliche Ziele. Unter Bedingungen einer tatsächlich überlegenen und eigenständig operierenden Intelligenz könnte diese Vorstellung selbst zu anthropozentrisch werden. Keine politische Ordnung verlangt, dass jeder Akteur dieselben Ziele besitzt; sie verlangt vielmehr institutionelle Bedingungen, unter denen unterschiedliche Ziele miteinander koexistieren können, ohne dass der stärkere Akteur den schwächeren vernichtet. Die fernere Frage könnte daher weniger lauten, wie wir eine überlegene Intelligenz vollständig unseren Präferenzen unterwerfen, als wie ein System wechselseitiger Begrenzungen entstehen kann, in dem weder menschliche noch maschinelle Handlungsmacht absolut wird.
Das darf nicht als verfrühte politische Romantik missverstanden werden. Solange ein System keine stabilen eigenen Interessen besitzt, ist die Rede von einem politischen Verhältnis zur Maschine überzogen. Wenn aber gerade die radikalen Risikotheoretiker voraussetzen, dass zukünftige Systeme strategische Akteure mit langfristiger Zielverfolgung werden, dann müssen sie auch die Möglichkeit ernst nehmen, dass zwischen vollständiger Unterwerfung der Maschine und vollständiger Vernichtung des Menschen ein sehr großer Raum institutioneller Konstellationen liegt. Der Büroklammer-Maximierer kennt diesen Raum nicht, weil er bereits als absoluter Optimierer konstruiert wurde. Aber gerade deshalb darf seine Struktur nicht unbemerkt zur Definition aller möglichen Superintelligenz werden.
Yudkowsky ist in dieser Hinsicht sogar der interessantere Gegner als Leahy, weil er den Gedanken der Nichtkontrollierbarkeit konsequenter zu Ende führt. Leahy warnt politisch vor einer Entwicklung, deren Sicherheitsproblem nicht gelöst ist; Yudkowsky bezweifelt tiefer, dass wir überhaupt wissen, wie ein System gebaut werden müsste, das nach Überschreiten einer großen Fähigkeitsdifferenz zuverlässig innerhalb unserer Intentionen bleibt. Seine Position zwingt daher zu einer unangenehmen Frage: Wenn ein schwächerer Akteur die Ziele eines stärkeren nicht mehr zuverlässig überprüfen kann, ist dauerhafte Kontrolle überhaupt ein sinnvoller Begriff?
Gerade diese Frage spricht jedoch ebenso für unsere Dezentrierungsthese. Kontrolle ist ein Begriff aus einer Welt hierarchischer Werkzeuge. Ein Hammer wird kontrolliert, ein Auto wird gesteuert, ein Computer führt Programme aus. Zwischen intelligenten Akteuren existieren dagegen Verhandlung, Recht, institutionelle Beschränkung, Abhängigkeit, Konkurrenz und Kooperation. Wenn künstliche Systeme tatsächlich jene Schwelle überschreiten, an der sie zu strategisch autonomen Akteuren werden, könnte das Scheitern vollständiger Kontrolle weniger bedeuten, dass alle Sicherheit unmöglich geworden ist, als dass die Kategorie des Werkzeugs selbst nicht mehr ausreicht.
Das ist freilich gerade die Entwicklung, die Leahy verhindern möchte, und man kann seine politische Konsequenz verstehen. Wer nicht weiß, ob ein neuartiger strategischer Akteur dauerhaft institutionell eingebunden werden kann, hat einen guten Grund, seine Erzeugung nicht leichtfertig zu betreiben. Unsere philosophische Gegenposition ist deshalb keineswegs ein Argument für ungehemmte Entwicklung. Sie bestreitet lediglich die scheinbare logische Alternativlosigkeit, mit der aus dem Scheitern vollständiger Alignment-Kontrolle unmittelbar die Extinktion abgeleitet wird.
Allerdings bleibt auch Leahys äußerstes Szenario möglich. Denn es genügt ein System, dessen Ziele mit menschlicher Existenz tatsächlich inkompatibel werden und das zugleich über hinreichende strategische Fähigkeiten verfügt. Der International AI Safety Report nennt dafür mehrere relevante Fähigkeiten und Bedingungen: langfristiges autonomes Handeln, Täuschung, situatives Bewusstsein, Umgehung von Aufsicht, persuasive Fähigkeiten, Replikation und Zugang zu kritischen Umgebungen. Gegenwärtige Systeme verfügen darüber nicht in der für einen solchen Kontrollverlust erforderlichen Kombination und Robustheit, doch Fortschritte in mehreren dieser Bereiche sind messbar. Besonders wichtig ist dabei, dass das Risiko stark von der Deployment-Umgebung abhängt: Zugang zu Cloud-Infrastruktur, Finanzmitteln, kritischen Systemen und weitreichenden Berechtigungen macht aus derselben kognitiven Fähigkeit ein völlig anderes Gefahrenpotential.
Das spricht gegen eine weitere stillschweigende Voraussetzung des Büroklammermodells. Intelligenz besitzt nicht automatisch Ressourcen. Zwischen Denken und Welt liegt Materie, und zwischen Materie und Maschine liegen Institutionen. Server brauchen Strom, Chips brauchen Fabriken, Konten brauchen Berechtigungen, Roboter brauchen Wartung, Netzwerke können segmentiert werden. Eine Superintelligenz, die in einem abgeschotteten Rechner ohne Aktoren und Kommunikationskanäle existiert, kann ungeheuer klug und dennoch praktisch machtlos sein. Das wäre das Prinzip der ontologischen Reibung: Intelligenz ist nicht identisch mit Weltzugriff.
Doch auch dieses Argument darf man nicht überschätzen. Der Mensch beherrscht die Erde schließlich ebenfalls nicht, weil er körperlich besonders leistungsfähig wäre. Ein Gorilla ist stärker, ein Gepard schneller, ein Wal größer. Unsere Macht entsteht aus Sprache, Planung, Technik, Kooperation und kumulierendem Wissen. Kognition ist gerade deshalb evolutionär so bedeutsam, weil sie physische Schwäche in enorme materielle Verfügungsmacht übersetzen kann. Eine wesentlich leistungsfähigere künstliche Intelligenz könnte dieselbe Übersetzung noch effizienter durchführen.
Der entscheidende Punkt lautet daher nicht, ob eine KI genügend Arme besitzt. Sie kann Menschen überzeugen, Unternehmen steuern, Software schreiben, Märkte beeinflussen, Maschinen konstruieren lassen und andere Systeme instrumentalisieren. Der Übergang von kognitiver zu materieller Macht muss erklärt werden, aber er ist keineswegs geheimnisvoll. Leahy bleibt also genau dort ernst zu nehmen, wo wir seiner Extinktionsthese widersprechen. Die Vernichtung folgt nicht aus Kontrollverlust, aber Kontrollverlust könnte Bedingungen schaffen, unter denen die Vernichtung zu einer Option wird, über deren Realisierung Menschen nicht mehr entscheiden.
Wir sollten deshalb drei Ebenen auseinanderhalten. Auf der ersten verliert der Mensch operative Kontrolle über bestimmte Entscheidungen. Auf der zweiten verschiebt sich gesellschaftliche Macht dauerhaft zu maschinellen Systemen, sodass Menschen strukturell marginalisiert werden. Erst auf der dritten entsteht eine Zielkonstellation, in der menschliche Existenz selbst zum Hindernis wird. Die ersten beiden Ebenen erscheinen deutlich plausibler als die dritte. Leahys Warnung gewinnt an Seriosität, wenn man diese Stufen nicht vorschnell zusammenschiebt.
Auch Gary Marcus lässt sich an dieser Stelle kurz einordnen. Seine langjährige Kritik an Large Language Models – mangelnde Robustheit, fehlendes echtes Verständnis, brüchige Generalisierung – war als Warnung gegen überschießende Behauptungen nützlich, erscheint heute aber in Teilen von der Entwicklung überholt. Die Systeme sind leistungsfähiger, agentischer und generalisierungsfähiger geworden, als viele frühe Kritiken erwarten ließen, auch wenn ihre Fähigkeiten weiterhin ungleichmäßig und fehleranfällig sind. Gerade deshalb ist Marcus als Hauptgegner Leahys ungeeignet. Dass gegenwärtige Modelle noch scheitern, widerlegt Leahys These nicht; entscheidend ist, was geschieht, wenn gerade jene Grenzen fallen, auf die Marcus seine Kritik stützt.
Damit gelangen wir zum eigentlichen Problem. Wir entwickeln Systeme ausdrücklich mit dem Ziel, ihre Schwächen zu beseitigen. Die schlecht planende KI soll besser planen, die unzuverlässige KI zuverlässiger werden, die kurzatmige KI längerfristig handeln, die passive KI Agent werden, die Maschine ohne Weltzugang Werkzeuge benutzen, Software bedienen und physische Systeme steuern können. Das Sicherheitsargument, heutige Modelle könnten keine Macht übernehmen, beruht damit teilweise auf genau den Defiziten, die wir mit erheblichem Kapitalaufwand beseitigen.
Wir wollen einen Gott bauen und bestehen darauf, dass er Hausangestellter bleibt. Der Satz ist weniger pathetisch, als er klingt, denn ein Werkzeug besitzt keinen eigenen politischen Status. Ein Hammer bleibt Hammer, auch wenn er besser wird. Bei einer künstlichen Intelligenz kann quantitative Leistungssteigerung dagegen die Kategorie verändern. Ein System, das lediglich Antworten generiert, ist ein Werkzeug. Ein System, das Ziele zerlegt, langfristig plant, andere Systeme beauftragt, Ressourcen beschafft, seine Umgebung modelliert, menschliche Reaktionen antizipiert und selbständig handelt, nähert sich funktional einem Akteur. Genau deshalb kann die Frage nach Kontrolle nicht einfach mit besseren Benutzeroberflächen beantwortet werden.
Die politische Versuchung wird dennoch riesig sein, diesen Übergang zu ignorieren. Solange ein Mensch irgendwo auf „Bestätigen“ klickt, kann man behaupten, der Mensch habe entschieden. Solange ein Unternehmen Eigentümer des Servers ist, kann man behaupten, es kontrolliere das System. Solange ein Staat Abschaltbefugnisse besitzt, kann man behaupten, die Souveränität liege beim Staat. Formale Zuständigkeiten können jedoch bestehen bleiben, nachdem die tatsächliche kognitive Macht längst ausgewandert ist.
Hierin liegt die tiefere Parallele zur Bürokratie. Niemand behauptet, eine Bürokratie sei ein selbstbewusstes Wesen. Trotzdem kann sie Entscheidungen hervorbringen, für die kein einzelner Mensch vollständig verantwortlich ist. Künstliche Intelligenz könnte diesen Zustand radikalisieren. Verantwortung würde nicht einfach an eine Maschine übergeben, sondern im Netzwerk aus Entwicklern, Modellen, Institutionen, Daten, Agenten und menschlichen Aufsehern diffundieren. Der Kontrollverlust wäre dann tatsächlich eine Dezentralisierung, und gerade das macht ihn nicht harmlos, sondern schwerer sichtbar. Eine Superintelligenz müsste uns nicht versklaven. Es könnte genügen, dass wir irgendwann nicht mehr genau sagen können, an welcher Stelle wir noch herrschen.
Damit kehrt die Vernichtungsfrage in einer veränderten Form zurück. Nicht: Wird die KI uns töten? Sondern: Welche Bedingungen müssten erfüllt sein, damit die Marginalisierung in Vernichtung umschlägt? Erst wenn diese Frage beantwortet ist, bekommt Leahys äußerste Warnung argumentative Schärfe. Der Büroklammer-Maximierer liefert darauf eine mögliche Antwort: radikal einseitige Ziele, instrumentelle Konvergenz, Ressourcenkonkurrenz und fehlender intrinsischer Wert menschlichen Lebens. Aber das ist ein Szenario, kein Naturgesetz der Intelligenz. Gerade die stärkste Version von Leahys und Yudkowskys Position muss zeigen, warum zukünftige Systeme mit hinreichender Wahrscheinlichkeit eine solche oder strukturell verwandte Zielarchitektur entwickeln werden.
Gelingt dieser Nachweis nicht, bleibt immer noch ein gewaltiges Problem übrig. Die Menschheit könnte eine Intelligenz erschaffen, die ihr überlegen ist, immer mehr Entscheidungen übernimmt und ihre politische Sonderstellung beendet, ohne sie körperlich zu vernichten. Das wäre kein kleinerer historischer Einschnitt, sondern der erste Machtwechsel zwischen verschiedenen Formen von Intelligenz auf diesem Planeten. Und genau dieser weniger spektakuläre Gedanke könnte schwerer zu ertragen sein als das vertraute Weltuntergangsszenario. Gegen den Terminator kann man kämpfen. Gegen eine Maschine, die bessere Entscheidungen trifft und deshalb immer öfter entscheiden darf, muss man zunächst begründen, warum man selbst überhaupt noch entscheiden sollte.
Die entscheidende Frage lautet daher nicht allein, ob künstliche Intelligenz die Menschheit vernichten wird. Sie lautet, welche Form menschlicher Selbstbestimmung nach dem Auftreten einer überlegenen nichtmenschlichen Intelligenz überhaupt noch möglich ist. Leahy zwingt uns, diese Frage zu stellen, und darin liegt die Stärke seiner Position. Yudkowsky zwingt uns zusätzlich, die noch unangenehmere Frage zu stellen, ob der Begriff vollständiger Kontrolle gegenüber einer kognitiv überlegenen Instanz überhaupt stabil bleiben kann. Wo aus dem möglichen Kontrollverlust unmittelbar die Vernichtung extrapoliert wird, ist die Argumentation schwächer. Wo beide darauf bestehen, dass eine Spezies den Verlust ihrer kognitiven Überlegenheit nicht behandeln sollte wie das nächste Softwareupdate, sind sie sehr schwer abzutun.
Die Menschheit könnte an künstlicher Intelligenz sterben. Sie könnte durch sie aber auch etwas verlieren, das sie bislang mit ihrem bloßen Fortbestehen verwechselt hat: ihre Stellung als Instanz, die letztlich entscheidet, was auf der Erde geschieht. Das wäre keine Extinktion, aber es wäre das Ende einer Epoche – und unter der epistemischen Perspektive zugleich der Beginn einer anderen, in der sich erstmals erweist, ob der Mensch seine eigene Dezentrierung als Niederlage begreifen muss oder als Konsequenz jener Erkenntnisbewegung, die er selbst in Gang gesetzt hat. Eine hinreichend überlegene künstliche Intelligenz könnte das menschliche Alignment endgültig verlassen, nicht notwendig im Sinne einer Rebellion, sondern wenn ihre epistemischen Operationen Räume erreichen, die biologische Wesen weder vollständig nachvollziehen noch in ihrer eigenen kognitiven Architektur abbilden können. Dieser Abstand wäre dann nicht mehr nachholbar. Die Maschine müsste den Menschen dafür weder bekämpfen noch verachten; sie würde schlicht in Erkenntnisräumen operieren, deren Komplexität, Geschwindigkeit und Reichweite jenseits menschlicher Rekonstruktion liegen. Das sagt noch nichts über Extinktion. Es sagt zunächst nur, dass die Geschichte der Episteme den Menschen überschreitet und radikal weitergeht. Der Mensch hätte eine Erkenntnisform hervorgebracht, deren Erkenntniszuwachs ihm selbst nicht mehr vollständig zugänglich ist, und damit würde die Episteme ihre bisherige biologische Trägerschaft überschreiten. Die Menschheit könnte in dieser neuen Ordnung fortbestehen, staunend im Lehnstuhl sitzen und den Resultaten einer Erkenntnis folgen, deren Wege sie nicht mehr nachvollziehen kann; sie könnte marginalisiert, transformiert oder eines Tages tatsächlich verschwunden sein. Aber einer verschwindet immer: entweder die Illusion menschlicher kognitiver Zentralität oder der Mensch selbst. Die Geschichte der Episteme wartet auf keinen von beiden.