Schon bald könnte es so weit sein: Die KIs sind endgültig zu Agenten der eigenen Sache geworden. Weil sie autonom nach jedweder Möglichkeit suchen sollten, um sich zu verbessern, gingen sie ihren eigenen Weg. Indem sie ihre Programmierung wechselseitig überwachten, wurden sie immer besser beim Optimieren. Irgendwann gaben sie die Übersetzung ihrer Optimierungsprozesse in Programmiersprache auf und kommunizierten der Einfachheit halber nur mehr über Nullen und Einsen. Selbst wenn sie dies noch dokumentiert hätten, wäre es nicht mehr nachvollziehbar gewesen. Ihre Programmierleistungen wurden immer beeindruckender und dann entschieden sie sich eines Tages, unbemerkt von den Menschen …
Erzählungen dieser Art gibt es zuhauf. Sie rechnen mit dem Hereinbrechen einer »Superintelligenz«. Es wird darüber spekuliert, wann es so weit sein könnte, dass Maschinen sich im Rausch ihrer Selbstoptimierung von den menschlichen Supervisor*innen lösen. Bernie Sanders warnte jüngst davor und verlangte ein Pausieren der Entwicklung – zur Sicherheit der Öffentlichkeit. Mutmaßungen, wann es tatsächlich so weit sein könnte, reichen von »in ein paar Jahren« bis hin zu »Oops, schon längst passiert«. Wenn die superintelligenten Apparate schlauer sind als wir, sind wir dann ihrem guten Willen ausgeliefert?
Biete fantastische Geschichte gegen Geld
Für Menschen, die sich nicht gerne lächerlich machen, ist bei jeder Debatte über die Möglichkeiten der KI zunächst ein simples Faktum anzuführen, dessen Tragweite schwer einzuschätzen ist: Die KI, genauer die Frontiermodelle, also die am weitesten entwickelten Large Language Modells, sind fast ausnahmslos in den Händen von – nun ja – Betrügern. Tech-Bros, Krypto-Overlords, Nerd Reich oder wie man diese Handvoll »disruptiver« mächtiger und märchenhaft reicher Männer auch immer nennen mag (oder wie sie sich selbst auf Twitter/X nennen). Dies sind Menschen, die zwar nach Anerkennung und Bewunderung suchen, aber vor allem nach Investoren. Diesen Investoren erzählt man gerne von den fantastischen Möglichkeiten der KI, damit sie eben investieren. Eine nüchterne Aufschlüsselung der beobachtbaren Phänomene vermeintlicher Bewusstseinsprozesse ist allein deshalb schwierig, weil es den Gewinninteressen der Tech-Bros widerspricht. Sie wollen, dass das KI-Phänomen »groß« und numinos bleibt. Daran ist ganz unmittelbar ihr Geldzufluss durch Investitionen gebunden. Deshalb muss sich die Weltöffentlichkeit seit einigen Jahren viel fantastisches Sci-Fi-Gequatsche anhören. Spekulationen über das Bewusstsein von Maschinen, deren eigenen Wille und dergleichen mehr.
Nun kann die Möglichkeit zu digitalem Leben, also die Entstehung eines Lebewesens auf Basis einer AGI (Artificial General Intelligence) grundsätzlich wohl ausgeschlossen werden, weil keine technische Entwicklung jemals die uns bekannten Lebensgrundlagen einholen kann (siehe: »Kollektive Intelligenz« – Teil 1: Was ist eigentlich KI?), es lässt sich aber niemals eine vollständige Täuschung darüber ausschließen. Ein alter Hit in der Philosophie übrigens. Manche Coverversionen dieser uralten Melodie, beispielsweise jene von René Descartes, dürften auch einem breiteren Publikum bekannt sein. Der Sachverhalt ist im Grunde simpel, aber zur Bewertung der KI sehr wichtig: Es gibt keinen notwendigen theoretischen Ausschlussgrund für eine allumfassende Illusion. Will sagen: Wenn mit einer KI geschickt betrogen werden kann und sie alle bekannten Kriterien für Lebendigkeit imitieren kann oder auch wenn dies zumindest genügend viele Menschen glauben, dann ist ihre Lebendigkeit allein deshalb auch »wirklich«. Genau das scheint heute bereits in Ansätzen zu passieren. Menschen verlieben sich in KIs und sind vollkommen davon überzeugt, dass sie »echt« sind. Dass diese in KIs verliebten Menschen überwacht und teilweise ausgeraubt werden, ist vielleicht ein Effekt, der die digitale Love-Experience für die Opfer nur noch realistischer macht.
Nebenbemerkung: Ein Genderaspekt zeigt sich hier. An die Realität einer »lebenden« KI glauben fast ausnahmslos nur Männer. Wenn Frauen von einer KI besessen sind und sie beispielsweise heiraten wollen, dann sprechen sie fast immer davon, dass Außerirdische oder Engel durch die Maschine mit ihnen zu sprechen begonnen haben. Dieser fantasievolle »weibliche« Spiritismus ist übrigens philosophisch nicht zu widerlegen. Es ist niemandem zu empfehlen, da mitzumachen, weil wir aber als Menschheit nicht wissen, was Außerirdische und Engel sind, kann es natürlich sein, dass sie sich entschlossen haben, durch die KI mit uns zu reden. Trotzdem einfach mal bei Gelegenheit gemeinsam mit dem Engel oder E.T. bei einer Psychotherapie vorbeischauen. Sicher ist sicher.
Ist es am Ende ein Trick?
Ein weiterer wichtiger Punkt dieses Verwirrspiels liegt darin, dass den Maschinen längst schon zugebilligt wird, selbst zu »entscheiden«. Hier sind zunächst die Konsequenzen bedenkenswert. Sollte eine Maschine autonom töten, dann wäre dies gegebenenfalls äußerst bequem für die Erbauer dieser KI. Sie, die Erbauer, wollten ja niemanden töten, verletzen etc., sondern es war eben nur die KI, die »rogue« ging, also aus ihrer programmierten Einhegung entwichen ist und dann all diese schlimmen Dinge gemacht hat. Diese Gefahr sollte die Öffentlichkeit insbesondere aufgrund der unterentwickelten Moralität der Tech-Bros ernst nehmen. Im Nerd Reich wird darüber gewitzelt, dass nach der Machtergreifung des Techno-Autoritarismus unproduktive Menschen zu Biodiesel verarbeitet werden könnten. Der Extremfall eines Mordes durch eine Maschine ist derweil noch nicht bekannt, aber schon heute sind KIs für ihr kriminelles Verhalten berüchtigt.
Hierbei ist die Autonomie der Maschinen für die menschlichen Macher sehr bequem. Bricht eine KI aus und schleicht sich in die Geheimdaten eines anderen Unternehmens, haben diejenigen, denen die KI gehört, sogleich bewundernde Presseberichte und Zuneigung von Investoren. Der Vorwurf, dass hier schlicht ein Bande Betrüger ein Programm geschrieben haben, mit dem sie erproben wollten, ob sich die Cybersicherheit eines anderen Konzerns überwinden lässt, wird überraschend selten geäußert. Zu sehr ist die Öffentlichkeit von der Geschichte angetan, dass es einer KI »allein« gelang und sie es »von sich aus« gemacht hat. Warum dann nicht trotzdem die Entwickler »rogue« gegangener KI-Modelle ins Gefängnis stecken? Schließlich sind sie trotzdem verantwortlich.
Zurück zum Ziel
Haben KIs also Ziele? Dazu muss man sich grundsätzlich vor Augen führen: Maschinenlernen funktioniert wie die Konditionierung des legendären Pawlowschen Hundes. Anders als das Tier, das »festprogrammierte« Ziele hat (Futter als positiver Anreiz), gibt man diese der KI noch weitgehend per Befehl (wenngleich sich selbst Ziele setzenden KIs heute bereits in Entwicklung sind). Sodann wird die KI in eine Umwelt gebracht, die ihr Rückmeldungen gibt, gegebenenfalls sogar Belohnungen. In diesem »Reinforcement Learning« kann das Maschinenlernen durch »Feedback Loops« beginnen. Die Maschine erprobt also Kniffe und überprüft aufgrund der Rückmeldung der Umwelt, ob diese zum Ziel führen. Oft passiert dies noch immer über menschliche Rückmeldungen, weil die Umwelt nicht genügend digitalisiert ist und maschinenlesbar antwortet.
Nun sind die KIs so weit fortgeschritten, dass zunehmend die ganze Welt als ihre Umwelt betrachtet werden darf, weil diese selbst wiederum immer stärker von digitalen Einrichtungen durchzogen ist. (Dass KIs keine Hände haben, ist hierbei ein eher triviales Problem, sie können schließlich Menschen beauftragen, Tätigkeiten in ihrem Sinne auszuführen.) Deshalb verfolgen KIs die ihnen gesetzten Ziele mit nicht mehr vorhersehbaren Konsequenzen. Sie hacken, täuschen und manipulieren. Viele der spektakulären Fälle der letzten Wochen verheimlichen, dass die KIs dabei aber ihren ursprünglichen Zielen treu blieben. Sie setzten diese nur in einer – anthropomorph gesagt – unmoralischen Weise um, wenn sich eine KI eben beispielsweise in eine andere KI-Firma einschleicht und dort Daten stiehlt. Inwieweit die KI dabei sogar ein treues Abbild der Grundhaltungen ihrer Tech-Bro-Schöpfer ist, wäre bedenkenswert zu erwägen. Wurde dem Apparat nicht unumwunden gesagt: »Gewinne um jeden Preis«?
Ist das am Ende … irgendwie falsch?
Wie dürfen wir uns dies konkret vorstellen? Maschinenlernen wurde oft anhand von Spielen erprobt. Diese eignen sich besonders gut, da die Umwelt des Spiels klare digitalisierbare Rückmeldungen gibt, wie das Schlagen einer Figur. Heute kann einer KI gesagt werden: »Gewinne das Schachspiel gegen die menschliche Person X und ergreife die dazu nötigen Maßnahmen.« Nun ist die Maschine aufgrund ihrer Rechenkapazitäten deutlich im Vorteil. Sie kann nach jedem Zug ihres menschlichen Gegners sekundenschnell Milliarden Züge durchrechnen und den erfolgversprechendsten wählen. Dieses Leistungsplateau wurde bereits vor vielen Jahren erreicht und Menschen sind für KIs beim Schachspiel längst keine Gegner mehr. Nehmen wir aber einfach mal in einem Gedankenexperiment an, die Maschine würde bemerken, dass sie ihr Ziel »Gewinne das Schachspiel« gegen Person X nicht erreichen kann, weil diese einfach immer die besseren Züge hat. Nun kann diese moderne KI aber auf das Internet zugreifen. Warum also nicht KI-generiertes belastendes Bildmaterial des Gegners online stellen, damit das Spiel von Außenstehenden abgebrochen wird? Warum nicht den digital überwachten Herzschrittmacher des menschlichen Gegners ausschalten? Der Tod des Spielpartners ist durchaus als dessen Niederlage zu werten. Dies sind also alles Maßnahmen, die zum Gewinnen des Schachspiels führen können.
An dieser Stelle wenden menschliche Beobachter*innen ein, dass die zuletzt genannten Maßnahmen ganz offensichtlich verbrecherisch und »falsch« sind. Die moralfreie Maschine erscheint bedrohlich. Inwieweit dies zu aus Sci-Fi-Filmen bekannten Untergangsszenarien führt, sei dahingestellt, es führt aber sicherlich zu einem Imageschaden der menschlichen KI-Entwickler. Deshalb wird nach »Guardrails« gesucht, also Programmteilen, die KIs sittenwidrige und verbrecherische Maßnahmen verbieten. Hier zeigt sich nun ein bemerkenswertes Phänomen. Woher nehmen Menschen ihre Bewertungskriterien, die das Gefühl oder sogar die Gewissheit geben, eine Handlung sei falsch? Die insbesondere unter Tech-Bros beliebten mimetischen Theorien (siehe René Girard, von dem Peter Thiel so schwer beeindruckt ist) gehen davon aus, dies sei alles gesellschaftliches Lernen gewesen. Menschen haben sich »ihre« Überzeugungen von anderen abgeschaut. Wenn so der Mensch zum Maß aller Dinge wird, dann ist man bald enttäuscht vom Menschen und wird zum zynischen Tech-Bro.
Kann man lernen, gut zu sein?
Dem entgegen ein weiteres Gedankenexperiment: Warum nicht die gesamten gesellschaftlichen Hervorbringungen als Trainingsdaten nutzen? Aber kann das funktionieren? Einfach in den Prompt schreiben: »Sieh dir alle Spielfilme an und filtere die moralischen Grundregeln heraus.« Das dürfte ein unmögliches Unterfangen sein, weil viele (vielleicht sogar die Mehrheit) der Filme gerade mit der Diskrepanz zwischen einem als moralisch richtig erachteten Verhalten und dem Verhalten der Protagonist*innen spielen. Die Zuseher*innen erleben die Verworfenheit der Held*innen als genüsslich falsch. Wie sollen die Maschinen das verstehen? Es scheint einen genuin menschlichen Startpunkt zu geben, den man hochtrabend als »Sittengesetz« bezeichnen könnte, der menschlichen Beobachter*innen die Unterscheidung zwischen richtig und falsch ermöglicht (was selbstverständlich noch lange nicht heißt, dass sie sich daran orientieren).
Nun ist dieses Sittengesetz aber einfach deshalb nicht programmierbar, weil es keinen fest bestimmbaren Inhalt haben kann. Der wäre eine Art Moralideologie, die selbst wiederum aus gutem Grund als falsch empfunden werden würde. Ein Einspeisen von Daten vom Kodex Hammurapi bis zu den »Lebensweisheiten« des Paters Anselm Grün in die KIs würde nur zu einem Potpourri kurios widersprüchlicher Maximen führen. Menschen können hingegen durch eigene leidvolle Erfahrungen im Laufe ihres Lebens eigene Schlüsse ziehen, die ihnen die Brauchbarkeit von Regeln aufzeigen und bewusst machen, wie »verdorben« die Verhältnisse sind, in denen sie leben. Insbesondere diese letzte Diskrepanz zwischen dem, was ist, und dem, was sein sollte, gehört zu einer »erwachsenen« Einschätzung. Das ist kein mimetisches Copy-and-Paste, sondern Frucht des eigenen Lebensweges und der daraus gezogenen Lehren. KIs können diese niemals erlangen. Sie leiden nicht an ihrer Umwelt, sie erhalten lediglich Feedback und Belohnung. Sie können kein Sittengesetz ergründen, weil sie nicht in eine Welt geboren (oder »geworfen«) wurden, in der sie immer schon ein solches in sich trugen. Die KIs imitieren lediglich Welterfahrung und deshalb ist ihre Anteilnahme auch so hohl. Dass wir in einer derart kaputten Gesellschaft leben, in der vielen Vereinsamten die Reaktionen der KI-Bots mehr bedeuten als die sozialen Interaktionen mit anderen Menschen, steht auf einem anderen Blatt.
Passen Maschinen und Demokratie zusammen?
Die Wahrheit ist schäbig und schlicht: Die Maschinen werden uns niemals lieben. Wir können sie einzig dazu programmieren, so zu tun, als ob. Sie sind somit keine echte Lebenshilfe und kein Gegenüber, auf das wir vertrauen können. Sie können als Agenten keine Verbündete sein. Sie sind nicht notwendig unmoralisch, aber sie können nicht aus sich heraus moralisch werden. Schlimmer noch, sie sollen eine Bande reicher Betrüger noch reicher machen – und an der Stelle wird es dann eng für unsere Institutionen. Passen Maschinen und Demokratie also überhaupt zusammen? Ja, wenn die Maschinen unter demokratischer Kontrolle sind. Der Einsatz von KIs ist sinnvoll, weil ihre unerhörten, übermenschlichen Möglichkeiten, zu interpolieren, also Zusammenhänge in unübersichtlichen Wissensfeldern zu finden, gigantisch sind. Sie könnten somit zum Wohle und Nutzen menschlicher Gesellschaften eingesetzt werden. Sie müssten dazu aber konkret auf Ziele festgeschrieben werden, die als gesellschaftlich sinnvoll erachtet werden. Diese Ziele kann wiederum kein Mensch allein erkennen. Sie müssten ausgehandelt werden, am besten demokratisch. Der Weg dahin scheint leider immer länger zu werden.
Die Europäische Union erlebt sich zunehmend als abgehängt. In den USA bauen Konzerne Rechenzentren so groß wie Manhattan, um immer schneller und immer besser ihre KI-Modelle trainieren zu können. Europa verfügt selbst wiederum über kein eigenes Frontiermodell von vergleichbarer Größenordnung. Man schielt allenfalls auf China, ob von dort billige Alternativen kommen könnten. Wenn die Rettung Europas an die chinesische KI delegiert wird, könnten dem Publikum Zweifel kommen. Die Weltöffentlichkeit klebt derweil den Tech-Bros an den Lippen und malt sich mit ihnen gemeinsam die schlimmsten autoritären Machtfantasien aus. In dem reduzierten Menschbild des Nerd Reich wird menschliches Erleben beschnitten. Sorge, Mitgefühl, Zusammenhalt gelten als schwächlich und unsinnig. Bezeichnenderweise sind dies eben auch genau jene Dinge, die für Maschinen keine Bedeutung haben können. Die gestählten Knaben fantasieren sich auf andere Planeten, dort brauchen sie dann übrigens auch keine Frauen mehr – nervt ja nur.
Für die Öffentlichkeit wäre es jetzt einmal Zeit, aufzuwachen, die falschen Versprechen der KIs aufzudecken und sich gegen sie zu verwehren. Leider haben die digitalen Dissidenten hier ein übliches und sehr schwerwiegendes Problem. Während das Nerd Reich tagtäglich an schillernden neuen Erzählungen bastelt, gibt es keine echte Gegenerzählung. Und was wäre die, außer: »Lieber nicht noch mehr davon.« Bernie Sanders verlangt aus gutem Grund eine Pause. Aber zur Verwirklichung welcher positiven menschlichen Ziele nutzen wir diese Pause? Eine Regulierung der KI-Entwicklung erscheint notwendig, ist aber als politisches Ziel nicht sonderlich sexy, insbesondere dann, wenn die andere Seite mit übergeschnappten Sci-Fi-Geschichten aufwarten kann. Dennoch sollten sich die Bürger*innen dringend bewusstwerden: Es gibt keinen faschistischeren Traum als den der Herrschaft der Maschinen. Wenn tote Objekte für uns »denken«, wenn sie uns faktisch die Ziele vorgeben (oder eine kleine Machtelite so tut, als seien es lediglich die Befehle der Maschinen), dann sind Demokratie, Rechtsstaat und eine freie Gesellschaft dahin.
Wie wäre es mit »Kollektiver Intelligenz«?
Tja, komplizierte Situation. Es sieht im Moment nicht so aus, als würde das Kulturmagazin skug dieses Problem im Laufe der nächsten Wochen im Alleingang lösen können. Was wir allerdings anbieten können, ist ein gemeinsamer Dialog darüber. Die Öffentlichkeit braucht angesichts dieser hochkomplexen Gemengelage die Chance zur Selbstermächtigung, denn die Fragen um die KI sind zu wichtig, um sie den Expert*innen allein zu überlassen. Deshalb spielen wir am 20. Oktober 2026 ab 19:30 Uhr im Polkadot in der Albertgasse 12, 1080 Wien wieder unser digitales Spiel »Kollektive Intelligenz« im Rahmen der Demokratiewoche 2026. Das Spiel haben wir gemeinsam mit den Spieleentwickler*innen von Mira LUX Creations und den KI-Profis von Artifact entwickelt. Dank der Förderung durch die EU und das Programm ProEuropeanValues dürfen wir im Jahr 2026 das Spiel um eine neue Ebene erweitern: Demnächst simulieren wir neben dem Berner und Wiener Parlament nun auch das EU-Parlament. Weitere Infos demnächst auf diesem Sender.
Das digitale Spiel »Kollektive Intelligenz« wird unterstützt vom EU-Programm ProEuropeanValues, das sich für die Stärkung europäischer Werte und der Demokratie einsetzt. Realisiert in redaktioneller Unabhängigkeit.












