Die Mär von der Superintelligenz

Namhafte Autoren glauben daran, nicht nur Philosophen wie Nick Bostrom, auch Chefentwickler der führenden KI-Firmen wie Ray Kurzweil von Google oder auch nicht ganz som enthusiastisch Mustafa Suleyman, Mitgründer von DeepMind und jetzt Chef der Microsoft-KI-Sparte.

Das Schlüsselwort der Superintelligenz-Phantasien heißt Singularität und meint den Augenblick, in dem die maschinelle Intelligenz auf allen Gebieten die menschliche Intelligenz übertrifft. Darauf stützen sich die zahlreichen Dystopien, die dieser postsingulären Künstlichen Intelligenz unterstellen oder zumindest zutrauen, sie könne die Menschheit als Feind erkennen und sie vernichten. Namhafte Wissenschaftler und Technologieunternehmer haben sich diesen Befürchtungen angeschlossen. Um einige Namen zu nennen: Der erste Warner Nick Bostrom (2001), der das Thema erst bekannt machte, Stephen Hawkin, der befürchtete, eine Superintelligenz könne sich selbst verbessern und dann die Herrschaft über die Menschheit ergreifen, Geoffrey Hinton, der „Gottvater“ des Deep Learning, Apple-Mitgründer Steve Wosniak, Bill Gates und natürlich die unvermeidlichen Elon Musk und Sam Altman.

Wilde Phantasien

In seinem Buch Die nächste Stufe der Evolution stellt Ray Kurzweil, Chefentwickler bei Google, seine Vision der Künstlichen Intelligenz vor. Wenn es nach ihm geht, wird sie in wenigen Jahren die menschliche Intelligenz in allen Bereichen übertreffen. Maschinen werden „echte“ Intelligenz erwerben und nicht nur simulieren. Direkte Verbindungen zwischen Gehirn und KI-Systemen werden Menschen zu Superintelligenz und zu neuen Lebensformen verhelfen.

Schon in naher Zukunft könnten Nanobots in unser Gehirn eingebracht werden, um eine direkte Verbindung zwischen dem Neokortex und externen Rechenressourcen wie Neuronalen Netzen in einer Cloud herzustellen. Dann ließen sich Gedanken, Erinnerungen und menschliche Intelligenz mit nicht-biologischen Systemen (in der Cloud) und den dortigen Funktionen verbinden und uns eine mit der gewaltigen Technikfülle großer KI-Modelle erweiterte hybride Intelligenz bescheren. Wir hätten eine direkte Gedankenkommunikation, eine Brain-to-Brain-Verbindung über das Internet.

Die Technik könnte uns innere Erlebnisse bescheren, die vollständig von externen Systemen erzeugt würden und nicht mehr über Sinnesorgane wahrgenommen werden müssten. Die riesigen Datenmengen der großen KI-Modelle stünden unserem ins Unvorstellbare erweiterten Gedächtnis in direktem Zugriff zur Verfügung. Und die Technik hätte es drauf, sich aus eigener Kraft selbst zu verbessern.

Der Stand heute (2025)

Kehren wir zur Realität des Jahres 2025 zurück. Das vermutlich Intelligenteste, was wir zurzeit von der Künstlichen Intelligenz haben, sind die Large Language Models, kurz LLMs, mit den in ihnen steckenden Neuronalen Netzen. Klären wir zunächst, ob sie von ihrer Architektur her überhaupt in der Lage sind, etwas Neues zu produzieren.

Wie KI-Systeme funktionieren, ist auf dieser Plattform in dem Dokument Chatbots, Sprachmodelle und Neuronale Netze kurz und in Künstliche Intelligenz sehr ausführlich erklärt.

Die LLMs, zumindest die ganz großen, sind mit Abermilliarden von Texten trainiert, verkörpern sozusagen das digitale „Wissen“ fast der ganzen Welt und finden ihre Antworten auf Fragen von Benutzern nach dem Prinzip Was ist nach den Gesetzen der Statistik und Wahrscheinlichkeitsrechnung die nützlichste Antwort. Sie können in dem Gesagten, Geschriebenen und Digitalisierten unverschämt gut Muster erkennen, auch solche, die noch nie ein Mensch gesehen hat. Viele Menschen, darunter exzellente Experten, bezeichnen diese Leistung als Kreativität.

Chatbots, von der Linguistik-Professorin Emily Bender und ihren Kolleginnen als stochastic parrots bezeichnet, sind das Sprachrohr der Large Language Models, wobei die Models längst nicht mehr auf Sprache fixiert sind, sondern inzwischen alles können, was sich nicht gegen Digitalisierung wehrt, noch nicht Gerüche, aber schon zumindest ein bisschen Berührung.

Was immer ein Chatbot sagt, er hat - zurzeit - nur zwei Möglichkeiten, um eine Antwort zustande zu bringen:

• Die Geister der Vergangenheit beschwören und herausangeln, was irgendwo irgendwie von irgendwem digital einmal in die Welt gesetzt wurde, neu kombiniert, medial schön aufbereitet,
• oder eine Anfrage ins aktuelle Internet schicken und das Ergebnis als neue Antwort präsentieren, mit den gelernten Methoden der Zusammenfassung und gefälligen medialen Aufbereitung.

Was dabei herauskommen kann, versuchen wir in einem Gedankenexperiment zu klären: Unterstellt, jemand (er)finde etwas epochemachend Neues und veröffentliche es, in irgendeiner digitalen Form. Die Chatbots haben zunächst noch keine Kenntnis von der Neuigkeit.

Stellt sich die Frage, wie die neue tolle Idee den Sprung in das „Wzíssen“ der Systeme schafft. Wenn sie im Big Money-Fahrwasser segelt oder ein Ticket für Qualitätsjournalismus ergattert hat (Axel Springer hat schließlich einen Vertrag mit OpenAI), dann reicht es vielleicht. Realistischer ist jedoch die Ochsentour, also warten bis genug Kolleginnen oder Kollegen die tolle Idee zitiert haben oder der Autor einen anderen Trick gefunden hat, genug Aufmerksamkeit eingesammelt zu haben.

Die Schwachstelle ist auf jeden Fall: Das ganz Neue ist erst einmal auch das ganz Seltene, und der Wahrscheinlichkeitsalgorithmus der Sprachmodelle macht einen Bogen darum. Also abwarten, bis Seltenheit zu Häufigkeit geworden ist.

Die Hoffnung stirbt zuletzt

Die Superintelligenz-Visionen beschreiben Systeme, die eigene Initiativen entwickeln können. Dazu müssten sie zu autonomer Wahrnehmung fähig sein und nicht nur das tun können, was man ihnen sagt. Es gibt viel Forschung zur Frage, ob Intelligenz an Gehirne, Nervensysteme oder überhaupt an Formen von Bewusstsein gebunden ist, ja sogar zum Thema, ob sich Bewusstsein, zumindest bescheidene Formen davon, auch maschinell herstellen lässt (Hinweise zum Hintegrund zeigen).

In der sogenannten Integrated Information Theory (IIT) thematisiert der Psychiatrie-Professor Giulio Tononi den Zusammenhang von Bewusstsein und Komplexität. Das hat die Phantasie einiger Wissenschaftler zu der Annahme beflügelt, Bewusstsein könne sich sozusagen bei genügend hoher Komplexität von selber einstellen, in der Fachliteratur als emergent property bezeichnet, quasi aus dem Nichts auftauchend. Und schon stehen wir wieder vor einem hoffnungsvollen Meilenstein auf dem Weg zur Singularität und der Superintelligenz.

Die Annahme passt hervorragend mit der immer noch herrschenden Meinung zusammen, noch mehr Rechner-Power und noch größere KI-Modelle werde den Durchbruch bringen. Die aktuellen Supersysteme können schließlich mit Billionen von Verbindungswerten zwischen ihren künstlichen Neuronen aufwarten, an Komplexität mangelt es ihnen wirklich nicht.

Auch die nicht ausschließbaren Halluzinationen bei den neuesten Systemversionen beflügeln irrationale Phatasien: Dein Large Language Model, das unbekannte Wesen. Solche im Training der Supersysteme entdeckte Eigentümlichkeiten (Hinweise dazu im Intro-Dokument zur KI) geben Rätsel auf, nach dem Motto, vielleicht haben die Systeme doch so etwas wie ein Eigenleben entwickelt (Hintergrund-Info zeigen).

Zwischenergebnis zurzeit: Noch kein Licht am Ende des Tunnels, noch keine Fortschritte mit Systemen, die zu eigeninitiativer Wahrnehmung fähig sind, geschweige denn über ein Bewusstsein oder einen eigenen Willen verfügen.

Den Systemen, die mit ihren künstlichen Neuronen nur einen bescheiden kleinen Teil menschlicher Gehirnleistung simulieren können, das Potenzial zuzutrauen, neue Welten erfinden und auf sie auch noch mit eigener Initiative einwirken zu können, ist eine kühne Vermutung.

Die neue Bescheidenheit des Sam Altman

OpenAI war mit seinem ChatGPT im November 2022 vorgeprescht, hatte sich sofort mit Microsoft verbandelt und damit Google, die eigentlichen Erfinder, ausgestochen. Es war Sam Alrman, der die klare Chance sah, den Markt zu besetzen. Dafür mussten die Sicherheitsbedenken gegen die zu schnell entwickelte Technik hinten anstehen. Das führte dazu, dass wichtige Mitarbeitende der ersten Stunde, darunter OpenAI-Mitgründer Sutskever und Entwicklungschefin Mira Murati schon ein Jahr später die Firma verließen. Die große Eile und ungebremste Geldgier war offensichtlich nicht ihre Sache.

Der leuchtende Stern des Big Money führte zu immer größeren Systemen, die immer mehr Rechnerpower verschlangen. Doch die Erfolge hielte nicht mit dem Anfangstempo mit. Nun war das Marketing gefragt. Der Chatbot-Betrieb hatte sich längst sich zu einer beachtlichen Gendverbrennungemaschine entwickelt (Verlust von OpenAI in 2024 zugegebene fünf Milliarden Dollar, Prognose 2025 neun Milliarden), und weil alles ohnehin eine Anleihe auf das Supergeschäft der Zukunft war, mussten gigantische Fortschrittssprünge in Aussicht gestellt werden. Da bot sich die Superintelligenz förmlich an. In wenigen Jahren sollte es schon soweit sein.

In einem Blogbeitrag mit dem Titel The gentle Superintelligence (Die sanfte Superintelligenz) vom 6. Juni 2025 stellt Sam Altman sich eine kontrollierte und friedliche Entwicklung zur Superintelligenz vor, nicht mehr das Angstmachen früherer Monate, nicht mehr die Vorstellung, dass wir alle mit Hirnimplantaten herumlaufen müssen, um noch mithalten zu können. Nein, alles wird gut. Wissenschaftler werden zwei bis dreimal so produktiv sein wie heute. Das Schwungrad des wirtschaftlichen Fortschritts ist bereits angeworfen. Wohlstand wird sich mehren, Ideen und die Fähigkeit, Ideen zu verwirklichen, werden im Übermaß vorhanden sein. Roboter, die andere Roboter bauen können für allmögliche Arbeiten, die wir nicht mehr tun müssen, stehen sozusagen schon vor der Tür. Die Erwartungen werden steigen, aber die Fähigkeiten werden ebenso schnell zunehmen, und wir werden alle bessere Dinge bekommen. Wir werden immer wundervollere Dinge füreinander bauen. Das Tempo, in dem diese neuen Wunder vollbracht werden, wird immens sein. Und so weiter. Das Plädoyer für das Bauen eines "Gehirns für die Welt" schließt Altman ab mit dem Mantra:

"May we scale smoothly, exponentially and uneventfully through superintelligence",

versuchsweise übersetzt: Mögen wir durch Superintelligenz reibungslos, exponentiell und unfallfrei wachsen.

Klare Botschaft an die Geldgeber: Investieren Sie bitte weiter, wir schaffen das.

Soziale Folgen

Im Zusammenhang mit Künstlicher Intelligenz ist viel von Disruption die Rede, will heißen, KI wird alles auf den Kopf stellen. Die industrielle Revolution des 19, Jahrhunderts war die bisher größte Disruption. Menschen hatten innerhalb weniger Jahrzehnte genug zu essen, genug Kleidung, ein Dach über dem Kopf und konnten sich endlich auch mit sich selbt beschäftigen, herausfinden, wer sie sind und wie sie sein wollten. Dagegen nehmen sich die „disruptiven Veränderungen durch die Künstliche Intelligenz noch recht bescheiden aus. Als universell einsetzbare Technologie wird KI jede computerunterstützte Arbeit berühren und irgendwie verändern. Massenhafter Ersatz menschlicher Arbeit ist zwar eine von Unternehmensberatungen gerne verbreitete Botschaft, aber eher auf wenige Branchen begrenzt. In der hitzig geführten Debatte werden die Auswirkungen jenseits der Arbeit eher stiefmütterlich behandelt.

Schauen wir uns an, was die Informationstechnik, speziell die Künstliche Intelligenz damit zu tun hat:

Sinkflug statt Superintelligenz

Es scheint inzwischen, dass der Höhenflug der Künstlichen Intelligenz ins Stocken geraten ist. Zu deutlich wird die Diskrepanz zwischen den Versprechungen und den mageren Ergebnissen. Natürlich möchte niemand missen, wie elegant einfach es ist, mit Hilfe eines Chatbots eine Wissenslücke zu schließen, die Öffnungszeit eines Restaurants zu erfahren, ein Kochrezept mit Topinambur zu empfehlen oder herauszufinden, wer als Erster die Theorie der Schwarzen Löcher in die Welt gesetzt hat.

Doch die Technik ist dabei, sich selber zu zerstören. Unerfahrenen Managern setzt sie Flöhe in den Kopf, welchen Produktivitätssprünge sie mit Agentic KI erreichen können, Investoren verdirbt sie die Laune, weil sie keine Returns on Investment sehen und ganz normale Menschen frustriert sie mit schlechter werdender Qualität.

Ein qualitativer Fortschritt in Richtung einer mit der menschlichen Intelligenz mithaltenden oder sie übertreffenden Künstlichen Intelligenz ist nicht erkennbar. Vermutlich spielt dabei eine falsche Vorstellung von Intelligenz eine wichtige Rolle. Mehr dazu finden Sie in dem Beitrag Bewusstlos in die Superintelligenz.

 

Übersetzen:  

The myth of superintelligence

Renowned authors believe in it, not only philosophers such as Nick Bostrom, but also chief developers of leading AI companies such as Ray Kurzweil from Google or, not quite as enthusiastically, Mustafa Suleyman, co-founder of DeepMind and now head of the Microsoft AI division.

The key word in superintelligence fantasies is singularity and refers to the moment when machine intelligence surpasses human intelligence in all areas. This is the basis for the numerous dystopias that assume, or at least believe, that this post-singular artificial intelligence could recognise humanity as an enemy and destroy it. Renowned scientists and technology entrepreneurs have echoed these fears. To name a few: The first Warner Nick Bostrom (2001), who first popularised the topic, Stephen Hawkin, who feared that a superintelligence could improve itself and then seize dominion over humanity, Geoffrey Hinton, the 'godfather' of deep learning, Apple co-founder Steve Wosniak, Bill Gates and, of course, the inevitable Elon Musk and Sam Altman.

Wild fantasies

In his book The Next Stage of Evolution, Ray Kurzweil, Chief Developer at Google, presents his vision of artificial intelligence. If he has his way, it will surpass human intelligence in all areas in just a few years. Machines will acquire 'real' intelligence and not just simulate it. Direct connections between the brain and AI systems will help humans achieve super intelligence and new life forms.

In the near future, nanobots could be inserted into our brains to establish a direct connection between the neocortex and external computing resources such as neural networks in a cloud. Then thoughts, memories and human intelligence could be connected to non-biological systems (in the cloud) and their functions, giving us a hybrid intelligence augmented with the vast technology of large AI models. We would have direct thought communication, a brain-to-brain connection via the internet.

The technology could give us inner experiences that are generated entirely by external systems and no longer need to be perceived via sensory organs. The huge amounts of data from the large AI models would be directly available to our memory, which would be expanded to unimaginable proportions. And the technology would be able to improve itself on its own.

The status quo today (2025)

Let's return to the reality of the year 2025. Probably the most intelligent thing we currently have from artificial intelligence are the large language models, or LLMs for short, with the neural networks they contain. Let's first clarify whether their architecture is capable of producing anything new at all.

How AI systems work is explained on this platform in the document Chatbots, Sprachmodelle und Neuronale Netze briefly and in Künstliche Intelligenz explained in great detail.

The LLMs, at least the really big ones, are trained with billions and billions of texts, embody the digital 'knowledge' of almost the entire world, so to speak, and find their answers to users' questions according to the principle of what is the most useful answer according to the laws of statistics and probability. They are outrageously good at recognising patterns in what is said, written and digitised, including patterns that no one has ever seen before. Many people, including excellent experts, refer to this ability as creativity.

Chatbots, referred to as stochastic parrots by linguistics professor Emily Bender and her colleagues, are the mouthpiece of the large language models, whereby the models have long since ceased to be fixated on language, but can now do everything that does not resist digitalisation, not yet smells, but at least a little touch.

Whatever a chatbot says, it currently only has two options for providing an answer:

• Conjuring up the ghosts of the past and fishing out what was once put into the world digitally somewhere, somehow, by someone, recombined, beautifully prepared for the media,
• or send an enquiry to the current Internet and present the result as a new answer, using the learned methods of summarisation and pleasing media presentation.

Let's try a thought experiment to clarify what can come out of this: Let's assume that someone discovers something groundbreaking and publishes it in some digital form. The chatbots are initially unaware of the news.

The question arises as to how the great new idea will make the leap into the 'wisdom' of the systems. If it sails in Big Money waters or has managed to get a ticket for quality journalism (Axel Springer has a contract with OpenAI, after all), then perhaps it will be enough. More realistic, however, is the ox tour, i.e. waiting until enough colleagues have cited the great idea or the author has found another trick to attract enough attention.

In any case, the weak point is that the completely new is also the completely rare, and the probability algorithm of the language models avoids it. So wait until rarity has become frequency.

Hope dies last

The superintelligence visions describe systems that can develop their own initiatives. To do so, they would have to be capable of autonomous perception and not just be able to do what they are told. There is a lot of research on the question of whether intelligence is linked to brains, nervous systems or forms of consciousness in general, and even on the subject of whether consciousness, or at least modest forms of it, can also be produced by machines (Notes on the background zeigen).

In what is known as Integrated Information Theory (IIT), psychiatry professor Giulio Tononi addresses the connection between consciousness and complexity. This has fuelled the imagination of some scientists to the assumption that consciousness could arise of its own accord, so to speak, given a sufficiently high level of complexity. And here we are again at a hopeful milestone on the road to singularity and superintelligence.

This assumption fits in perfectly with the still prevailing opinion that even more computing power and even larger AI models will bring the breakthrough. After all, the current super-systems can boast trillions of connection values between their artificial neurons, so there is really no lack of complexity.

The hallucinations that cannot be ruled out with the latest system versions also inspire irrational fantasies: Your Large Language Model, the unknown being. Such peculiarities discovered during the training of the supersystems (see the AI intro document for more information) are puzzling, along the lines of perhaps the systems have developed something of a life of their own (see background information).

Interim result at present: no light at the end of the tunnel yet, no progress with systems that are capable of self-initiated perception, let alone have a consciousness or a will of their own.

It is a bold assumption to believe that these systems, whose artificial neurons can only simulate a modestly small part of human brain power, have the potential to invent new worlds and even influence them with their own initiative.

The new modesty of Sam Altman

OpenAI had forged ahead with its ChatGPT in November 2022, immediately teaming up with Microsoft and beating out Google, the actual inventors. It was Sam Alrman who saw a clear opportunity to occupy the market. Security concerns about the technology, which was being developed too quickly, had to take a back seat. As a result, key employees from the early days, including OpenAI co-founder Sutskever and Head of Development Mira Murati, left the company just one year later. The great haste and unbridled greed for money was obviously not their cup of tea.

The shining star of Big Money led to ever larger systems that consumed more and more computer power. However, success did not keep up with the initial pace. Now it was time for marketing. The chatbot business had long since developed into a considerable money-burning machine (loss of OpenAI in 2024 admittedly five billion dollars, forecast 2025 nine billion), and because everything was a loan to the super business of the future anyway, gigantic leaps in progress had to be promised. Superintelligence was the obvious choice. In just a few years, the time would come.

In a blog post entitled The gentle Superintelligence from 6 June 2025, Sam Altman imagines a controlled and peaceful development towards superintelligence, no more of the fear-mongering of earlier months, no more of the idea that we all have to walk around with brain implants in order to keep up. No, everything will be fine. Scientists will be two to three times as productive as they are today. The flywheel of economic progress has already been started. Prosperity will increase, ideas and the ability to realise ideas will abound. Robots that can build other robots to do all kinds of work that we no longer need to do are already on the doorstep, so to speak. Expectations will rise, but capabilities will increase just as fast, and we will all get better things. We will build more and more marvellous things for each other. The pace at which these new wonders will be accomplished will be immense. And so on. Altman concludes his plea for building a 'brain for the world' with the mantra:

"May we scale smoothly, exponentially and uneventfully through superintelligence".

A clear message to investors: please keep investing, we can do it.

Social consequences

There is a lot of talk about disruption in connection with artificial intelligence, meaning that AI will turn everything upside down. The industrial revolution of the 19th century was the biggest disruption to date. Within just a few decades, people had enough to eat, enough clothes, a roof over their heads and were finally able to take care of themselves, find out who they were and how they wanted to be. In contrast, the "disruptive changes brought about by artificial intelligence are still quite modest. As a universally applicable technology, AI will touch and somehow change all computer-aided work. Although mass replacement of human labour is a message often spread by management consultancies, it tends to be limited to a few industries. In the heated debate, the effects beyond work tend to be neglected.

Let's take a look at what information technology, especially artificial intelligence, has to do with this:

Descent instead of superintelligence

In the meantime, it seems that the rise of artificial intelligence has come to a standstill. The discrepancy between the promises and the meagre results is becoming too clear. Of course, nobody wants to miss out on how elegantly easy it is to close a knowledge gap with the help of a chatbot, find out the opening time of a restaurant, recommend a recipe with Jerusalem artichokes or find out who first put the theory of black holes into the world.

But the technology is in the process of destroying itself. It is putting fleas in the heads of inexperienced managers about the leaps in productivity they can achieve with agentic AI, it is spoiling the mood of investors because they see no return on investment and it is frustrating ordinary people with deteriorating quality.

There is no recognisable qualitative progress towards artificial intelligence that can keep up with or surpass human intelligence. A misconception of intelligence probably plays an important role here. You can find out more about this in the article Unconsciously into superintelligence.

 

Translated by DeepL, sparsely supervised. Translate: