Das „Gedächtnis“ des Sprachmodells

Wir müssen uns leider nochmals mit dem „Innenleben“ des Sprachmodells befassen. Es „versteht“ rein gar nichts und kann nur rechnen. Deshalb muss es sich mit den Krücken der Mathematik behelfen. Zu seinem Inventar gehört, dass es eine Liste angelegt hat, die für jedes Token des Vokabulars eine ID und den dazu gehörenden Text enthält, die sogenannte Vocab-Tabelle. Sie wird später noch oft gebraucht und deshalb dauerhaft im Speicher des Rechners gehalten. Die Token der kompletten Benutzereingabe bekommen jetzt jedes eine Zahl aus der Vocab-Tabelle verpasst.

Für den Umgang mit den nun in Zahlen verwandelten Token ist die Vektorrechnung sehr hilfreich. Wir können uns eine Vektor als einen Pfeil vorstellen, der auf irgendeinen Punkt im Raum zeigt. Der von einem Sprachmodell benutzte Raum ist etwas komplizierter als der natürliche Raum, in dem wir leben. Er wird oft Semantischer Raum genannt, semantisch deshalb, weil das Modell die Bedeutung seines Inputs irgendwie abbilden will. Leider ist Sprache sehr komplex, und das bedeutet, dass wir mit den uns bekanntendrei Dimensionen Länge, Breite und Höhe nicht auskommen.

Das Sprachmodell verwendet deshalb einen hochdimensionalen Vektorraum. Viele leistungsfähige Modelle protzen mit der Zahl ihrer Dimensionen. Wie schon erwähnt, sind 4096 davon eine gängige Zahl. Das heißt, der Vektorraum des Modells hat dann 4096 Dimensionen, zugegeben etwas jenseits unserer normalen Vorstellung, aber kein Problem für die Mathematik. Sie bildet alle ihre Vektoren einfach in einer Matrix ab. Das stellen wir uns am besten als eine große Tabelle vor, in der jeder Vektor eine Zeile und jede Dimension eine Spalte (oder umgekehrt) ist. Dieses mathematische Ungeheuer nennt sich Token-Embedding-Matrix.

Die Größe dieser Tabelle lässt sich nach der Formel Vokabulargröße x Embedding-Dimension berechnen, für einen Chatbot wie ChatGPT oder Gemini sind das rund 50000 x 4096 = 204.800.000 Werte. Diese Tabelle wird immer im Hauptspeicher des Computers für einen schnellen direkten Zugriff gehalten, denn später muss für jedes einzelne Token der Benutzereingabe in dieser Tabelle nachgesehen werden. Der technische Fortschritt hat uns beschert, dass immer längere Inputs von den Systemen bearbeitet werden können. Und das hat seinen Preis: immer leistungsfähigere Rechner und immer mehr Energieverbrauch werden nötig.

Stellt man die Vektoren durch Pfeile in ihrem semantischen Raum dar, so haben Pfeile, die nahe beieinander liegen, ähnliche Bedeutungen, und zwar umso ähnlicher, je näher sie beieinander liegen. Das Sprachmodell weiß nicht wirklich etwas über den Inhalt der Bedeutungen, sondern hat lediglich Kenntnis über die Beziehung der Token-Vektoren untereinander. Bedeutungen werden also durch Beziehungen erklärt (ausführlicher dargestellt in dem Dokument Verstehen und Bedeutung). Es verhält sich nicht anders, wie in einem klassischenDictionary, in dem ebenfalls die Bedeutung eines Wortes mit anderen Wörtern erklärt wird.

Die Dimensions-Werte in der Token-Embedding-Matrix sind die im Training des Sprachmodells gelernten Parameter, oft auch als Verbindungsgewichte bezeichnet. Sie sagen nichts übder die Bedeutung des Tokens, sondern nur - in zigtausendfacher Ausfertigung - etwas über mögliche Beziehungen der Token zueinander. Wenn Sie das verstehen wollen, dann versuchen Sie, sich vorzustellen, was der Token für die Vorsilbe ver mit dem Token für den Artikel das zu tun hat, betrachtet aus ein paar Tausend verschiedenen Blickwinkeln. In den schönen Vektorraum liegt das, was viel miteinander zu tun hat, nah beeinander und was überhaupt nicht zusammen passt, ganz weit voneinander weg.

Der Bedeutungsvektor eines Token ist nur ein mathematisches Objekt. Und das hat den Vorteil, dass man damit rechnen kann.

Das „Ohr“ des Spachmodells

Kehren wir zurück zur Frage, was mit dem Input einer Benutzerin oder eines Benutzers geschieht, also was das Sprachmodell zu hören bekommt, wenn man etwas von ihm will.

Erster Schritt ist, wie bereits erwähnt, die Tokenisierung: Der Inhalt des gesamten Kontextfensters, also der komplette Input wird in Wortstücke zerhackt. Diese Token-Sequenz trifft nun auf die erste Schicht des Sprachmodells, die Embedding-Schicht mit der Token-Embedding-Tabelle für das Vokabular des Modells.

LookUp

Zweiter Schritt ist das Embedding-Lookup: Für jedes Token des Inputs wird in der Token-Embedding-Tabelle nachgeschaut, welche Werte die Dimensionen des Token haben. Es wird eine neue Matrix, also eine Tabelle erzeugt, in der jedem Token des Inputs aus dem Kontextfenster die aus der Token-Embedding-Matrix gelesenen Werte für die Dimensionen zugewiesen werden. In der Literatur gibt es ein Wirrwarr für die Bezeichnung dieser Matrix (Embedding Output, Input-Embedding oder Imput Embedding Matrix), wir nennen sie einfach Kontext-Matrix. Sie existiert nur temporär im Computersystem, verschwindet wieder, wenn das Benutzeranliegen befriedigt ist und sollte nicht verwechselt werden mit der immer konstanten Token-Embedding-Matrix. Jedes Eingabe-Token hat damit einen Bedeutungs-Vektor, der erst einmal nur die aus dem Training des Systems erworbenen Werte für seine Dimensionen hat und noch so gut wie nichts über seinen Kontekt in der Benutzeranfrage „weiß“.

Mit diesen „abstrakten“ Bedeutungen kennt sich die Statistik mit etablierten Verfahren wie Faktor- oder Clusteranalyse seit langem aus. Man wirft ein paar tausend Variablen in einen Topf, z.B. Eigenschaften von Viren, Polarlicht-Events oder Verhaltensweisen von Menschen, der Mathematik ist das völlig egal. Alle Variablen werden mit allen korreliert. Dann erhält man in der Korrelationsmatrix die gegenseitigen Abhängigkeiten der Variablen voneinender, genauer ihre Koinzidenz, also ein Maß für die Stärke ihres gemeinsamen gleichzeitigen Vorkommen (was leider oft mit Kausalität verwechselt wird). Statistische Verfahren können aus dieser Korrelationsmatrix dann die größten gemeinsamen Dimensionen ermitteln, z.B. wenn Zuneigung, Liebe und Sympathie stark korrelieren, kann man daraus einen gemeinsamen Faktor - rein analytisch - herausdestillieren und ihm einen Namen geben, z.B. Affektivität. Dem statistischen Modell ist die Benennung egal. Für die optische Darstellung der Ergebnisse in einem Vektorraum kann das allerdings sehr nützlich sein (siehe Beispiel ).

In der nun erstellten Kontext-Tabelle haben wir eine Menge sehr abstrakter Informationen über die einzelnen Bedeutungsvektoren des Inputs. Damit die Information über die Position der Token in der Eingabe nicht verloren geht, wird der Bedeutungsvektor noch um eine Positionsinformation ergänzt, das sog. Position-Embedding. Dafür gibt es je nach Modell unterschiedliche Methoden.

Die Technik der Codierung von Positionen lässt sich nicht in ein paar Sätzen erklären. Wer es genauer wissen will, muss unter den Bezeichnungen für gängige Verfahren recherchieren: Klassisch ist die Sinus-/Kosinus-Positionskodierung, später abgelöst durch eigene im Training gelernte Embedding-Tabellen oder relative Positionserkennung, die sich nur für die Abstände eines Token von seinen Nachbarn interessiert. Heutiger Stand der Technik ist das Rotary Positional Embeddings-Veerfahren (RoPE). Das muss uns jetzt nicht weiter interessieren. Wichtig ist nur, dass nun auch zu jedem Token bekannt ist, an welcher Stelle es sich in der Eingabe befindet.

Das Wissen um die Position eines Tokenhilft dem Sprachmodell später dabei, die spezielle Bedeutung eines Token innerhalb seines Kontextes zu ermitteln, zum Beispiel bei Wörtern mit unterschiedlichen Bedeutungen wie das Wort Bank, das bekanntlich ein Geldinstitut oder ein Sitzmöbel bezeichnen kann, je nach Kontext.

Attention Heads

Jede dieser Schichten hat sogenannte Attention Heads. Jeder dieser „Aufmerksamkeitsköpfe“ kümmert sich um jedes einzelne Token der Eingabe und schaut dabei immer auf alle Token des gesamten Inputs.

Der Aufmerksamkeitskopf verfügt über drei Werkzeuge, mathematisch dargestellt als Matrizen, die query (W_Q), key (W_K) und value (W_V) genannt werden. Sie wurden im Training des Modells für jede Schicht „gelernt“.

Die drei Werkzeuge haben unterschiedliche Fähigkeiten. Mit ihnen werden die Kontextvektoren der Benutzereingabe bearbeitet, und sie stellen drei verschiedene Sichten auf jeden Kontextvektor her, die meistens mit Q, K und V bezeichnet werden.

Mathematisch sind das Matrixmultiplikationen für jeden Kontextvektor X mit den drei Werkzeug-Matrizen, heraus kommen die drei linearen Projektionen Q = XW_Q, K = XW_K und V = XW_V.

Da die Kontextvektoren mit der beim Embedding erzeugten Positionsinformation versehen sind, ist dem Modell bekannt, an welcher Stelle im Text bzw. in welcher Nachbarschaft sich der gerade behandelte Token befindet.

In der Query-Projektion für den Kontektvektor befinden sich die Informationen, wonach das Token sucht. Zum Beispiel fragt ein Verb nach einem Subjekt oder Objekt, ein Pronomen nach einer Referenz worauf es sich beziehen kann und ein Adjektiv nach einem Namen oder Subjektiv, das es beschreiben kann. Alles das sind abstrakte Informationen, die sich mit möglichen Beziehungen der Token untereinander beschäftigen und nichts über die inhaltliche Bedeutung sagen.

In der Key-Projektion für den Kontektvektor befinden sich die Informationen, was das Token für andere anzubieten hat, also wofür es gebraucht werden könnte. Es geht nur darum, wofür das Token relevant ist, wenn die Queries anderer Token nach ihm fragen. Das Token könnte zum Beispiel signalisieren, dass es eine Person bezeichnet, sich auf Pronomen beziehen kann, handeln kann oder passiv ist, lebendig oder tot usw.

In der Value-Projektion für den Kontektvektor befinden sich die Informationen, was das Token weitergeben wird, wenn für das Token Aufmerksamkeit entsteht. Das können semantische Beschreibungen, grammatische Rollen und allmögliche inhaltliche Details sein, alle möglichen Aspekte, die das Token in seinem Training „gelernt“ hat.

Query, Key und Value am Beispiel des Satzes Die Bank steht am Ufer zeigen

Was wichtig ist: Die Bewertung

Nun folgt der für den Erfolg der Sprachmodelle so entscheidende Schritt: die Aufmersamkeitsbewertung.

Die Query-Key-Paare verschiedner Vektorsichten verhalten sich wie Schloss und Schlüssel. Zu den Query-Vektoren werden jetzt die passenden Keys gesucht. Dazu wird die Query eines Token mit den Keys aller Token verglichen, einschließlich mit sich selbst. Dann wird eine Rangliste gebildet, was am besten zusammenpasst. Das Ergebnis ist eine mit den Query-Key-Vergleichwerten gewichtete und mit Hilfe eines besonderen Verfahrens, der Softmax-Funktion auf eine 100-Prozent-Summe normierte Aufmerksamkeitsverteilung. Jedes Token ist nun im Bilde, wie stark er auf die anderen Token achten muss (einschließlich auf sich selbst).

Die Aggregation

Nun erfolgt die inhaltliche Aggregation. Für jeden Token des Inputs haben wir den Aufmerksamkeitswert für alle anderen Token des Inputs. Jetzt wird es damit versorgt, wofür es am stärksten aufmerksam war, wofür es am stärksten aufmerksam war, genauer: Es erhält die mit den Aufmerksamkeitswerten gewichteten Value-Werte der anderen Token. Mathematisch betrachtet entsteht ein neuer Vektor für jedes Token, der nun endlich auch den Namen Kontextvektor verdient, denn er ist mit Informationen aus seinem Kontext vollgestopft, genauer: Er enthält entsprechend ihrer Relevanz gewichtete Informationen von anderen Token. Die in der Regel 4096 Vektor-Dimensionen bieten genug Platz dafür. Die neue Bedeutung für das aktuelle Token ist nun so bearbeitet, dass sie die Bedeutung seines Kontextes, gewichtet mit der errechneten Aufmerksamkeit, berücksichtigt.

Mathematisch beschrieben spielt sich Folgendes ab: Die Matrizen der Query-Vektoren (Q) und Key-Vektoren (K) werden skalar multipliziert . Jedes Element S_ij dieser Score-Matrix bedeutet die Relevanz des Token j für den Token i. Die Werte werden nun skaliert. Das erfolgt durch Division jedes Matrixelements mit der Quadratwurzel aus der Dimensionszahl des Modells, Quadratwurzel deshalb, um die Größenunterschiede etwas zu harmonisieren. Dann erfolgt die Normierung mit Hilfe der Softmax-Funktion. Die Elemente A_ij stellen die Aufmerksamkeitsgewichte dar, mit der das Token i auf das Token j achtet. Das Vektorprodukt Z = AV ist das Ergebnis, die neue Kontextmatrix mit den veränderten Bedeutungsvektoren für alle Token.

Es gibt noch ein paar zusätzliche Regeln, zum Beispiel, dass die Token der letzten Abschnitte stärker zu beachten sind und dass bestimmte Direktiven bleibend hohe Aufmerksamkeit erhalten, egal an welcher Stelle sie im Input standen (z.B. antworte in deutscher Sprache), aber das ist nicht spielentscheidend.

Der neue Bedeutungsvektor bewegt sich also nicht mehr in exakt denselben Dimensionen mit denselben Werten wie der alte Bedeutungsvektor, sondern hat von den anderen Token des Inputs je nach Wichtigkeit etwas abbekommen. Wenn es sich beispielsweise um den Token Bank handelt, dürfte jetzt aus dem Kontext klar hervorgehen, ob eine Sparkasse, eine Parkbank oder eine Sandbank gemeint ist. In der nächsten Verarbeitungsschicht des Sprachmodells würde der neu zu bildende Value-Vektor dann deutlich anders aussehen als bisher und möglicherweise seine Mehrdeutigkeit bereits komplett verloren haben.

Wenn man sich das Spiel geometrisch vorstellt, so ist der neue Kontextvektor eine Verschiebung des alten Bedeutungsvektors und zeigt jetzt auf einen Punkt in diesem künstlichen hochdimensionalen Vektorraum, der etwas näher an den Orten anderer relevanter Vektoren und weiter weg von den Orten irrelevanter anderer Vektoren liegt. Dabei ist die mit Hilfe des Aufmerksamkeitsalgorithmus gemessene Aufmerksamkeit das Maß für Relevanz. Das System „versteht“ überhapt nicht die Bedeutung der bearbeiteten Wörter, hat buchstäblich davon keine Ahnung, sondern rechnet nur mit den Beziehungen der Bedeutungsvektoren untereinander.

Die Abläufe wurden wegen der besseren Erklärbarkeit bisher sequenziell geschildert, laufen aber im Inneren des Sprachmodells alle gleichzeitig ab. Das ist der Vorteil der Vektorrechnung bei der Matrixmultiplikation: Alles passiert zeitgleich, auf einen Schlag. Es ist also ob mit einem Blick weit zurück geschaut werden kann (bis an den Anfang des Inputs), sozusagen in die Vergangenheit, und - wie wir noch sehen werden - auch gleichzeitig weit nach vorne.

Die Bedeutungsvektoren der einzelnen Token wurden ja bereits im Embedding mit den „Erfahrungen“ des Sprachmodells aus seinem Training aufgetankt, buchstäblich mit aller Klugheit und Blödheit infiziert, die sich in den Trainingsdaten befindet. Die Arbeit des Aufmerksamkeitsmechanismus ergänzt dieses „Wissen“ mit Informationen aus dem Kontext des Benutzer-Inputs.

Die mathematische Formel für die doch recht komplexen Vorgänge schaut ziemlich einfach und elegant aus, wen es interessiert, bitte Erklärung zeigen klicken.

Übersicht: Die Aufmerksamkeitsformel

Q steht für die Query-Matrix, K für die Key-Matrix und V für die Value-Matrix einer Modellschicht. Die hochgestellte Zahl T für das Symbol K bedeutet, dass die Key-Matrix transponiert ist, damit ein Skalarprodukt gebildet werden kann. Im einzelnen: QKT bedeutet: Jede query-Anfrage aus Q wird mit allen key-Angeboten aus der Matrix K verglichen. Dies geschieht durch Vektrormultiplikation. Wenn dabei hohe Zahlen entstehen, wird dies als hohe Ähnlichkeit interpretiert. Die Softmax-Operation normiert alle Elemente der Q x KT-Multiplikation, so dass deren Summe die Zahl 1 ergibt. Dadurch entsteht eine Wahrscheinlichkeitsverteilung. Nun wird jeder Wert der Value-Matrix mit dem für ihn errechneten Ähnlichkeits- bzw. Aufmerksamkeitswert multipliziert. Dies soll bewirken, dass „wichtige“ Informationen verstärkt und „unwichtige“ Informationen abgeschwächt werden. Betrachten wir den Beispielsatz Die Bank steht am Ufer und schauen auf das Wort steht: Die Anwendung der Aufmerksamkeitsformel hat zum Beispiel ergeben, dass steht eine sehr hohe Aufmerksamkeit für Bank und eine nicht so hohe für Ufer, aber eine geringe Aufmerksamkeit für sich selbst (steht) erhalten hat, zum Beispiel: Bank (0.5), steht (0.1) und Ufer (0.4). Der neue Vektor für das Wort steht enthält nun nicht mehr nur die abstrakte Information des Stehens, sondern ist angereichert mit der Information, wer stehen könnte und wo das Stehen stattfinden könnte. dkin der obigen Formel steht für die Dimensionszahl der einzelnen Matrizen. Dass in der obigen Formel durch die Wurzel dieser Dimensionszahl und nicht durch sie selbst geteilt wird, gehört zu den mathematischen Tricks der Erfinder des Aufmerksamkeits-Algorithmus und soll die Überbetonung hoher Aufmerksamkeitswerte dämpfen. verbergen

Sparsamer Umgang mit Rechenpower

Die Arbeit mit mehreren Aufmerksamkeitsköpfen spart Rechenpower. In den neueren Modellen mit einer hohen Dimension zum Beispiel d_model = 4096 für den Vektorraum des Gesamtmodells haben die einzelnen Matrizen (Q,K und V) nur einen Bruchteil der Dimension des Modells, berechnet nach der Formel d_k = d_model dividiert durch die Anzahl der Köpfe. Bei acht Köpfen sind das dann nur noch 512 Dimensionen, immer noch viel Platz, um Informationen unterzubringen. Man will herausgefunden haben, dass auf diese Weise keine oder kaum wesentliche Information verloren geht.

Praktische Erfahrungen

Dass man die Wahrscheinlichkeitswerte vor ihrer Normierung nicht einfach durch die Diemesionsazahl d_k teilt, sondern durch die Wurzel ist eine rein statistische Entscheidung der Entwickler (Vaswani et al. in dem berühmten Google-Paper Attention is all you need aus dem Jahr 2017). Denn bei sehr hohen Werten wird die Softmax-Funktion, mit der alles normiert wird, extrem „steil“, d.h. ein einzelner hoher Wert bekommt fast 100 Prozent der Aufmerksamkeit, während alle anderen fast nichts mehr abbekommen und ihre Werte gegen Null gehen. Dies würde zu stark verzerrten Informationen führen und wäre schon für das Lernen des Modells bei seinem Training hinderlich gewesen und jetzt erst recht bei der Suche nach einer Antwort auf die Benutzereingabe.

Damit die ursprünglichen Bedeutungen der einzelnen Token nicht durch die beschriebenen beachtlichen Manipulationen verloren gehen, wird ein weiterer Trick angewendet, die Residual Connections. Der neu erzeugte Kontextvektor wird einfach an die bisherige Kette der Token-Vektoren hinten dran gehängt, nach der Formel

Neues Output = alte Eingabe + Ergebnis von Attention(Q,K,V).

Dadurch wird verhindert, dass das Modell ursprüngliche Bedeutungen „vergisst“. Selbst wenn die Anwendung der Attention-Formeln zu gar keinem Ergebnis führen würde, bleibt die ursprüngliche Information erhalten (dafür gibt es auch noch einen Fachjargon, und der heißt Skip-Connections).

Mixture of Experts

Es ist das Verdienst von DeepSeek, die US-amerikanische Konkurrenz aufgeschreckt zu haben und sie veranlasst zu haben, schleunigst nachzuziehen: Gemeint ist das Konzept Mixture of Experts (MoE). Die Idee besteht darin, das eine FFN jeder Schicht des Sprachmodells durch bis zu acht kleinere Feed-Forward-Netze zu ersetzen, die auf verschiedene Fachgebiete spezialisiert sind, sogenannte Experten. Ein kleines Gating-Netzwerk übernimmt dabei eine Router-Funktion und entscheidet pro Token, welche zwei dieser FFN-Experten gerade rechnen dürfen, die anderen FFN haben derweil Pause. Dies spart Ressourcen ohne nennenswerten Qualitätsverlust.

Am Ende der Schicht

Die Nachbereitung durch das Feed Forward-Netz hat dafür gesorgt,

• dass Mehrdeutigkeiten aufgehoben oder zumindest abgebaut wurden,
• dass die Input-Token mit aus dem Training des Systems gelernten Attributen angereichert wurden und
• dass das Modell für ebenfalls aus dem Training gelernte Vorhersagen, wie es weitergehen könnte, vorbereitet wurde.

So ist ausgeschlossen, dass das System die Sitzbank am Ufer aus dem obigen Beispiel Kredite anbieten lässt. Sollte das trotzdem vorkommen, nennt man das Halluzination.

In der Praxis laufen die Aufmerksamkeitsvorgänge ohnehin nicht wie hier geschildert für jedes Token einzeln ab, sondern sie werden sozusagen gestapelt und dann gebündelt verarbeitet. Dies geschieht hauptsächlich aus Performance-Gründen, denn die Spezialchips der KI-Computer sind besonders leistungsstark in der blitzschnellen Verarbeitung großer Matrizen. Statt unzähliger einzelner Rechenoperationen hat der Computer auf diese Weise immer nur mit einem Vorgang zu tun.

Die Grundausstattung

Die nun folgende allerletzte Schicht des Sprachmodells ist die Ausgabeschicht. Sie kümmert sich nicht mehr um Aufmerksamkeiten, sondern hat die Aufgabe, das mathematischeVektor- Konstrukt zurück in Sprache zu verwandeln. Sie verfügt über eine Output-Matrix, auch De-Embedding oder LM-Head genannt. Sie ist das Gegenstück zur Token-Embedding-Matrix ganz am Anfang des Sprachmodells. Während die Token-Embedding-Matrix für jedes Token des Vokabulars nur die Werte für die Koordinaten im hochdiemensionalen semantischen Raum enthält, stellen die Werte der Token der Output-Matrix dar, wie ein interner Zustand in den Dimensionen des Modells aussehen muss, damit der Token (also die ihm zugeordnete Zeichenfolge) gemeint ist. Das ist nicht deterministisch in dem Sinne, dass ein Token genau das ist, was in seinen Dimensionswerten steht. Sie geben eher eine Auskunft darüber, für welche Werte im Semantischen Vektorraum sie stark wählbar sind. Die Wertebeider Matrizen (Input-Embedding- und Output-Matrix) müssen nicht unbedingt verschieden sein, ihre Funktion ist eine andere. Die Embedding-Matrix ist für das Lesen eines Token-Vektors, die Output-Matrix eine Prüfung, wie gut innere Zustandswerte eines Vektors zu einer Token-Repräsentation passen. Die Embedding-Dimensionswerte beschreiben, wie ein Token im Modell verortet ist, die Output-Dimensionswerte beschreiben, auf welche internen Zustände dieses Token anspringt.

Diese Werte haben nichts mit der Bedeutung der Token zu tun, sondern beschreiben nur ihre Verbindungsmöglichkeiten untereinander, im Sinne was passt bei welchen Konstellationen von Kontextmerkmalen zu dem Token wie gut, sodass er bevorzugt ausgewählt werden könnte. Die Dimensionen beschreiben auch nur aus der Statistik des Trainings gelernte Beziehungen wie

Den Dimensionen Namen zu geben, ist reine Willkür, sie beschreiben lediglich Wahrscheinlichkeitswerte für passende Beziehungen, die durch Statistik gefunden wurden. Die Output-Tabelle liefert also nur Informationen über Bedingungen, wie gut der betroffene Token als passende sprachliche Fortsetzung geeignet ist.

Die Suche nach dem ersten Wort

Jetzt trifft die Konzextvektor-Matrix auf die Output-Matrix. Das wird eine Matrixmultiplikation - ein Freudenfest für die Mathematik, denn das können die Rechner blendend gut. Doch schauen wir uns an, was hier passiert:

Jetzt haben wir das eigentliche Sprachmodell verlasssen und sind in der Ausgabeschicht gelandet, und die liegt in der Herrschaftszone des Decoders.

Der lange Weg eines Token durch das Sprachmodell
Stat drei können es auch hundert hidden layer sein

Das Modell greift sich den Kontext-Vektor des letzten Token der Benutzereingabe und konfrontiert ihn mit der Output-Matrix. Das bedeutet, der Kontextvektor des letzten Token wird mit jedem einzelnen Token des Vokabulars abgeglichen, so als ob er fragen könnte: Wer passt am besten zu mir. Das Ergebnis dieser Begegnung (einer skalaren Vektormultiplikation) ist eine lange Liste von Zahlen, die sogenannten Logits.

Der nächste Schritt ist die Umwandlung dieser buckligen Zahlen in eine Wahrscheinlichkeitsverteilung. Dazu dient wieder einmal die schon vom Aufmerksamkeitsalgorithmus bekannte Softmax-Funktion.

Die Softmax-Funktion

Zur Erinnerung: Die Softmax-Funktion berechnet aus einer Liste von Zahlen eine Wahrscheinlichkeitsverteilung in Form von gewichteten Prozentanteilen, bei denen jede Zahl im Vergleich zu allen anderen bewertet wird und die größte Zahl sowie die absoluten Werte der Zahlenabstände überproportional stark gewichtet sind. Die Summe der berechneten Zahlen ist immer 1, entsprechend 100 Prozent.

Sie ermittelt über das ganze Vokabular hinweg die Wahrscheinlichkeiten dafür, wie gut das jeweilige Wort für die nächste Fortsetzung des (bisher erzeugten) Antworttextes passt. „Passen“ meint hier sprachlich anschlussfähig, statistisch plausibel und konsistent mit dem bisherigen Text (im Sinne von typisch für ähnliche Texte aus dem Training des Systems). Beim ersten Wort ist der bisherige Text nur das Benutzer-Prompt (oder ein spezielles Start-Token). Noch ist nichts entschieden.

Die Auswahlentscheidung

Der Decoder wendet ein Auswahlverfahren an. Dazu gibt es mehrere Möglichkeiten:

Ausgewählt wird nur ein Token, das kann ein Wort, Wortteil, ein Satzzeichen oder bloß ein Leerzeichen sein. Der Token kann nun auf dem Bildschirm erscheinen. Das System hat noch keine Ahnung, wie es weitergeht, sein Blick in die Zukunft hat genau ein Token weit gereicht.

Bevor das Modell eine Entscheidung trifft, kann es, abhängig vom Modell, noch weitere Parameter berücksichtigen, zum Beispiel die Stimmung oder Wort-Temperatur.

Was da alles geht, hat ChatGPT mit seinen Versionen ab 5.1 auf die Spitze getrieben, mit Auswahlmöglichkeiten für den Stil und Tonfall der Antworten wie standard, professional, freundlich, aufrichtig, skurril, effizient, nerdig oder zynisch, und damit nicht genug, noch drei Stufen für herzlich, enthusiastisch, ob mehr Energie und Begeisterung gefragt ist oder ob man es ruhiger angehen will.

Technisch wird das umgesetzt durch das Sampling, eine Behandlung mit Zahlenwerte auf einer Temperatur-Skala, wobei niedrige Werte (0.1 bis 0.5) eher einen logisch-sachlichen Ton bedeuten, Werte zwischen 0.5 und 1 für SweetSpot stehen, eine Mischung aus präzise und natürlich und hohe Werte für angebliche Kreativität (1.0 - 1.5) oder was immer die Entwickler sich ausgedacht haben. Die mit hohem Aufwand errechnete Logit-Zahl wird einfach durch den beschriebenen Faktor geteilt.

Wenn das alles geschehen ist, wird die Softmax-Funktion angewendet und macht wie beschrieben aus den Logit-Zahlen Prozentwerte für eine Wahrscheinlichkeitsverteilung, die jetzt anders ausfällt als ohne dieses Sampling.

Was das bedeutet, sollten wir uns an einem Beispiel klarmachen: Nehmen wir an, in einer Frage nach einem Kochrezept-Vorschlag hat das System für eine Zutat die Logit-Zahlen 15.4 für Risotto, 12.1 für Reis und 4.2 für Rigatoni gefunden. Nehmen wir weiter an, das Modell hat uns eine niedrige Sprach-Temperatur von 0.2 beschert, für sehr sachliche Darstellung. Dann errechnet das System nach Division der genannten Zahlen durch 0.2 für Risotto einen Wert von 77.0, für Reis 60.5 und für Rigatoni 21.0 aus. Die absoluten Abstände der Zahlen sind hoch.

Im zweiten Fall nehmen wir an, wir hätten eine enthusiastische, kreative Sprach-Temperatur gewählt oder was immer das Marketing des Chatbot-Anbieter sich ausgedacht hat, mit einem Wert von 1.5. Dann erhalten wir nach Division der Logit-Zahlen durch 1.5 für Risotto 10.3, für Reis 8.1 und für Rigatoni 1.3. Jetzt fällt der Abstand der Zahlenrelativ klein aus.

Wenn das Sprachmodell jetzt die Softmax-Funktion für die errechneten Zahlen anwendet, könnte es - grob geschätzt - im ersten Fall eine Wahrscheinlichkeitsverteilung von 90 Prozent für Risotto und weniger als 1 Prozent für Rigatoni berechnen, im zweiten Fall mit den geringeren Abständen der Logit-Zahlen eine Wahrscheinlichkeitsverteilung für Risotto von nur noch 40 Prozent und für Rigatoni von 10 Prozent. Rigatoni haben nun die Chance von 1 zu 10, für das Gericht ausgewählt zu werden, im ersten Fall waren die Chancen schlechter als 1 zu 100.

Die Softmax-Funktion hat uns nun die Wahrscheinlichkeitsverteilung für jedes Token geliefert. Bei einer Wort-Temperatur von 0 wird immer das Wort mit der höchsten Wahrscheinlichkeit gewählt (im obigen Beispiel Risotto), in anderen Fällen erfolgt ein stochastisches Sampling: Nach dem Prinzip einer gewichteten Zufallssteuerung tifft das System, durch einen Zufallsgenerator gesteuert, eine Auswahl entsprechend der berechneten Wahrscheinlichkeiten.

Diese Architekturentscheidung wurde aus Erfahrung getroffen. Wenn immer der Wert mit der höchsten Wahrscheinlichkeit gewählt wird, neigt das System dazu, in logische Schleifen zu geraten und Sätze ständig zu wiederholen (sog. Greedy Decoding). Das Sampling dagegen bewirkt, dass die Sprache einen menschlicheren Charakter erhält, so sagen die Entwickler, nicht so roboterhaft wirkt und ein kleines Momentum von Unvorhergesehenheit vortäuschen kann.

Die nächsten Wörter

Um weiter fortzufahren, wendet das Modell jetzt einen wichtigen Trick an: Es setzt den gefundenen Token (geneuer: seinen Vektorwert) an das Ende des Benutzereingabe und startet die ganze Prozedur von neuem. So muss das Modell erneut suchen, die ganze bisherige Sequenz wieder von vorne starten durch alle Schichten des Modells, um herauszufinden, mit welchem Token die Präsentation des Ergebnisses fortgesetzt werden soll.

Technisch läuft das etwas anders ab, denn es wäre viel zu teuer und vor allem viel zu langsam, für jedes neue Wort den ganzen Text von Anfang an neu zu berechnen. Deshalb nutzt das Modell einen speziellen Speicher für die bereits errechneten Ergebnisse, den Key-Value-Cache. Die Berechnungen für die alten Token (ihre Keys und Values aus der Attention-Schicht) werden in diesem Arbeitsspeicher auf besonders geeigneten Grafikkarten zwischengespeichert. Für das nächste Wort muss das Modell also nur noch einen neuen Query-Vektor berechnen und ihn mit den bereits gespeicherten Keys der alten Wörter vergleichen. Für alle vorangegangenen Schritte werden die gespeicherten Ergebnisse verwendet.

Außerdem achtet das Modell auf besondere Token, die ein Satz- und Absatzende bedeuten und sorgt durch eine interne Regel für die Attention Heads dafür, dass die Hauptaufmerksamkeit bei den letzten Absätzen liegt und der vorangegangene Text nur noch eine geringere Aufmerksamkeit erhält. Erfahrungsgesteuert werden bestimmte Benutzeranweisungen abweichend behandelt, z.B. Vergiss den bisherigen Kontext oder Antworte nur auf Deutsch.

Die meisten Modelle haben eine Größenbeschränkung ihres Kontextfensters (Benutzer-Prompt plus bisherige Frage-Antwort-Historie plus Systemanweisungen plus eventuelle weitere Informationen aus Internetsuche oder anderen Quellen). Stößt ein Sprachmodell an diese Grenze, kann es die Anfänge der Benutzereingabe kürzen, in der Annahme. dass sie keinen großen Einfluss mehr auf die Ausgabe haben.

Magische Momente

Manchmal kann man auf dem Bildschirm beobachten, wie Wörter verschwinden oder ganze Textteile abgebrochen und neu geschrieben werden. Auch wenn das aussieht wie von Zauberhand geschrieben, beruht das nicht auf Irrtümern des Sprachmodells. Das Modell produziert wie gehabt einfach Token auf Token für die Ausgabe.

Wenn Texte kurz erscheinen und dann wieder verschwinden, liegt es daran, dass die Token zwar berechnet, aber noch nicht bestätigt wurden. Wenn ganze Texte verschwinden oder abgebrochen werden, hat meistens ein interner Kontrollmechanismus des Decoders eingegriffen. Einige davon haben wir schon kennengelernt, den Temperatur-Mechanismus, das Top-k- oder Top-p-Verfahren, das nur die höchsten der wahrscheinlichen Möglichkeiten zulässt. Zusätzlich verfügt der Decoder über Belohnungs- und Bestrafungsmechanismen, die dafür sorgen, dass Wörter sich nicht mehrfach wiederholen und Alternativen berücksichtigt werden, wenn die Wörter bzw. Token für den eigentlichen Kandidaten sich zu oft wiederholt haben.

Externe Kontrollmechanismen, die außerhalb des eigentlichen Sprachmodells verankert sind, können veranlassen, bestimmte Wörter zu unterdrücken oder zu bevorzugen; „problematische“ Ausgaben werden blockiert, umformuliert, ersetzt oder abgebrochen. Ein paar harte Regeln entscheiden z.B. dass bestimmte Wörter in bestimmten Kontexten schlicht verboten sind. Natürlich gibt es auch Längen-, Zeit- und Kostenkontrollen (maximale Tokenzahl, Zeitlimit, Budgetgrenze bei Bezahlversionen) sowie demnächst vermehrt Mechanismen für die Einblendung von Werbung. Weiterhin besteht der Verdacht, dass bei bestimmten Fragen nach speziellen Angelegenheiten main-stream-konforme Antworten eingeblendet werden, auch wenn man danach nicht gefragt hat, zum Beispiel bei Nachfragen zu belastbaren Studien über Corona-Impfschäden oder bei Fragen zu Details chinesischer Landkarten (siehe Beispiel).

Das Ende der Antwort

Bleibt noch zu klären, wie ein Chatbot feststellt, dass er aufhören soll. Das Vokabular des Sprachmodells kennt auch Token für das Ende der Antwort (<eos> für end of sequence) und bricht ab, wenn die Wahrscheinlichkeiten für eine Fortsetzung geringer erscheinen wie die Wahl des Abschluss-Token. Das Ende wird also nach demselben Wahrscheinlichkeitsspiel gefunden wie jedes andere Token. Natürlich hört jedes Sprachmodell auch auf, wenn eine andere externe Regel des Decoders dafür sorgt.

Bildverarbeitung

Im bisherigen Text haben wir uns darauf konzentriert, die Leistungen der Künstlichen Intelligenz am Beispiel des Umgangs mit Sprache deutlich zu machen. Was wir dabei beschrieben haben, war eine Mixtur von Mustererkennung, Statistik und Wahrscheinlichkeitsrechnung. Wir haben gesehen, wie gut das mit Sprache funktioniert. Doch es funktioniert genauso gut mit Bildern. Nur sind die Token jetzt keine Wortbestandteile, sondern kleine künstlich erzeugte Bild-Fragmente. Ein Bild wird in kleinste flach gemachte Pixel-Quadrate (16x16 Pixel) zerlegt und jedes davon zu einem Patch-Embedding-Vektor transformiert, mit einem Aufmerksamkeits-Mechanismus bearbeitet, und alles geht so ähnlich weiter, wie geschildert. Details wären ein Thema für sich.

Die Erfolge KI-gesteuerter Bildverarbeitung sind erstaunlich bis verstörend, wie ihr Missbrauch als Fakes inzwischen sogar Politiker wachgerüttelt hat. Programme wie Midjourney, Dall-E, Sora von OpenAI, NanoBanana von Google oder das momentane Shooting-Star-Produkt Flux des Freiburger Start-up Black Forest Labs, nicht zu vergessen auch Photoshop und Lightroom von Adobe sowie zahlreiche kleinere Helfer-Programme sind als Handwerkszeug von Grafikern nicht mehr wegzudenken und machen sich in vielen Anwendungsbereichen breit, ähnlich wie die Chatbots. Und ganz ähnlich wie mit der Bildbearbeitung verhält es sich mit Video- und Tonbearbeitung. Sprache, Bild und Ton, einmal digitalisiert, sind das gleiche Futter für Mustererkennung und Aufmerksamkeits-Algorithmen. Der Fortschritt ist so galoppierend, dass es für einen Full-Time-Job reichen würde, um überhaupt mitzubekommen, was alles Neues geschieht.

Kombination mit Workflows

Unternehmensberatungen werden nicht müde, Kosteneinsparungen und Abbau von Arbeitsplätzen als Vorteile des KI-Einsatzes zu preisen, womit wir bei der Agentic KI wären, der Verbindung Künstlicher Intelligenz mit elektronischen Workflows. Solange es sich dabei um einen Arbeitsvorgang handelte, den ein Chatbot ausführen sol, war das kein Aufreger. Geändert hat sich das mit mehrstufigen Agentensystemen. Wer um den Erhalt der Arbeisplätze besorgt ist, kann sich bisher damit trösten, dass neun von zehn Angebote zu dieser bahnbrechenden Technik ziemlich heiße Luft sind, doch es ist beachtliche Bewegung in der Szene.

Was die KI-Technik kann

Das Hervorstechendste aus meiner Sicht ist die Macht der Mustererkennung in Kombination mit miniaturisierbarer Technik bis zur Unsichtbarkeit, einbaubar in schier alles, was sich nicht wehrt, verbindbar mit fast allem, was high-level-digitalisiert ist. Das reicht als Stimulus für grenzenlose Phantasien. Die spannende Frage: Wollen wir das alles? Und: Wer trifft die Entscheidungen?

Was die KI-Technik nicht kann

Was Intelligenz mit Bewusstsein zu tun hat, ist nicht geklärt, insbesondere nicht, ob es Bewusstsein ohne Intelligenz gibt und umgekehrt. Wenn wir den riesigen Aufwand betrachten, den ein Sprachmodell bei der Beantwortung eines Benutzeranliegens treibt, fällt Folgendes auf:

• Digitalisierung ist Voraussetzung. Nur Digitalisiertes ist verarbeitbar. Aber Vorsicht: Die Simulation von nicht Digitalem ist digitalisierbar, zum Beispiel Emotionen. Inwieweit auch Bewusstsein simulierbar ist, bleibt noch offen.
• Keine autonome Wahrnehmung. KI-Systeme können sich kein Input autonom beschaffen. Sie sind auf Präsentation durch Instanzen außerhalb ihrer selbst angewiesen. Sie können sich nur auf der Grundlage programmierter Instruktionen ein Input verschaffen.
• Keine autonomen Entscheidungen. KI-Systeme haben die Fähigkeit, Wahrscheinlichkeiten für alles und jedes zu bestimmen, wenn es digitalisiert ist. Auswahlentscheidungen zwischen ermittelten Wahrscheinlichkeiten können nur gesteuert durch Algorithmen getroffen werden, einschließlich Zufallsentscheidungen.
• Die Qualität der verfügbaren Daten setzt Grenzen. Mustererkennung ist nur so gut wie die Muster. Bisher nicht gesehene Muster erwecken die Illusion von Kreativität. Vorhersagen der Sprachmodelle beruhen auf bereits Vorhandemem. Was neu ist, beschränkt sich auf Kombinationen von bereits Vorhandenem oder digitalisiertem Dagewesenem.
• Riesiger Ressourcenhunger setzt Grenzen. Die Leistungen der Sprachmodelle und vergleichbarer Systeme waren nur möglich auf der Basis von Big Data und Big Money. Ihre weitere Ausdehnung und Ausbreitung ist eng an ressourcensparende technische Entwicklungen gebunden.

Diese Einschränkungen setzen den Phantasien einer künstlichen Superintelligenz so enge Grenzen, dass man von super nicht mehr reden sollte.

Nachdenktipp: zeigen

Anil Seth

Die Theorie von Wahrnehmung als kontrollierte Halluzination des britischen Kognitionswissenschaftlers Anil Seth kommt dem am nächsten, was ein Sprachmodell der Künstlichen Intelligenz tut: Es arbeitet mit Aufmerksamkeit und Wahrnehmung als kontrolllierte Auswahl aus Wahrscheinlichkeiten, und es halluziniert ständig.

Technikimmanentes Manipulationspotenzial

Die Antworten der Sprachmodelle sind nicht „wertneutral“. Wenn man sich den Prozess der Antworterstellung eines Chatbots ansieht, gibt es mehrere Stellen, die für eine Manipulation Angriffsflächen bieten:

So wird deutlich, von welch unsicheren Einflussfaktoren viele Chatbot-Ergebnisse abhängen und wie verschwindend gering die Chancen für eine wirksame Kontrolle sind. Wer den main stream der Meinungsbildung beeinflussen will, findet hier viele Ansatzpunkte, womit wir wieder bei der Frage sind, wer die Verfügungsgewalt über die Technik hat.

Es ist eine gründliche Untersuchung wert, die in der Technik der Sprachmodelle liegenden Verzerrungsmöglichkeiten zu untersuchen. In der auf das Phänomen der Halluzinationen fokussierten öffentlichen Diskussion spielen diese Störungen eine kaum beachtete Rolle.

Machtkonzentrationen

Die US-amerikanischen HighTech-Konzerne setzen die Rahmenbedingungen der Digitalität. Ihre Cloud-Dienste werden zum Back End von immer mehr Infrastrukturbereichen wie Telekomunikation, soziale Dienste und das Finanzwesen. Längst schicken sie sich an, auch das Front End zu übernehmen, denn mit ihren Apps darf man bezahlen, und die Banken dürfen die Transaktionen abwickeln - noch, bis die Hyperscaler deren Geschäft auch übernommen haben. Wer die Macht hat, bestimmt die Regeln. Das Gefährliche daran ist die Unsichtbarkeit: Alles geschieht ohne unsere Zustimmung, per Update oder geänderter Voreinstellungen, schleichend.

Die High-Tech-Konzerne haben die Schlüsseltechniken der Kommunikation in der Hand. Ihre Systeme sind ihr Privateigentum. Wir haben die Manipulationsmöglichkeiten beschrieben einschließlich der mit den bekannten Bordmitteln der institutionellen Bürokratie nicht mehr möglichen Kontrolle.

Außerhalb der USA ist dünnes Eis in der westlichen Welt, von Russland dürfen wir nichts wissen, China geht seine eigenen Wege. Unsere Politiker reden von digitaler Souveränität und schauen zu, wie Google mit Milliardensummen mitten in unserem Land das größte Machtzentrum einer digitalen Cloud-Infrastruktur baut und lassen mit US-Amerikas Spitzentechnologie von Palantir ihre Bürger beobachten, so betrieben von einer schon beachtlichen Zahl von Bundesländern für ihre Polizeidienste.

Wenn selbsternannte Eliten aus der HighTech-Szene mit ein paar handverlesenen Politikern in ihrer Rolle als persönliche Akteure und den von ihnen bestimmten young global leaders à la World Economic Forum meinen, anhand des Versagens nationaler Staaten debattieren zu müssen, was die Welt braucht, signalisiert das die faktische Ohnmacht, dem Recht des Stärkeren noch etwas entgegenzusetzen. Das Wort Manipulation verliert vor diesem Hintergrund seine Bedeutung.