Superposition
Superposition bezeichnet in neuronalen Netzen das Phänomen, dass ein Netzwerk mehr Features (Merkmale) repräsentiert, als es Neuronen oder Dimensionen hat, indem mehrere Features denselben Aktivierungsraum teilen.
Ausführliche Erklärung
Idealerweise würde jedes Neuron in einem neuronalen Netz für genau ein interpretierbares Merkmal stehen – ein Neuron für „rote Farbe", eines für „Kreisbogen", eines für „Hundenase". Die Realität sieht anders aus: Moderne KI-Modelle, insbesondere große Sprachmodelle, müssen eine enorme Anzahl an Merkmalen verarbeiten, haben aber nur eine begrenzte Anzahl an Neuronen zur Verfügung. Superposition ist die Lösung, die neuronale Netze während des Trainings selbst entwickeln: Sie kodieren viele Features in denselben Neuronen, indem sie diese als Richtungen im hochdimensionalen Aktivierungsraum darstellen. Mehrere Merkmale überlagern sich also in derselben neuronalen Struktur.
Diese „Kompression" funktioniert besonders gut, wenn Features spärlich auftreten – das heißt, wenn nicht alle Merkmale gleichzeitig aktiv sind. Das Netzwerk nutzt die Tatsache, dass bestimmte Konzepte (zum Beispiel „Delfin" oder „Buchhaltung") selten gleichzeitig relevant sind, und legt sie auf fast-orthogonale Richtungen. Das ermöglicht effiziente Informationsspeicherung, erzeugt aber auch Interferenzen: Ein einzelnes Neuron reagiert dann auf mehrere, oft unzusammenhängende Konzepte. Man spricht von polysemantischen Neuronen.
Für KMU ist Superposition relevant, weil sie die Interpretierbarkeit von KI-Systemen erheblich erschwert. Wenn ein Neuron nicht einem einzigen nachvollziehbaren Konzept entspricht, wird es schwieriger, KI-Entscheidungen zu erklären oder Fehlerquellen zu identifizieren. Die Forschung arbeitet an Methoden wie Sparse Autoencodern, um Superposition zu „entwirren" und Features wieder trennbar zu machen – ein wichtiger Schritt für vertrauenswürdige und erklärbare KI im Unternehmenseinsatz.
Praxisbeispiel
Ein österreichischer Versicherungsmakler mit 25 Mitarbeitenden nutzt ein KI-System zur automatischen Risikoeinschätzung von Anträgen. Die KI erkennt hunderte verschiedene Risikomerkmale – von Vorerkrankungen über Wohnort bis zu Freizeitaktivitäten. Intern speichert das Modell diese vielen Merkmale in nur wenigen hundert Neuronen durch Superposition. Das macht das System effizient, aber auch schwerer nachvollziehbar: Ein einzelnes Neuron reagiert auf „Raucher", „Extremsportler" und „Chronische Erkrankungen" gleichzeitig, was die Erklärung einzelner Ablehnungen komplizierter macht.
Code-Beispiel
import torch
import torch.nn as nn
# Vereinfachtes Beispiel: 5 Features in 2 Dimensionen
features = torch.randn(5, 100) # 5 Features, 100 Samples
features = (features > 0.9).float() # Spärlichkeit
# Encoder komprimiert 5 auf 2 Dimensionen
encoder = nn.Linear(5, 2, bias=False)
# Decoder rekonstruiert 5 aus 2
decoder = nn.Linear(2, 5, bias=False)
# Superposition entsteht im Training
embedded = encoder(features.T)
reconstructed = decoder(embedded)
# Mehrere Features teilen sich 2 Dimensionen
print(f"Encoder-Gewichte:\n{encoder.weight}")
# → Features als nicht-orthogonale Richtungen