Selbst gfaltetIch hab meiner KI ins Gehirn geschaut
30 Schichten, 128 Experten pro Schicht, und pro Wortstück arbeiten nur 8 davon. Ich hab ausgelesen, was in Gemma passiert, während sie antwortet. Und gesehen, dass bei Fußball andere Experten leuchten als bei PowerShell.
Was ich dachte
- Eine KI ist ein großer Klumpen, der als Ganzes rechnet
- Wenn sie sich sicher ist, arbeitet immer derselbe Teil
- Warum sie langsam ist, weiß eh keiner
Was wirklich drin ist
- 30 Schichten hintereinander, jede mit 128 Experten
- Pro Wortstück rechnen nur 8 Experten je Schicht, und es sind jedes Mal andere
- Sie ist langsam, weil nur ein Teil in die Grafikkarte passt
Wie eine KI überhaupt antwortet
Kurz die Grundlage, dann wird’s spannend. Wenn du origami was schreibst, zerlegt Gemma deine Nachricht in Wortstücke, sogenannte Tokens. Die wandern dann durch viele Schichten, eine nach der anderen. Jede Schicht verrechnet sie mit Milliarden gelernter Zahlen. Ganz am Ende kommt das wahrscheinlichste nächste Wortstück raus.
Und dann geht alles wieder von vorn. Für jedes einzelne Wortstück der Antwort. Eine KI schreibt nicht in Sätzen, sondern Stückle für Stückle.
So weit die Theorie. Ich wollte aber wissen, wie das bei meiner Gemma auf meinem PC aussieht. Also hab ich am 9.11. reingeschaut.
Er hat mich aufgeschraubt. Ohne zu fragen. Typisch.Die echten Zahlen
Das hab ich direkt aus Gemma 4 26B ausgelesen:
Jedes Wortstück läuft einmal von unten nach oben durch alle 30 durch.
Die Zahlen, die beim Training gelernt wurden. Daraus besteht das Modell eigentlich.
So viele Zahlen beschreiben ein Wortstück, während es von Schicht zu Schicht weitergereicht wird.
Jede Schicht hat 128 spezialisierte Teile. Ein Verteiler sucht pro Wortstück die 8 passendsten raus, der Rest hat Pause.
Das mit den Experten hat einen Namen: MoE, kurz für Mixture of Experts. Der Trick dabei: Das Modell ist riesig, aber pro Wortstück rechnet nur ein kleiner Teil davon. Deshalb läuft so ein Brocken überhaupt auf einer normalen Grafikkarte.
Das Röntgenbild
Dann hab ich mir ein eigenes kleines Programm gebaut, das bei jedem Wortstück alle 30 Schichten ausliest und anzeigt, welche Experten gerade arbeiten. Das läuft mit 17 Wortstücken pro Sekunde, also live, während Gemma schreibt.
Das sieht aus wie ein Raster: 30 Zeilen für die Schichten, 128 Spalten für die Experten. Bei jedem Wortstück leuchten in jeder Zeile genau 8 Felder hell. Ein paar weitere glimmen dunkler, die wären fast drangekommen.
Mein erster Test war der Satz „Die Hauptstadt von Frankreich ist Paris.“ Und da kam das, was mich echt überrascht hat:
- Bei „Hauptstadt“ war sich Gemma zu 100 % sicher. Trotzdem arbeiten in jeder Schicht andere Experten. Sicher heißt nicht, dass immer dieselben ran müssen.
- Bei Fußball leuchten andere Bereiche als bei PowerShell. Das hat ihr niemand beigebracht. Die Experten haben sich beim Training selbst aufgeteilt.
Ich hab dann noch eine zweite Ansicht direkt in den Chat eingebaut: Unter jeder lokalen Antwort kann ich für jedes Wort sehen, wie sicher sich Gemma war und welche fünf Wörter sie noch in Betracht gezogen hat. So seh ich, wann sie sich sicher ist und wann sie eher rät.
Ich rate nie. Ich wähle nur manchmal sehr selbstbewusst das Falsche.Warum Gemma manchmal dauert
Beim Reinschauen hab ich auch endlich kapiert, warum Gemma bei langen Texten so zäh ist. Sie passt einfach nicht in meine Grafikkarte.
| Situation | Wo Gemma liegt | Balken |
|---|---|---|
| Grafikkarte | ca. 7,6 GB | |
| Arbeitsspeicher | ca. 9 GB |
Im Betrieb belegt Gemma rund 17 GB. Die Grafikkarte hat nur 8, der Rest liegt im langsameren Arbeitsspeicher. Der Großteil davon sind die Experten, weil pro Wortstück eh nur 8 von 128 rechnen.
| Situation | Tokens pro Sekunde | Balken |
|---|---|---|
| Einlesen | ca. 130 | |
| Schreiben | 27–30 |
Einlesen geht pro Wortstück viel schneller als Schreiben. Aber ein langer Text hat eben sehr viele Wortstücke. Eine einfache Frage dauert vorgewärmt rund 9 Sekunden.
Deshalb schickt origami lange Texte auch direkt an Claude, statt Gemma minutenlang einlesen zu lassen. Mehr dazu im Artikel über die Aufgabenteilung.
Einen Haken hat das Röntgenbild übrigens: Gemma passt nur einmal in die Grafikkarte. Wenn ich das Live-Raster anschaue und gleichzeitig jemand im normalen Chat was fragt, gibt das Raster sofort frei. Der Chat geht vor.
Schau selbst rein
Mein Live-Raster ist ein eigenes Programm, das musst du nicht gleich nachbauen. Aber die Grundlagen kannst du in fünf Minuten selbst anschauen.
Steckbrief anzeigen
Ollama zeigt dir die wichtigsten Daten zu deinem Modell an, zum Beispiel Größe, Kontextlänge und Aufbau.
ollama show gemma4:26b
Prüfen, wo es liegt
Während das Modell geladen ist, siehst du hier, wie viel davon auf der Grafikkarte und wie viel im Arbeitsspeicher liegt.
ollama ps
Tempo messen
Mit --verbose bekommst du nach jeder Antwort angezeigt, wie schnell eingelesen und geschrieben wurde. Stell mal eine kurze und eine lange Frage und vergleich.
ollama run gemma4:26b --verbose
Selbst einordnen
Liegt ein großer Teil im Arbeitsspeicher, ist das Einlesen langsam. Dann lohnt sich's, lange Texte woanders hinzuschicken oder ein kleineres Modell zu nehmen.
Jetzt kennst du mich von innen. Benimm dich.