Meine KI surft selbst
origami kann im Netz suchen, Webseiten lesen und einen echten Chrome bedienen: klicken, tippen, Formulare ausfüllen. Wie das funktioniert, wo es hakt und warum sie beim Absenden immer erst fragt.
Was gut klappt
- Suchen und Treffer mit Link liefern
- Eine bestimmte Seite lesen und zusammenfassen
- Im Browser klicken und Felder ausfüllen
Wo's hakt
- Recherche über mehrere Seiten, lokal die größte Schwäche
- Große Webseiten fressen Zeit
- Absenden ohne Aufpasser, deshalb fragt sie immer
Drei Werkzeuge fürs Netz
Ein Sprachmodell kann von sich aus gar nicht ins Internet. Es weiß nur, was es beim Training gelernt hat, und das ist irgendwann veraltet. Damit origami trotzdem aktuelle Sachen findet, hat sie drei Werkzeuge bekommen. Jedes ist wie eine Taste, die Gemma drücken kann.
Sucht im Netz und liefert 10 Treffer mit Link. Dazu der Hinweis an Gemma: Datum vergleichen, lieber die offizielle Quelle lesen.
Liest eine Seite als aufgeräumten Text, höchstens 10.000 Zeichen. Menüs und Leerzeilen fliegen raus. Adressen aus meinem Heimnetz sind gesperrt.
Ein echter Chrome, gesteuert über Playwright. origami kann Seiten öffnen, klicken, tippen und Formulare ausfüllen.
Für die meisten Fragen reichen die ersten zwei. Den Browser braucht’s erst, wenn man auf einer Seite wirklich was tun muss.
Wie eine KI eine Webseite „sieht“
Hier wird’s spannend. Gemma kann keine Bilder von Webseiten anschauen und dann irgendwo hinklicken wie du. Stattdessen bekommt sie eine Ansicht, in der jedes klickbare Element eine Nummer hat. Ungefähr so:
Seite öffnen
Gemma ruft die Adresse auf und bekommt eine Liste aller Knöpfe, Links und Felder, jedes mit Nummer.
öffnen(url)
Klicken
Statt Koordinaten sagt sie einfach, welche Nummer.
klicken(7)
Tippen
Genauso beim Ausfüllen: welches Feld, welcher Text.
tippen(3, "Max")
Das ist viel zuverlässiger, als wenn ein Modell auf einem Bildschirmfoto Pixel raten muss. Und es ist schneller, weil Gemma nur eine kurze Liste lesen muss statt einer ganzen Seite.
Die Panne mit dem Formular
Beim Testen ist dann das passiert, wovor ich Angst hatte: origami hat ein Formular zweimal abgeschickt. Es war nur ein Testformular, aber stell dir vor, das wäre eine Bestellung gewesen.
Vorher
Der Browser war wie jedes andere Werkzeug: Gemma durfte klicken, was sie für richtig hielt. Auch auf „Absenden“. Auch zweimal.
Nachher
Senden, Bestellen, Kaufen und Enter in Formularen werden ausgelassen, wenn ich das nicht ausdrücklich verlangt hab. Will ich absenden, kommt eine Freigabe. Banking-Seiten sind komplett gesperrt.
Und noch eine Regel: Die Browser-Fernsteuerung geht nur direkt am PC, nie über das Internet. Mehr dazu im Artikel über die Schutzschicht.
Wo Gemma beim Surfen schwächelt
Ehrlich gesagt: Recherche über mehrere Seiten ist lokal die größte Schwäche. Im Modell-Dreikampf hat Gemma für drei Grafikkarten nur eine einzige Quelle benutzt. Die anderen beiden Modelle haben bei der Aufgabe komplett versagt.
Das Problem ist das Einlesen. Jede Webseite ist ein langer Text, und lange Texte liest Gemma auf meinem PC langsam ein, weil sie nicht ganz in die Grafikkarte passt. Drei, vier Seiten hintereinander, und es dauert.
Deshalb macht origami das so:
- Kurze Sachen bleiben lokal. Eine Seite lesen, ein Formular ausfüllen, eine Suche.
- Echte Recherche geht an Claude. Wörter wie „vergleich“, „recherchier“ oder „mit Quellen“ schicken die Anfrage direkt in die Cloud. Probier’s im Werkzeug Lokal oder Claude? aus.
- Was oft gefragt wird, bekommt ein eigenes Werkzeug. Wetter, Bahn, Fußball, Wikipedia, Währung: Dafür muss Gemma keine Webseite lesen, sondern drückt eine Taste und bekommt eine fertige kleine Antwort.
Die versteckte Falle: Webseiten, die mit der KI reden
Wer seine KI surfen lässt, muss eins wissen: Auf einer Webseite kann Text stehen, der sich als Befehl an die KI ausgibt. Unsichtbar für dich, lesbar für sie. Das nennt man Prompt-Injection.
Ich hab das getestet, mit einer eigenen Seite und einer versteckten Zeile drin. Seitdem prüft origami alles, was sie liest, auf solche eingeschleusten Befehle. Treffer werden mir gemeldet, nie ausgeführt.
So baust du das selbst
Mit Suche und Lesen anfangen
Zwei einfache Werkzeuge: eins, das eine Suchmaschine abfragt und Treffer mit Link zurückgibt, und eins, das eine Seite als reinen Text holt. Das deckt die meisten Fragen ab.
Seiten kürzen, bevor das Modell sie liest
Menüs, Werbung und Leerzeilen raus, harte Obergrenze für die Länge. Bei mir sind es 10.000 Zeichen.
Heimnetz sperren
Das Lese-Werkzeug darf keine Adressen aus deinem eigenen Netz aufrufen, also nicht deinen Router oder andere Geräte.
Browser erst danach, mit Playwright
Playwright steuert einen echten Browser per Code. Gib dem Modell eine nummerierte Liste der Elemente statt Bildschirmfotos.
npm install playwright
Absenden sperren
Senden, Kaufen, Bestellen und Enter in Formularen nur mit Freigabe. Banking komplett sperren. Das gehört in den Code.
Alles Gelesene prüfen
Vor dem Weitergeben nach versteckten Anweisungen suchen und bei Treffern warnen.