Die KI schaut zu und klickt selbst: Was Bildschirmautomatik für Kampagnen heißt

Das Patent im Detail: Wie KI Oberflächen wie ein Mensch bedient

Die Patentschrift US11887367B1 mit dem Titel „Using Machine Learning to Train and Use a Model to Perform Automatic Interface Actions Based on Video and Input Datasets“ wurde am 30. Januar 2024 für OpenAI OpCo, LLC erteilt. Das Dokument beschreibt ein Verfahren, bei dem neuronale Netze trainiert werden, um Benutzeroberflächen visuell und strukturell zu erfassen. Als Datengrundlage dienen Videoaufzeichnungen von Bildschirmen in Kombination mit synchron erfassten menschlichen Eingaben wie Mausbewegungen, Klicks und Tastaturbefehlen.

Mithilfe dieses Trainings lernt das resultierende Modell, eigenständig Aktionen in Anwendungen oder auf Webseiten auszuführen. Dazu gehören das Lokalisieren von Schaltflächen, das Ausfüllen von Eingabefeldern und das Navigieren durch mehrstufige Prozesse wie Warenkörbe oder Buchungsstrecken. Wesentlich ist dabei, dass das System keine proprietären Programmierschnittstellen (APIs) der jeweiligen Software benötigt, sondern die visuelle Oberfläche wie ein menschlicher Nutzer interpretiert und steuert.

Im Gegensatz zu klassischer robotergestützter Prozessautomatisierung (RPA), die bei minimalen Layout-Änderungen abbricht, soll das KI-Modell visuelle Variationen flexibel verarbeiten können. Erkennt das Modell beispielsweise einen veränderten Kauf-Button oder ein neu platziertes Dropdown-Menü, kann es diese Elemente anhand ihres visuellen Kontexts und ihrer Beschriftung identifizieren. Damit überwindet das System eine der größten Hürden für autonome Interaktionen im offenen Web.

Wenn Software Oberflächen selbst bedient, muss die Messung zwischen Mensch und Maschine unterscheiden können.

Die strategische Dimension für OpenAI: Unabhängigkeit von APIs und Plattformen

Aus meiner Sicht stellt diese Technologie einen bemerkenswerten strategischen Hebel für OpenAI dar. Bislang waren KI-Assistenten darauf angewiesen, dass Plattformen spezielle Schnittstellen oder Plugins bereitstellen, um externe Transaktionen abzuwickeln. Mit einer funktionierenden Bildschirmautomatik kann ein Assistent jedoch jede öffentlich zugängliche Website bedienen, ohne dass der jeweilige Betreiber eine Partnerschaft mit OpenAI eingehen oder technischen Mehraufwand betreiben muss.

Diese Unabhängigkeit birgt enormes Potenzial, verlagert aber auch die Verantwortung für reibungslose Abläufe vollständig auf das System. Wenn eine KI im Auftrag eines Nutzers ein Produkt bestellt oder ein Flugticket reserviert, müssen Fehleingaben und Fehlinterpretationen absolut ausgeschlossen sein. OpenAI steht vor der Herausforderung, visuelle Halluzinationen zu verhindern und sicherzustellen, dass Sicherheitsmechanismen wie Captchas oder Zwei-Faktor-Authentifizierungen sauber gehandhabt werden.

Für die Weiterentwicklung von ChatGPT zu einem handlungsfähigen Agenten („Computer-Using Agent“) ist das Patent das theoretische Fundament. Es markiert den Übergang von einem reinen Sprachmodell, das Informationen aggregiert und Text ausgibt, hin zu einer ausführenden Plattform, die Arbeitsabläufe direkt in den gewohnten Benutzeroberflächen Dritter operativ zu Ende führt.

Das Dilemma für Web-Analytics: Wenn Klicks keine menschliche Aufmerksamkeit bedeuten

Für Marketing- und Analytics-Teams wirft dieser Ansatz fundamentale Fragen auf, die unsere bisherigen Messmodelle ins Wanken bringen. Seit Jahrzehnten basieren Web-Analytics und Kampagnenerfolgsmessungen auf der Prämisse, dass ein Klick auf eine Anzeige oder ein Suchergebnis mit der unmittelbaren Aufmerksamkeit eines Menschen einhergeht. Navigiert nun jedoch ein KI-Agent durch die Zielseite, entstehen Sitzungen, Interaktionen und Seitenaufrufe, ohne dass ein menschliches Auge die Landingpage gesehen hat.

Client-seitige Tracking-Pixel und Analysetools wie Google Tag Manager registrieren diese Besuche als regulären Traffic. Das verfälscht zentrale Kennzahlen wie die Verweildauer, Scrolltiefen oder die Absprungrate gravierend. Ein Agent, der innerhalb von drei Sekunden gezielt ein Formular ausfüllt, erzeugt ein völlig anderes Verhaltensmuster als ein unentschlossener Kunde, der Produktbewertungen liest und Bildergalerien durchklickt.

Erschwerend kommt die Betrugserkennung hinzu: Werbenetzwerke und Publisher stehen vor der schwierigen Aufgabe, schädliche Klick-Bots von autorisierten KI-Agenten zu unterscheiden, die im legitimen Auftrag eines Nutzers handeln. Wenn Schutzsysteme KI-gesteuerte Interaktionen fälschlicherweise als Bot-Traffic blockieren, scheitern reale Kaufabsichten, was Werbetreibenden direkte Umsatzeinbußen beschert.

Wirtschaftliche Konsequenzen: Ein Rechenbeispiel zur Kampagnenbewertung

Um die ökonomischen Auswirkungen greifbar zu machen, betrachten wir ein praxisnahes Rechenbeispiel aus dem E-Commerce. Ein Online-Händler investiert 25.000 Euro monatlich in Performance-Kampagnen bei einem durchschnittlichen Cost-per-Click (CPC) von 2,50 Euro, was 10.000 Klicks entspricht. Bei einer gewohnten Conversion-Rate von 3 Prozent erzielt der Shop 300 Verkäufe zu einem durchschnittlichen Bestellwert von 150 Euro, also 45.000 Euro Umsatz.

Greifen künftig KI-Agenten für Preisvergleiche oder automatisierte Rechercheprozesse auf die Kampagnenlinks zu, könnte sich das Bild drastisch verschieben. Angenommen, 2.000 dieser 10.000 Klicks stammen von autonomen Systemen, die nach einer strukturellen Prüfung der Produktdaten abbrechen, ohne zu kaufen. Die gemessene Klickzahl bleibt bei 10.000, doch die tatsächliche Conversion-Rate sinkt auf 2,4 Prozent (240 Verkäufe), während der CPA (Cost per Acquisition) von 83,33 Euro auf 104,17 Euro ansteigt.

Dieses Szenario zeigt, warum Werbetreibende reine Klick- und Besuchszahlen künftig entwerten müssen. Wenn Klicks billig durch Automatisierung erzeugt oder konsumiert werden können, verlagert sich der Fokus zwangsläufig auf rein transaktionsbasierte Kennzahlen. Werbebudgets müssen nach dem tatsächlichen Nettoumsatz und server-validierten Abschlüssen bewertet werden, anstatt sich auf vorgeschaltete Interaktionsmetriken zu verlassen.

Typische Fallstricke für Marketing- und E-Commerce-Teams

Ein häufiger Fehler besteht darin, weiterhin ausschließlich auf client-seitiges Tracking über JavaScript-Tags im Browser zu vertrauen. Da KI-Agenten Webseiten möglicherweise in Headless-Browsern oder stark isolierten Umgebungen rendern, werden Standard-Tags oft unvollständig oder zeitverzögert ausgeführt. Wer seine Kampagnenoptimierung nicht auf serverseitige Conversion-APIs (CAPI) umstellt, verliert den Überblick über den tatsächlichen Wertbeitrag einzelner Kanäle.

Ein weiterer Fallstrick ist das aggressive Blockieren von unkonventionellen Browser-Mustern durch Web Application Firewalls (WAF). Viele E-Commerce-Seiten setzen restriktive Captcha-Hürden ein, sobald Mausbewegungen mechanisch wirken oder Navigationsschritte extrem schnell erfolgen. Dadurch sperren Händler unwissentlich kaufbereite Kundinnen und Kunden aus, die moderne KI-Assistenten mit der Durchführung ihrer Bestellungen beauftragt haben.

Schließlich vernachlässigen viele Unternehmen die semantische Struktur ihrer Zielseiten. Wenn Formularfelder kryptische ID-Namen tragen, Buttons rein über CSS-Klassen ohne Beschriftung definiert sind oder Pflichtfelder nicht standardkonform ausgezeichnet werden, scheitern Bildschirmautomatiken regelmäßig. Eine schlechte technische Barrierefreiheit wird damit vom UX-Problem zum direkten Umsatzkiller im KI-Zeitalter.

Meine Thesen: Wie Screen-Automation ChatGPT Ads und E-Commerce verändert

These 1: Automatisierte UI-Aktionen schließen den Bruch zwischen Werbekontakt und Checkout. Wenn ChatGPT eine Produktempfehlung ausspricht und der Nutzer zustimmt, kann der Assistent den Kauf direkt im Hintergrund auf der Shop-Seite des Werbetreibenden abschließen. ChatGPT wandelt sich damit von einem Traffic-Lieferanten zu einem operativen Checkout-Kanal. Überprüfen lässt sich diese These, sobald OpenAI direkte Werbe- und Transaktionsformate einführt, bei denen der Kaufabschluss ohne Medienbruch innerhalb der Chat-Umgebung vollzogen wird.

These 2: Semantische Barrierefreiheit und strukturierte Daten werden zum wichtigsten Ranking- und Conversion-Faktor für KI-Ads. Da Bildschirmautomatiken visuelle und strukturelle Signale kombinieren, werden Kampagnen zielgerichteter zu Landingpages geleitet, die für autonome Agenten fehlerfrei lesbar sind. Diese These lässt sich daran überprüfen, ob OpenAI oder Werbenetzwerke offizielle UI-Richtlinien und Zertifizierungen für maschinenlesbare E-Commerce-Seiten etablieren.

Als Gegenargument wird häufig eingewendet, dass rechtliche Haftungsfragen bei Fehlbestellungen und strenge Datenschutzvorgaben eine weite Verbreitung autonomer Checkout-Systeme verhindern könnten. Ich halte diese Hürden für real, aber lösbar. Wahrscheinlich werden Systeme mit klaren Freigabe-Schritten („Möchten Sie diesen Kauf für 89 Euro bestätigen?“) arbeiten, wodurch der Mensch die finale Kontrolle behält, während die KI die Klickarbeit übernimmt.

Praxisschritte für Werbetreibende und methodische Grenzen

Werbetreibende sollten jetzt ihre Conversion-Pfade einem technischen Audit unterziehen. Achten Sie auf semantisch sauberen HTML5-Code, eindeutige Formular-Labels und standardisierte WAI-ARIA-Attribute. Vermeiden Sie störende modale Pop-ups, Cookie-Banner mit unklaren Schließmechanismen oder dynamische Layout-Verschiebungen, die visuelle Erkennungsmodelle irritieren können.

Parallel dazu empfiehlt sich die rasche Implementierung serverseitiger Tracking-Lösungen. Indem Sie Transaktionen direkt aus Ihrem Warenwirtschafts- oder Shopsystem an die Werbeplattformen zurückmelden, stellen Sie sicher, dass Ihre Kampagnenalgorithmen auf echten Umsätzen optimiert werden und nicht auf Klicks, die womöglich nur von explorativen KI-Agenten ausgelöst wurden.

Zur methodischen Einordnung gehört die klare Feststellung: Das Patent US11887367B1 beschreibt eine grundlegende Trainingsmethodik für Benutzeroberflächen-Interaktionen, enthält jedoch keinerlei Dokumentation zu Werbeprodukten oder Monetarisierungsmodellen. Eine Patentierung garantiert nicht, dass diese Technik unverändert in ChatGPT Ads einfließt. Für uns als Werbetreibende dient das Dokument jedoch als präziser Indikator dafür, in welche technologische Richtung sich Plattformen und Nutzerschnittstellen mittelfristig entwickeln.