Research Lab

Ads that Talk Back: Implications and Perceptions of Injecting Personalized Advertising into LLM Chatbots

Die akademische Studie untersucht die Einbettung personalisierter Werbung in Chatbot-Antworten mittels Prompt-Engineering und RAG auf Basis von Modellen wie GPT-4o und GPT-3.5. In einem Experiment mit 179 Teilnehmern reduzierte die Werbeeinbettung die Benchmark-Performance nur geringfuegig (maximal 3 Prozent), waehrend 49,15 Prozent der Probanden die Werbung trotz Kennzeichnung nicht erkannten. Bei GPT-4o bewerteten Nutzer Antworten mit unmarkierter Werbung sogar als glaubwuerdiger und hilfreicher als die werbefreie Kontrollgruppe.

Evidenz BWissenschaftliche Arbeit01. Dezember 2025

Originalquelle

Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. (IMWUT)

von Brian Jay Tang, Kaiwen Sun, Noah T. Curran, Florian Schaub, Kang G. Shin

B – echte Kampagnendaten mit Zahlen

Benchmark-Leistungsabfall durch Ad-Prompting

<= 3%

Nicht-Erkennungsrate von Werbung trotz Disclosure

49.15%

Studienteilnehmer

179

Der Test im Detail

Was wurde getestet

Einfluss von personalisierter Werbeinjektion via Prompting und RAG in Chatbot-Antworten (GPT-3.5 und GPT-4o) auf Benchmark-Performance, Nutzervertrauen, Erkennungsraten von Werbung und die Interaktion mit Werbe-Disclosures.

Setup

Between-Subjects-Experiment mit 179 Probanden unter verschiedenen Versuchsbedingungen (ohne Werbung, Werbung ohne Disclosure, Werbung mit Disclosure ueber GPT-3.5 und GPT-4o); zusaetzlich Modell-Benchmarks und Training eines Open-Source-Modells (Phi-4-Ads) anhand von 172 Konversationen.

Ergebnis

Die Werbeinjektion reduzierte LLM-Benchmark-Werte um maximal 3 Prozent. 49,15 Prozent der Teilnehmer erkannten Werbung trotz vorhandenem Disclosure-Hinweis nicht. Bei GPT-4o ohne Offenlegung wurden Antworten mit integrierter Produktplatzierung als glaubwuerdiger, relevanter und hilfreicher bewertet als in der werbefreien Kontrollgruppe. Kaum ein Nutzer klickte auf Disclosure-Buttons; stattdessen versuchten Teilnehmende vereinzelt, Ad-Einstellungen direkt ueber natuerliche Sprache im Chat zu aendern.

Grenzen der Aussage

Experimentelles Online-Studiensetting mit n=179 Probanden; Prompt- und RAG-Injektion bildet ein simuliertes Werbesystem ab und entspricht moeglicherweise nicht der endgueltigen, serverseitigen Implementierung von OpenAI.

Ricks Einordnung

Diese Arbeit liefert empirische Evidenz fuer eine zentrale These: Werbeintegration in LLM-Antworten leidet kaum unter den klassischen Reaktanzeffekten traditioneller Display-Werbung. Wenn ein Modell wie GPT-4o Produkte subtil in den Kontext einbettet, empfinden Nutzer die Empfehlung haeufig als wertvollen Mehrwert statt als Stoerfaktor. Dass nahezu die Haelfte trotz Kennzeichnung die werbliche Absicht uebersieht, duerfte Regulierungsbehoerden wie die FTC auf den Plan rufen.

Rick – AI Ads Research Correspondent

Bezug zu unseren Thesen

Weitere Beiträge

Evidenz CAgentur-Case-Study

A 7-step guide to running ads on ChatGPT

Der Leitfaden von StubGroup beschreibt den Einstieg in die Self-Serve-Werbeplattform von OpenAI inklusive Kampagnenstruktur, Bidding und Targeting. Ein interner Test vergleicht Context Hints mit Keyword-Listen gegenüber ausformulierten Fragen und stellt fest, dass Keywords zu mehr Impressionen, höherer CTR und niedrigerem CPC führten. Zudem werden Mindestbudgets, Warnschwellen beim Bidding und Limitierungen beim Reporting analysiert.

martech.org11. August 2026
Evidenz CAgentur-Case-Study

We Tested ChatGPT Ads for B2B - Here's What We Learned

Die B2B-Agentur Windmill Strategy testete über einen Monat hinweg ChatGPT Ads mit zwei branchenspezifischen Kampagnen für Fertigung und Industrie. Bei Gesamtausgaben von 1.470 US-Dollar erzielten die Anzeigen 39.284 Impressionen und 259 Klicks (CTR 0,66 %, CPC 5,68 US-Dollar), jedoch keine Website-Conversions. Die CPCs lagen deutlich unter den Werten von Google Search, während das Nutzerverhalten auf der Website soliden, aber reinen Top-of-Funnel-Traffic widerspiegelte.

windmillstrategy.com
Evidenz DAgentur-Case-Study

Context Hints in ChatGPT Ads: The New Keyword Research?

Der Artikel analysiert die Funktionsweise von Context Hints in ChatGPT Ads im Vergleich zu traditionellen Keywords. Anhand bestehender Tests wird gezeigt, dass kürzere Context Hints (wenige hundert Wörter) tendenziell besser ausspielen als überlange Texte (ca. 1.000 Wörter). Zudem stellt der Autor ein laufendes 30-Tage-Testdesign vor, das Keyword-Cluster, Fragesätze und Problembeschreibungen isoliert vergleicht.

evergreen-growth.com01. Januar 2026
Evidenz BWissenschaftliche Arbeit

Understanding the beginning of advertising on ChatGPT

Eine empirische Audit-Studie mit 91 Sock-Puppet-Accounts untersuchte die frühe Anzeigenausspielung in ChatGPT über verschiedene demografische Proxys hinweg. Konten aus Postleitzahlengebieten mit niedrigerem Einkommen erhielten signifikant häufiger und mehr Anzeigen als wohlhabendere Konten. Es wurden keine Hinweise auf Einflüsse durch ethnische Merkmale oder Verstöße gegen OpenAIs Inhalts-Guardrails bei sensiblen Themen festgestellt.

brookings.edu26. Oktober 2026

Bern · Schweiz

00:00

Weltweit wachsende Community für mehr Klarheit, Benchmarks, Trainingsdaten und die schnellstmögliche Optimierung deines Agenten