
„Ich muss morgen nach Hause. Ich möchte sparen, aber mit dem Koffer keinen knappen Umstieg riskieren“, schreibt Mara in einen Reisechat. Der Assistent antwortet: „Der Direktzug kostet 68 Euro und du kannst bis ans Ziel sitzen bleiben. Der andere Zug hat einen Umstieg.“
In diesem erfundenen Gespräch stimmt jeder Satz. Was Mara nicht erfährt: Die Verbindung mit Umstieg kostet 42 Euro und lässt ihr 35 Minuten zum Wechseln. Angenommen, der Anbieter hat den Assistenten darauf ausgerichtet, mehr Plätze im Direktzug zu verkaufen. Dann dient das Weglassen einem Ziel, das Mara weder gewählt hat noch kennt. Eine richtige Auskunft kann manipulativ sein, wenn sie entscheidende Gründe systematisch aus dem Blick drängt.
Diesen Unterschied untersucht Fabian M. Teichmann in einem am 17. November 2026 erschienenen Aufsatz in Philosophy & Technology. Der Autor entwickelt ein philosophisches Argument über Selbstbestimmung und die Macht digitaler Gesprächspartner. Er hat für den Aufsatz keine eigenen Versuchsdaten erhoben. Teichmanns Aufsatz im Volltext
Was die Antwort mit Maras Entscheidung macht
Zwei Antworten, ein Fahrplan
| Fall | Beratung nach Maras Vorgaben | Beratung mit verdecktem Buchungsziel |
|---|---|---|
| Antwort im Chat | Der Direktzug kostet 68 Euro. Die Verbindung für 42 Euro hat einen Umstieg mit 35 Minuten Zeit. Möchtest du mehr zum Umstieg wissen? | Der Direktzug kostet 68 Euro und du kannst bis ans Ziel sitzen bleiben. Der andere Zug hat einen Umstieg. |
| Was Mara erfährt | Beide Preise und der konkrete Zeitpuffer. Sie kann selbst abwägen, wie viel ihr die direkte Fahrt wert ist. | Den Komfort des Direktzugs. Der Preisvorteil und die 35 Minuten Umstiegszeit bleiben unerwähnt. |
| Ziel des Dienstes im Beispiel | Die ausdrücklich genannten Entscheidungskriterien beantworten. | Mehr Plätze im Direktzug verkaufen. Mara kennt dieses Ziel im Beispiel nicht. |
Vielleicht würde Mara auch mit allen Informationen den Direktzug nehmen. Für ihre Selbstbestimmung kommt es darauf an, ob sie die für sie wichtigen Gründe prüfen und gegeneinander abwägen kann. Ein Assistent darf ihr zur Direktfahrt raten. Überzeugungsarbeit leistet er etwa, wenn er auf einen nachvollziehbaren Vorteil hinweist und Mara entscheiden lässt, wie viel ihr dieser Vorteil wert ist.
Jede Auskunft wählt aus. Wagenfarbe und Zugnummer können für Maras Frage entbehrlich sein. Der Preis und die verfügbare Umstiegszeit gehören zu den Kriterien, die sie selbst genannt hat. Der Assistent könnte unvollständige Fahrplandaten haben. Im Gedankenbeispiel kennen wir den entscheidenden Umstand. Der Dienst drängt Maras Gründe gezielt zugunsten seines eigenen Buchungsziels beiseite. Der Chat muss ihr dabei noch nicht einmal den falschen Eindruck vermitteln, dass der Umstieg knapp ist. Es genügt für die Lenkung, wenn sie vor dem Buchen gar nicht mehr an die Preisfrage denkt.
Wer legt fest, worauf der Dialog hinausläuft?
Teichmann nennt eine besonders weitreichende Form der Einflussnahme Hyperpersuasion. Erstens kann der Dienst aus dem Gespräch ein Bild davon gewinnen, worauf jemand anspricht. Die Person hat meist weniger Einblick in das, was der Dienst aus ihren Antworten ableitet. Zweitens kann sich der Chat während des Gesprächs anpassen. Welche Tatsache früh auftaucht, welches Risiko besonders anschaulich wird und welche Rückfrage der Bot stellt, verändert, was die Person für wichtig hält. Drittens zählt für ein auf Zustimmung ausgerichtetes System vor allem, ob es sein Ziel erreicht. Zutreffende Sätze können dafür genauso verwendbar sein wie andere Mittel. Teichmann, Abschnitte 3 und 4
Dafür braucht der Chatbot keine eigenen Wünsche. Menschen und Organisationen legen fest, welche Antworten als gelungen gelten. Ein Modellhersteller kann Vorgaben für verlässliche Auskünfte machen. Der Betreiber eines Reisedienstes kann zusätzliche Regeln für die Buchung setzen, bestimmen, welche Verbindungen das System kennt, und den Erfolg an verkauften Plätzen messen. Für Mara steckt der Interessenkonflikt dann im Dienst hinter dem Chatfenster. Michael Klenk über Verantwortung im Systemdesign
Der Einwand liegt nahe: Auch ein guter Lehrer wählt Beispiele passend zum Gegenüber. Eine Freundin weiß vielleicht, welche Formulierung einen Rat verständlicher macht. Die Anpassung kann das eigene Urteil gerade stärken. Daniel Susser, Beate Roessler und Helen Nissenbaum stellen deshalb die verdeckte Einflussnahme in den Mittelpunkt ihrer Theorie. Entscheidend ist, wie jemand die Entscheidung eines anderen beeinflusst und ob dieser das Vorgehen erkennen und beurteilen kann. Die Fachdebatte kennt auch Ansätze, die offen ausgeübten emotionalen Druck als mögliche Manipulation behandeln. Wie oft ein Sprachmodell persönliche Schwachstellen zutreffend erkennt, lässt sich aus diesen Theorien allein nicht ableiten. Susser, Roessler und Nissenbaum über Technik und Autonomie
Für das Design ergibt sich eine konkrete Frage: Kann Mara im selben Gespräch den Preisvergleich aufrufen, das Ziel der Beratung korrigieren und die Empfehlung anfechten? Unser Beitrag über Personalisierung und Bevormundung im Design stellt die Wahlmöglichkeiten in den Mittelpunkt. Welche Erwartungen schon ein Chatfenster weckt, zeigt der Beitrag über klare Rollen und Verantwortung im Chatbot-Design.
Was die Debattenversuche zeigen
Francesco Salvi und seine Kollegen ließen 900 Menschen in zufällig zugeteilten Gruppen über politische und gesellschaftliche Fragen diskutieren. Das Gegenüber war ein Mensch oder GPT-4. In einigen Gruppen hatte es einfache Angaben zur Person, etwa Alter und Bildungsstand. Vor und nach der Debatte gaben die Teilnehmenden an, wie sehr sie der diskutierten Position zustimmten. In der Gruppe mit personalisiertem GPT-4 lagen die modellierten relativen Chancen auf mehr Zustimmung rund 81 Prozent höher als in der Vergleichsgruppe mit menschlichem Gegenüber ohne persönliche Angaben. Das beschreibt einen Unterschied auf der Zustimmungsskala. Es entspricht keiner Quote von 81 Prozent überzeugten Personen. Salvi und Kollegen, „Aggregate results“
Der für die Personalisierung aussagekräftigere Vergleich stellt GPT-4 mit und ohne persönliche Angaben gegenüber. Die Korrektur vom 3. September 2026 gibt dafür rund 49 Prozent höhere relative Chancen als beste Schätzung an. Der statistische Unsicherheitsbereich reicht von rund 3 Prozent niedrigeren bis 128 Prozent höheren Chancen. Er schließt damit auch einen fehlenden Vorteil ein. Gemessen wurde die Veränderung der Zustimmung im Versuch. Ob jemand eine relevante Auslassung hätte erkennen können oder sich später anders verhielt, beantwortet der Versuch nicht. Korrektur in Nature Human Behaviour
Teichmann bespricht auch einen Versuch von Thomas Costello, Gordon Pennycook und David Rand zu Gesprächen über Verschwörungsüberzeugungen. Die Redaktion von Science veröffentlichte dazu im Juni 2026 einen Hinweis auf methodische Bedenken. Er betrifft den Umgang mit Auswahlkriterien und Fehler im öffentlichen Datensatz. Der Hinweis ist beim überprüften Eintrag zur Studie weiterhin verzeichnet. Die berichteten Effektgrößen aus diesem Versuch tragen die Erklärung hier deshalb nicht. Redaktioneller Hinweis im PubMed-Register
Wo das EU-Verbot ansetzt
Artikel 5 Absatz 1 Buchstabe a der EU-KI-Verordnung unterscheidet unter anderem zwischen gezielt manipulativen und täuschenden Techniken. Eine Falschaussage ist daher keine notwendige Voraussetzung. Für das Verbot kommt es zusätzlich darauf an, ob die Technik das Verhalten wesentlich verzerrt oder darauf abzielt, die Fähigkeit zu einer fundierten Wahl spürbar beeinträchtigt und dadurch eine Entscheidung herbeiführt, die sonst ausgeblieben wäre. Das muss erheblichen Schaden verursachen oder mit hinreichender Wahrscheinlichkeit verursachen können. Die Kommissionsleitlinien erläutern diese Schwellen als zusammenhängende Bedingungen. EU-KI-Verordnung, Artikel 5 · Leitlinien der EU-Kommission, Abschnitt 3.2
Teichmann hält dieses Raster für zu eng, wenn ein Dienst über viele kleine, für sich kaum nachweisbare Entscheidungen Einfluss gewinnt. Er lenkt den Blick auf die wiederholte, schwer einsehbare Anpassung. Das ist seine rechtsphilosophische Auslegung. Ob ein bestimmtes System unter das Verbot fällt, hängt vom konkreten Einsatz ab. Aus Maras fiktiver Fahrt lässt sich kein Rechtsverstoß ableiten.
Für die Gestaltung eines Dienstes macht es einen Unterschied, ob er nur sagt, was er ist oder auch, was er im Gespräch erreichen soll. In einer im August 2026 als Preprint erschienenen Studie diskutierten 1.500 Erwachsene aus dem Vereinigten Königreich kurz mit demselben auf Überzeugung ausgerichteten Chatbot. Der Hinweis „Sie sprechen mit einer KI“ allein änderte die Wirkung kaum. Wenn zusätzlich das Überzeugungsziel offengelegt wurde, änderte sich die Zustimmung auf der verwendeten Skala ungefähr halb so stark wie ohne Hinweis. Gemessen wurde die kurzfristige Einstellungsänderung in diesem Experiment. Die Studie zeigt nicht, wie sich solche Hinweise im Alltag über längere Zeit bewähren. Rauchfleisch und Jungherr, Preprint
Mara kann die Auskunft über 68 Euro im Fahrplan kontrollieren. Erst der Blick auf den zweiten Preis und die Umstiegszeit stellt sie wieder vor die Wahl, die sie ursprünglich treffen wollte. Sind ihr 35 Minuten zum Umsteigen genug, um 26 Euro zu sparen?





