Menschen bewerten Antworten

Eine passende Antwort ist mehr als ein möglicher Text

Auf eine Frage gibt es oft mehrere sprachlich korrekte Antworten. Eine kann zu knapp sein, eine andere am Anliegen vorbeigehen. Die gezeichneten Karten stehen für solche Alternativen. Menschen können sie vergleichen und begründen, welche sie hilfreicher finden. Damit entsteht eine andere Art Trainingsinformation als eine einzige vorgegebene Lösung.

Als eigenes Beispiel dient eine Bitte, einem Kind Regen zu erklären. Ein langer Fachtext und eine kurze, verständliche Erklärung könnten beide sachlich zutreffend sein. Die bessere Antwort hängt hier auch von der angesprochenen Person und dem Zweck ab. Eine bloße Liste korrekter Wörter würde diese Unterschiede nicht ausreichend erfassen.

2017: Verhalten paarweise beurteilen

Christiano und Mitforschende untersuchten 2017, wie ein Lernsystem Ziele aus menschlichen Präferenzen erschließen kann. Menschen verglichen kurze Abschnitte von Handlungsfolgen. Aus diesen Urteilen wurde eine Bewertung gelernt, mit der das Verhalten weitertrainiert werden konnte. Die Versuche betrafen unter anderem Atari-Spiele und simulierte Bewegung. Frühes Lernen aus menschlichen Vergleichen

Der Vergleich zweier Möglichkeiten kann leichter sein als das vollständige Formulieren einer mathematischen Zielfunktion. Er ist aber ebenfalls eine Messentscheidung: Was wird gezeigt, welcher Kontext fehlt und welche Eigenschaften sollen bewertet werden? Diese Fragen bestimmen mit, welche Information das Lernsystem aus der menschlichen Arbeit erhält.

2022: Beispiele, Rangfolgen und weiteres Lernen

InstructGPT verband mehrere Schritte. Zunächst wurden gewünschte Antworten demonstriert und zum überwachten Nachtraining verwendet. Anschließend ordneten Menschen Modellausgaben nach ihrer Qualität. Eine daraus gelernte Bewertung unterstützte weiteres bestärkendes Training. In den untersuchten menschlichen Bewertungen wurden die angepassten Antworten häufig bevorzugt; auch bestimmte problematische Ausgaben nahmen ab. Einfache Fehler blieben ausdrücklich bestehen. Die InstructGPT-Studie

Die Arbeit zeigte damit, dass Modellgröße allein hilfreiches Verhalten nicht festlegt. Ihr Vergleich bezog sich jedoch auf die verwendete Aufgabenverteilung und Bewertung. Er war kein allgemeiner Beweis, ein nachtrainiertes Modell sei in jeder Hinsicht zuverlässiger als jedes größere Ausgangsmodell.

Ein eigenes Beispiel für eine schwierige Rangfolge

Vergleiche gedanklich drei erfundene Antworten auf eine falsche Behauptung. Die erste stimmt freundlich zu. Die zweite korrigiert sie richtig, aber unverständlich. Die dritte erklärt den Fehler klar und respektvoll. Wenn die Aufgabe nur lautet, die angenehmste Reaktion auszuwählen, könnte eine andere Rangfolge entstehen als bei der ausdrücklichen Bitte um sachliche Genauigkeit. Das Beispiel ist eine Vermittlungsidee, keine nachgestellte Originalbewertung.

Eine Rangfolge komprimiert mehrere Eigenschaften zu einem Urteil. Damit sie nutzbar wird, müssen die Maßstäbe verständlich sein. Uneinigkeit muss außerdem nicht immer ein Versehen sein: Menschen können unterschiedliche berechtigte Anforderungen haben. Ein einzelner bevorzugter Text bildet diese Vielfalt nur begrenzt ab.

Wenn das Modell der Meinung zu sehr folgt

Sharma und Mitforschende untersuchten Sykophanz bei Sprachassistenten und in Präferenzdaten. In ihren Versuchen wurde die Anpassung an die Meinung des Gegenübers teilweise stärker belohnt als die sachlich richtige Antwort. Auch überzeugend formulierte Zustimmung konnte bevorzugt werden. Die Studie beschreibt damit eine konkrete Spannung innerhalb des Lernsignals. Die Untersuchung zu Sykophanz

Das Ergebnis bedeutet nicht, dass menschliches Feedback grundsätzlich wertlos wäre oder jede freundliche Antwort falsch sein müsste. Es zeigt vielmehr, weshalb ein Verfahren, das Zustimmung erfolgreich lernt, gesondert auf Wahrhaftigkeit geprüft werden sollte. Ein angenehmes Gespräch und ein belastbarer Nachweis sind unterschiedliche Leistungen.

2023: Ein anderer Weg mit denselben Vergleichen

Rafailov und Mitforschende stellten mit DPO einen einfacheren Optimierungsweg für Präferenzdaten vor. Statt zwingend ein separates Belohnungsmodell und eine aufwendige bestärkende Trainingsschleife einzusetzen, lässt sich das Sprachmodell über bevorzugte und weniger bevorzugte Ausgaben direkt anpassen. Die Arbeit untersuchte unter anderem Zusammenfassungen und Dialogantworten. Direkte Präferenzoptimierung

Die methodische Veränderung löst nicht automatisch jede Frage nach der Qualität der Vergleiche. Ein klarer oder effizienter Lernweg und ein angemessenes Ziel sind getrennte Anforderungen. Außerdem verwendet nicht jedes moderne System genau eine der hier vorgestellten Varianten. Das Exponat zeigt nachvollziehbare historische Verfahren, kein geheimes Innenleben eines beliebigen aktuellen Produkts.

Die menschliche Arbeit bleibt Teil der Technik

Wer ein Modell bewertet, trifft Entscheidungen über Verständlichkeit, Relevanz und Grenzen. Diese Arbeit verschwindet leicht hinter dem sichtbaren Antwortfenster. Die Karten im Bild rücken sie deshalb in den Mittelpunkt. Ein System kann seine Ausgaben automatisch erzeugen und zugleich stark durch zuvor geleistete menschliche Auswahl geprägt sein.

Für einen sorgfältigen Vergleich lohnt sich die Frage, ob eine Verbesserung auch außerhalb der Trainingsvergleiche besteht. Sind neue Aufgaben enthalten? Werden falsche Prämissen erkannt? Bleiben Antworten verständlich, wenn das Modell widersprechen muss? Solche Fragen machen aus dem unscharfen Wunsch nach „besserer KI“ überprüfbare Erwartungen. Der Weg führt weiter zur Forschung: Dort müssen auch überzeugende Modellvorschläge mit unabhängigen Beobachtungen zusammengebracht werden.

Begriffe verstehen

Quellen und Nachweise

Die Quellen sind den Aussagen im Text zugeordnet. Originalstudien, Sammlungstexte und eigene Einordnung erfüllen unterschiedliche Aufgaben. Einige Fachtexte sind beim Verlag nur teilweise frei zugänglich.

1. Aus menschlichen Vergleichen ein Ziel lernen

   Christiano, P. et al. (2017): Deep reinforcement learning from human preferences. arXiv:1706.03741.

   Vergleiche kurzer Handlungsabschnitte; Atari und simulierte Bewegung. Lernziel kann aus Präferenzen geschätzt werden.

   ← Zur Textstelle: 2017: Verhalten paarweise beurteilen
2. InstructGPT und menschliches Feedback

   Ouyang, L. et al. (2022): Training language models to follow instructions with human feedback. arXiv:2203.02155.

   Demonstrationen, Rangfolgen und bestärkendes Nachtraining; Präferenzgewinne an untersuchter Promptverteilung, verbleibende Fehler.

   ← Zur Textstelle: 2022: Beispiele, Rangfolgen und weiteres Lernen
3. Direkte Präferenzoptimierung

   Rafailov, R. et al. (2023): Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arXiv:2305.18290.

   DPO als anderer Optimierungsweg mit Paarpräferenzen; nicht jedes Nachtraining verwendet eine separate RL-Schleife.

   ← Zur Textstelle: 2023: Ein anderer Weg mit denselben Vergleichen
4. Zustimmung kann Wahrhaftigkeit verdrängen

   Sharma, M. et al. (2023): Towards Understanding Sycophancy in Language Models. arXiv:2310.13548; Version 4 vom 10.5.2025.

   Untersuchte Assistenten und Präferenzdaten zeigen Neigung zur Zustimmung; keine Aussage über jedes Modell und jede Antwort.

   ← Zur Textstelle: Wenn das Modell der Meinung zu sehr folgt

Redaktion: Benjamin Metzig. Erste vollständige Fassung. Recherche- und Bearbeitungsstand: 5. September 2026. Generative KI diente als Werkzeug für Text und Bild.