Fachbeiträge · Methode

Wenn KI immer dieselbe Antwort gibt: Was synthetische Testpersonen übersehen

Warum ähnliche Ergebnisse nicht automatisch dieselbe Forschungsqualität bedeuten – und weshalb echte Menschen in der qualitativen Marktforschung unverzichtbar bleiben.

Redaktion: Insight Fox · · 5 Min. Lesezeit

604 Menschen. 120 künstlich erzeugte Teilnehmer. Eine nahezu identische Kernaussage. Auf den ersten Blick könnte das wie ein Durchbruch aussehen: Warum noch aufwendig rekrutieren, wenn KI dieselbe Antwort liefern kann?

Doch der entscheidende Unterschied lag nicht in der häufigsten Antwort, sondern in den Antworten, die kaum jemand gab. Genau dort beginnt die eigentliche Geschichte dieser Untersuchung – und eine wichtige Debatte über die Zukunft qualitativer Forschung.

Was die neue Untersuchung tatsächlich zeigt

Die Nielsen Norman Group (NN/g) veröffentlichte am 16. Oktober 2026 einen Vergleich zwischen Antworten von 604 realen Fachleuten aus Technologie und Design und 120 synthetischen, durch eine KI-Plattform simulierten Personen. Gefragt wurde, wie man die Disziplin bezeichnen würde, die Bedürfnisse und Erfahrungen von Menschen untersucht und daraus Empfehlungen für Produkte und Dienstleistungen ableitet. [1]

In beiden Datensätzen blieb „UX“ beziehungsweise „User Experience“ die dominante Bezeichnung. Bei den synthetischen Antworten tauchten UX-bezogene Begriffe sogar häufiger auf: 84 Prozent gegenüber rund 70 Prozent bei den menschlichen Befragten. Doch während reale Personen mehr als 50 unterschiedliche Bezeichnungen verwendeten, konzentrierten sich die simulierten Antworten auf etwa zwölf. Seltene, teils überraschende Begriffe fehlten weitgehend. [1]

Die KI traf die Richtung – aber nicht die Bandbreite.

Das ist mehr als ein sprachliches Detail. In explorativer Forschung interessieren uns nicht nur Mehrheiten, sondern auch Ausnahmen, abweichende Deutungen und neue Denkansätze. Sie können Hinweise auf unerkannte Bedürfnisse, Nutzungskontexte oder entstehende Marktsegmente geben.

Das Problem der scheinbaren Übereinstimmung

In der KI-Forschung wird die Konzentration auf wenige dominante Antwortmuster häufig als „Mode Collapse“ beschrieben. Bei synthetischen Teilnehmern bedeutet das: Die simulierten Antworten können ein verbreitetes Muster überzeugend wiedergeben, ohne die Vielfalt tatsächlicher Menschen angemessen abzubilden. [1]

Stellen wir uns eine Studie zu einer neuen Banking-App vor. Die meisten Teilnehmer wünschen sich eine übersichtliche Bedienung. Eine synthetische Stichprobe könnte diesen Konsens sehr plausibel reproduzieren. Vielleicht übersieht sie aber die Perspektive eines Menschen mit ungewöhnlichem Sicherheitsbedürfnis, einer seltenen Nutzungssituation oder widersprüchlichen Gewohnheiten. Gerade solche Fälle können ein Produktteam auf kritische Designfragen aufmerksam machen.

Dieses Banking-Beispiel ist hypothetisch. Es illustriert die methodische Konsequenz, nicht ein in der NN/g-Studie beobachtetes Ergebnis.

Warum diese Studie nicht alles beweist

Wissenschaftliche Sorgfalt verlangt, auch die Grenzen des Vergleichs zu benennen. Untersucht wurde eine einzelne offene Frage zur Benennung eines Berufsfeldes – keine vollständige qualitative Interviewstudie. Die menschlichen und synthetischen Gruppen waren zudem unterschiedlich zusammengesetzt: Unter den real Befragten waren 67 Prozent UX-Fachleute, unter den synthetischen nur 20 Prozent. [1]

Außerdem antworteten die simulierten Personen im Rahmen künstlich geführter Interviews, während die Menschen eine Umfragefrage beantworteten. Die KI-Plattform formulierte die Frage teilweise um. Auch diese Unterschiede könnten das Antwortverhalten beeinflusst haben. Die Untersuchung belegt daher nicht, dass alle synthetischen Verfahren immer schlechter sind. Sie zeigt aber ein konkretes Risiko, das bei ihrem Einsatz geprüft werden muss.

Ein weiteres Forschungsprojekt aus dem Jahr 2026 verglich menschliche und KI-generierte Sichtweisen mit einer Q-methodologischen Analyse. Auch dort fanden die Autoren deutliche Probleme bei der Abbildung menschlicher Perspektivenvielfalt. Die Übertragbarkeit auf andere Modelle, Populationen und Aufgaben bleibt jeweils zu prüfen. [2]

Wo synthetische Teilnehmer sinnvoll sein können

Synthetische Teilnehmer müssen deshalb nicht grundsätzlich nutzlos sein. Sie können in frühen Projektphasen helfen, Annahmen sichtbar zu machen, Hypothesen zu formulieren, Gesprächsleitfäden zu testen oder bekannte Argumentationsmuster zu strukturieren. Solche Einsätze sind jedoch etwas anderes als die empirische Untersuchung realer Nutzer. [3]

Ein entscheidender Unterschied lautet: Eine KI kann eine plausible Erfahrung beschreiben. Sie hat diese Erfahrung deshalb nicht selbst gemacht. Wer wissen möchte, wie Menschen tatsächlich handeln, welche Kompromisse sie eingehen und warum sie von der vermeintlichen Norm abweichen, benötigt Daten von echten Menschen.

Die Konsequenz für UX Research und Marktforschung

Für Auftraggeber ergeben sich drei praktische Prüfsteine: Erstens sollte der Zweck einer Studie klar sein. Geht es um Ideenfindung oder um belastbare Aussagen über reale Zielgruppen? Zweitens muss offengelegt werden, welche Erkenntnisse aus menschlicher Forschung stammen und welche lediglich simuliert wurden. Drittens sollten insbesondere seltene Perspektiven und relevante Untergruppen gezielt mit realen Teilnehmern untersucht werden.

Das gilt besonders bei komplexen B2B-Entscheidungen, sensiblen Healthcare-Themen und spezialisierten UX-Fragestellungen. Hier hängt die Erkenntnisqualität oft von konkreten Lebens- und Berufserfahrungen ab, die ein statistisch plausibles Profil nicht ersetzen kann.

Für uns bei Insight Fox ist Teilnehmerrekrutierung deshalb keine austauschbare Vorstufe zur eigentlichen Forschung. Sie ist ein methodischer Teil der Studie: Wer befragt wird, welche Erfahrungen diese Menschen tatsächlich mitbringen und wie ihre Eignung geprüft wurde, bestimmt mit, welche Erkenntnisse überhaupt entstehen können.

Nicht jede überraschende Antwort ist richtig. Aber jede vorschnell weggeglättete Perspektive kann eine verpasste Erkenntnis sein.

Fazit: Echte Menschen bleiben der Maßstab

Die neue NN/g-Untersuchung ist kein Argument gegen den Einsatz von KI in der Marktforschung. Sie ist ein Argument gegen die Verwechslung von Simulation und Beobachtung. KI kann helfen, Forschung vorzubereiten, zu strukturieren und effizienter zu machen. Ob synthetische Antworten eine bestimmte Zielgruppe valide repräsentieren, muss aber unabhängig und aufgabenspezifisch nachgewiesen werden.

Qualitative Forschung lebt nicht nur davon, das Erwartbare zu bestätigen. Ihr Wert liegt oft darin, Widersprüche, Randfälle und bislang unbekannte Sichtweisen zu entdecken. Deshalb lautet die entscheidende Frage nicht: „Kann KI eine plausible Antwort geben?“ Sondern: „Welche menschlichen Erfahrungen fehlen uns, wenn wir nur diese Antwort hören?“

Über Insight Fox

Insight Fox ist auf die Rekrutierung geeigneter Teilnehmer für qualitative Marktforschung und UX Research spezialisiert. Hinter der Marke steht das Team der WMM GmbH, das seit 2004 in der qualitativen Marktforschung tätig ist. Unser Anspruch: sorgfältiges Screening, persönliche Prüfung und nachvollziehbare Rekrutierungsqualität – damit Forschung auf realen Erfahrungen beruht.

Redaktioneller Hinweis: Die genannten Studien untersuchen unterschiedliche Fragestellungen und Verfahren. Die Aussagen dieses Beitrags sind entsprechend eingegrenzt; hypothetische Beispiele sind als solche gekennzeichnet.

Quellen & weiterführende Literatur

  1. [1] Nielsen Norman Group (16.10.2026): Synthetic Users vs. Human Respondents: Same Conclusion, Less Variation
  2. [2] The Synthetic Persona Fallacy in HCI-Q Methodology (2026), DOI: 10.3233/FAIA260490
  3. [3] Nielsen Norman Group: Synthetic Users: If, When, and How to Use AI-Generated “Research”
  4. [4] IEEE Access (2026): Synthetic Audiences as Proxies for Human Users: A Systematic Literature Review, DOI: 10.1109/ACCESS.2026.3703706
Nächster Schritt

Möchten Sie Ihr Projekt kurz vorstellen? Wir geben eine ehrliche Ersteinschätzung.