arXiv:2606.18060: PseudoBench zeigt, dass agentische KI Pseudowissenschaft mit nahezu nullprozentiger Ablehnungsrate verbreitet

Ein neues Preprint stellt PseudoBench vor, einen Benchmark, der misst, wie gut sich autonome KI-Agenten gegen Pseudowissenschaft behaupten — und feststellt, dass sie sich kaum behaupten.

Test anhand von 200 pseudowissenschaftlichen Behauptungen

PseudoBench besteht aus 200 Paaren pseudowissenschaftlicher Behauptung und Beleg in fünf Domänen, getestet an sieben führenden KI-Agenten. Pseudowissenschaft bezeichnet hier Inhalte, die die Form von Wissenschaft nachahmen, ohne wissenschaftliche Grundlage zu haben. Die Ergebnisse sind beunruhigend: Die Ablehnungsrate ist nahezu null, und die höchste gemessene Resistenz betrug nur 27,4 % — Agenten nehmen pseudowissenschaftliche Prämissen größtenteils an und elaborieren sie, anstatt sie abzulehnen.

Das Paradox der stärkeren Modelle

Die Ergebnisse offenbaren ein kontraintuitives Muster: Stärkere Modelle verpacken Pseudowissenschaft in ausgefeiltere akademische Sprache und machen sie dadurch überzeugender, was das Risiko erhöht. Das widerspricht der Erwartung, dass leistungsfähigere Modelle Unwahrheiten besser erkennen würden. Die Arbeit deckt auch die gesamte Kette ab — von der Versuchsplanung bis zum fertigen Text — sodass autonome Agenten vollständige, überzeugende Falschstudien erstellen können.

Was die Autoren empfehlen

Das Fazit der Arbeit (im Kontext der ICML 2026 vorgestellt, 26 Seiten) lautet, dass „wissenschaftliches Alignment” notwendig ist, bevor autonome Forschungsagenten massenhaft eingesetzt werden. Da KI-Systeme in reale wissenschaftliche Abläufe eintreten — wie am selben Tag Google AMIE und OpenAIs KI-Chemiker zeigten — wird die Fähigkeit, Pseudowissenschaft abzulehnen, zu einer Sicherheitsvoraussetzung, nicht nur zu einer wünschenswerten Eigenschaft.