arXiv:2605.04908: Gosset mit kuriertem Pharma-Index übertrifft Frontier-LLMs um das 3,2-Fache

Eine neue Studie auf arXiv zeigt, dass eine spezialisierte KI-Plattform mit kurierter Pharma-Datenbank allgemeine Frontier-LLMs bei der Medikamentensuche für Nischen-Therapieziele deutlich übertrifft. Die Forschung vergleicht ein System namens Gosset mit vier führenden Modellen bei Asset-Discovery-Aufgaben in Onkologie und Immunologie.

Wie war das Experiment aufgebaut?

Alle fünf Systeme erhielten identische Abfragen in natürlicher Sprache und dasselbe JSON-Ausgabeschema. Die Evaluierung umfasste zehn spezialisierte Targets, bei denen ein Großteil der Pipeline-Aktivität in präklinischen und asiatisch entwickelten Substanzen stattfindet — Bereiche, die in den Ergebnissen allgemeiner Websuche typischerweise unterrepräsentiert sind. Die Frontier-Kontrollen waren Claude Opus 4.7, GPT 5.5, Gemini 3.1 Pro und Perplexity sonar-pro.

Was waren die wichtigsten Ergebnisse?

Gosset lieferte 3,2-mal mehr verifizierte Medikamente pro Anfrage als das beste Frontier-System. Es erzielte 100 % Präzision und vollständigen Recall, gemessen an der Vereinigung aller verifizierten Medikamente, die ein beliebiges System im Test zurückgab. Mit anderen Worten: Der kuratierte Index fand nicht nur mehr Treffer, sondern vermied gleichzeitig Falsch-Positive in Bereichen, in denen allgemeine Modelle häufig Medikamentennamen halluzinieren oder sie Targets falsch zuordnen.

Was bedeutet dies für Frontier-Modelle?

Die Autoren betonen, dass die Ergebnisse nicht den Ersatz von Allzweckmodellen nahelegen, sondern deren Erweiterung. Da Gosset als MCP-Server-Tool verfügbar ist, können Frontier-Modelle es in ihre Toolchain integrieren und so „den Großteil der Recall-Lücke schließen”, indem sie generische Websuche durch eine spezialisierte kuratierte Datenbank ersetzen. Dies positioniert kuratierte vertikale Indizes als komplementäre, nicht konkurrierende Kategorie zu großen Modellen.