„Firewall für die Wissenschaft“: Neues KI-Tool identifiziert fragwürdige Fachzeitschriften

Informatiker haben ein neues System entwickelt, das mittels Künstlicher Intelligenz (KI) automatisiert nach fragwürdigen wissenschaftlichen Zeitschriften sucht. Laut der neuen Studie, veröffentlicht in „Science Advances“, sind derzeit mehr als 1000 solcher Zeitschriften im Umlauf.

Wenn Wissenschaftler eine neue Studie bei einer renommierten Fachzeitschrift einreichen, durchläuft diese in der Regel ein Peer-Review-Verfahren, in dem externe Experten die Qualität der Forschungsarbeit bewerten – das ist zumindest das Ziel.

Predatory Journals auf dem Vormarsch

Eine wachsende Zahl von Unternehmen versucht, diesen Prozess zu umgehen, um daraus Profit zu schlagen. Im Jahr 2009 prägte Jeffrey Beall, Bibliothekar an der University of Colorado Denver (USA), den Begriff der „Predatory Journals“, um solche Herausgeber zu beschreiben. Sie zielen oft auf Forschende außerhalb der USA und Europas ab, beispielsweise in China, Indien und dem Iran – Länder, in denen die wissenschaftlichen Institutionen teils noch jung und der Druck und die Anreize für Wissenschaftler, zu publizieren, hoch sind.

Das Problem ist nicht unbekannt. Der Informatiker Dr. Daniel Acuña wird mehrmals wöchentlich in seinem E-Mail-Postfach daran erinnert: Spam-Nachrichten von Personen, die sich als Herausgeber wissenschaftlicher Zeitschriften ausgeben – meist von Zeitschriften, von denen Acuña noch nie gehört hat – und anbieten, seine Artikel zu veröffentlichen – gegen eine saftige Gebühr. „Sie werben: ‚Wenn Sie 500 oder 1000 Dollar bezahlen, prüfen wir Ihre Arbeit‘“, erklärt Acuña. „In Wirklichkeit bieten sie aber gar keine Dienstleistung an, sondern nehmen einfach das PDF und stellen es auf ihre Website.“

„Wie ein Maulwurfspiel“

Es gibt schon seit Längerem Versuche, diese Praxis einzudämmen, darunter die gemeinnützige Organisation Directory of Open Access Journals (DOAJ). Seit 2003 haben Freiwillige des DOAJ bereits Tausende von Zeitschriften anhand von sechs Kriterien als verdächtig gekennzeichnet. Zum Beispiel veröffentlichen seriöse Herausgeber in der Regel eine detaillierte Beschreibung ihrer Peer-Review-Richtlinien auf ihren Webseiten. Doch mit der Verbreitung von fragwürdigen Veröffentlichungen Schritt zu halten, ist für den Menschen eine Herausforderung.

„Wissenschaftler und Organisationen bemühen sich zunehmend, diese Zeitschriften zu überprüfen“, so Acuña. „Aber es ist wie ein Maulwurfspiel. Man erwischt eine, und dann taucht eine andere auf, meist vom selben Unternehmen. Sie erstellen einfach eine neue Webseite und denken sich einen neuen Namen aus.“

Effizienteres Screening durch KI

Um zu einer Lösung dieses Problems beizutragen, entwickelten Acuña und sein Team ein neues KI-Tool, das automatisiert wissenschaftliche Zeitschriften durchsucht und deren Webseiten und andere Online-Daten nach bestimmten Kriterien bewertet. Das Team trainierte das System mit den Daten des DOAJ und ließ die KI anschließend eine Liste von fast 15.200 Open-Access-Zeitschriften im Internet durchforsten. Unter diesen Zeitschriften markierte die KI zunächst mehr als 1400 als potenziell problematisch.

Die Forschenden baten anschließend menschliche Experten, eine Auswahl der verdächtigen Zeitschriften zu überprüfen. Den Experten zufolge markierte die KI schätzungsweise 350 Publikationen als fragwürdig, obwohl sie wahrscheinlich legitim waren. Dennoch blieben immer noch über 1000 Zeitschriften übrig, die die Forschenden als fragwürdig identifizierten.

Acuña bestätigt, dass das Tool nicht perfekt sei. „Ich denke, [unser Tool] sollte als Hilfestellung für die Vorabprüfung einer großen Anzahl von Zeitschriften genutzt werden“, erklärt er. „Die abschließende Analyse sollte jedoch von menschlichen Experten durchgeführt werden.“ Aber in einer Zeit, in der prominente Persönlichkeiten die Legitimität der Wissenschaft in Frage stellen, sei es wichtiger denn je, die Verbreitung fragwürdiger Veröffentlichungen zu stoppen, so der Informatiker weiter.

Transparenz statt Black Box

Außerdem wollen Acuña und sein Team nicht, dass ihr System eine „Black Box“ wie manche andere KI-Plattformen sei. „Bei ChatGPT zum Beispiel versteht man oft nicht, warum es etwas vorschlägt. Wir haben versucht, unser System so interpretierbar wie möglich zu gestalten.“

Das Team entdeckte beispielsweise, dass fragwürdige Zeitschriften ungewöhnlich viele Artikel veröffentlichten. Außerdem hatten die Autoren meist eine größere Anzahl an Affiliationen als seriösere Zeitschriften und die Autoren zitierten ungewöhnlich häufig ihre eigene Forschung, anstatt die Forschung anderer Wissenschaftler.