Co-Autor ChatGPT? Anstieg bei mit KI erstellter Inhalte in ASCO-Abstracts

Wie stark greifen Wissenschaftler bei der Erstellung von Artikeln auf generative Modelle mit Künstlicher Intelligenz (KI) wie ChatGPT von OpenAI zurück? Dieser Frage ging ein US-amerikanisches Team nach.

Dazu extrahierten die Forscher um Dr. Frederick Matthew Howard von der University of Chicago, USA, in Zusammenarbeit mit dem Center for Research and Analytics der American Association of Clinical Oncoloy (ASCO) Text aus allen wissenschaftlichen Abstracts, die bei den Jahrestagungen der ASCO 2021 bis 2023 eingereicht wurden.

Die Wahrscheinlichkeit von KI-Inhalten evaluierten sie mithilfe von vier KI-Detektoren: GPTZero, Originality.ai (OGAI), Sapling und Kashyaps KI-Inhaltsdetektor (AICD). Jeder Detektor erzeugt eine numerische Wahrscheinlichkeit von KI-Inhalten. Die Vorhersagen wurden dichotomisiert, um eine einheitliche Analyse über alle Detektoren hinweg zu ermöglichen: Diejenigen in den oberen fünf Prozent für einen bestimmten Detektor wurden als solche mit hoher Wahrscheinlichkeit für KI-Inhalte angesehen.

Mithilfe einer logistischen Regression wurde die OR für KI-generierte Inhalte in Bezug auf Einreichungsjahr und Abstract-Merkmale berechnet. Als Negativkontrollen schlossen die Wissenschaftler 10 von Menschen verfasste Abstracts ein, als Positivkontrollen zehn von OpenAIs GPT-3- und GPT-4-Modellen erstellte Abstracts.

Von 15.553 Abstracts, die die Einschlusskriterien erfüllten, wurden 5179 (33%) nur online veröffentlicht und 5327 (34%) bezogen sich auf registrierte klinische Studien. Wie sich zeigte, enthielten Abstracts, die 2023 eingereicht wurden, über alle Detektoren hinweg deutlich häufiger KI-Inhalte als solche aus dem Jahr 2021 (OR-Spanne 1,3 – 1,7). In Abstracts aus dem Jahr 2023 war der KI-Inhaltswert mit der ausschließlichen Online-Veröffentlichung, dem Fehlen einer klinischen Studiennummer und dem Abstract-Track* verbunden.

Keines der zehn von Menschen als Negativkontrolle verfassten Abstracts wurde als von KI generiert identifiziert, wohingegen 100, 95, 90 und 30 Prozent der von GPT-3/4 generierten Abstracts von Sapling, GPTZero, OGAI bzw. AICD anhand des Fünf-Prozen-Schwellenwerts als von KI generiert klassifiziert wurden.

KI-Inhaltsdetektoren wiesen einheitlich auf eine höhere Wahrscheinlichkeit dafür hin, dass Inhalte von Abstracts, die 2023 eingereicht wurden, mit KI generiert wurden, bilanziert das Team. Der vorhergesagte KI-Inhalt sei mit der Triage von Abstracts zur ausschließlichen Online-Präsentation verbunden, was darauf hindeute, dass der vorhergesagte KI-Inhalt mit einer geringeren wahrgenommenen Qualität der Abstracts verbunden ist. (sf)

* Care Delivery, Quality, and Health Services; Medical Education and Professional Development; Prevention, Risk Reduction, and Genetics; Clinical Trial ID Present; Online Only