Whodunit? Mensch oder ChatGPT?

Wissenschaftler haben sich mit der Frage befasst, wie gut Gutachter erkennen können, ob die Zusammenfassung eines wissenschaftlichen Artikels mit ChatGPT oder von einem Menschen verfasst wurde. Nicht allzu gut, soviel schon vorweg.

Die Forschenden kamen zu dem Schluss, dass je fachfremder die Gutachter sind, desto schwerer ist es für sie zu unterscheiden, ob eine wissenschaftliche Veröffentlichung von ChatGPT oder von einem Menschen verfasst wurde.

Das Team aus Tiermedizinerinnen und Tiermedizinern der Klinik für Kleintiere der Stiftung Tierärztliche Hochschule Hannover (TiHo) testete gemeinsam mit Forschenden verschiedener europäischer Institutionen, wie gut die Gutachter imstande waren zu unterscheiden, ob die Zusammenfassung eines wissenschaftlichen Artikels mit ChatGPT oder von einem Menschen verfasst wurde. Sie konzentrierten sich dabei auf das Fach Neurologie.

Unter dem Titel „ChatGPT and Scientific Papers in Veterinary Neurology; Is the Genie Out of the Bottle?” veröffentlichte das Team seine Ergebnisse in dem Fachmagazin „Frontiers in Veterinary Science”. Das Team bewertete dafür die Fähigkeit von ChatGPT, wissenschaftliche Arbeiten für das Fach veterinärmedizinische Neurologie zu generieren. Sie ließen Abstracts und Einleitungen mit Referenzen erstellen und analysierten sie anschließend. Für die Arbeit wählten sie die drei Forschungsbereiche Entzündungen des Gehirns, Epilepsie und canine Geruchserkennung aus. Des Weiteren überprüften sie die Texte mit gängigen KI- und Plagiatserkennungssoftwares.

Dr. Samira Abani, Klinik für Kleintiere und Erstautorin der Arbeit, sagte: „Unsere Studie beleuchtet die Vorzüge und die Einschränkungen von ChatGPT beim wissenschaftlichen Schreiben im Bereich Tiermedizin. Ein negatives Beispiel ist, wenn ChatGPT zum alleinigen Schreiben der wissenschaftlichen Dokumente benutzt wird, da es zu ‚Halluzinationen‘ neigt und Sachen erfindet. Es gibt aber auch positive Beispiele: So kann die Anwendung Dokumente für die englische Sprache für nicht Muttersprachler überarbeiten und die Nachteile nicht englischsprachiger Forschender überwinden.”

Dr. Jasmin Nessler, wissenschaftliche Mitarbeiterin in der Klinik für Kleintiere, fügt hinzu: „Die Ergebnisse waren sehr aufschlussreich für uns. Erfahrene Neurologinnen und Neurologen, die mit den Feinheiten des wissenschaftlichen Schreibens vertraut sind, hatten zunehmend Schwierigkeiten, zwischen von ChatGPT generierten und von Menschenhand verfassten Abstracts zu unterscheiden, insbesondere bei abnehmender Fachkenntnis. Diese Erkenntnis unterstreicht die Fähigkeit von ChatGPT, menschliche Schreibstile nachzuahmen und kohärent klingende, plausible Texte zu erzeugen.“

Professor Holger Volk, PhD, Leiter der Klinik für Kleintiere, sagt: „Die Studie zeigt, dass selbst erfahrene Gutachterinnen und Gutachter getäuscht werden können, da Sprachmodelle wie ChatGPT darauf trainiert sind, menschliche Schreibstile nahtlos zu imitieren. Die Auswirkungen für die wissenschaftliche Gemeinschaft sind tiefgreifend und erfordern eine Neubewertung herkömmlicher Bewertungskriterien.”