Das digitale Tool erkennt von ChatGPT generierte akademische Texte mit einer Genauigkeit von 99 %

LAWRENCE – Heather Desaire, eine Chemikerin, die maschinelles Lernen in der biomedizinischen Forschung an der University of Kansas einsetzt, hat ein neues Tool vorgestellt, das wissenschaftlichen Text, der von ChatGPT, dem Textgenerator für künstliche Intelligenz, generiert wurde, mit einer Genauigkeit von 99 % erkennt.

Die von Experten begutachtete Zeitschrift Cell Reports Physical Science veröffentlichte Forschungsergebnisse, die die Wirksamkeit ihrer KI-Erkennungsmethode belegen, sowie ausreichend Quellcode, damit andere das Tool replizieren können.

Desaire, der Keith D. Wilner-Lehrstuhl für Chemie an der KU, sagte, dass präzise KI-Erkennungswerkzeuge dringend erforderlich seien, um die wissenschaftliche Integrität zu schützen.

„ChatGPT und alle anderen ähnlichen KI-Textgeneratoren erfinden Fakten“, sagte sie. „In der akademischen Wissenschaftsveröffentlichung – Schriften über neue Entdeckungen und den Rand des menschlichen Wissens – können wir es uns wirklich nicht leisten, die Literatur mit glaubwürdig klingenden Unwahrheiten zu verunreinigen. Sie würden unweigerlich ihren Weg in Veröffentlichungen finden, wenn KI-Textgeneratoren häufig verwendet würden.“ Soweit mir bekannt ist, gibt es keinen narrensicheren Weg, diese sogenannten „Halluzinationen“ automatisiert zu finden. Sobald man anfängt, echte wissenschaftliche Fakten mit erfundenem KI-Unsinn zu füllen, der absolut glaubwürdig klingt, diese Veröffentlichungen werden weniger vertrauenswürdig und weniger wertvoll werden.“

Sie sagte, der Erfolg ihrer Erkennungsmethode hänge davon ab, den Umfang der untersuchten Schriften auf wissenschaftliche Schriften zu beschränken, wie sie üblicherweise in von Experten begutachteten Fachzeitschriften zu finden seien. Dies verbessert die Genauigkeit gegenüber bestehenden KI-Erkennungstools wie dem RoBERTa-Detektor, die darauf abzielen, KI in allgemeineren Schriften zu erkennen.

„Sie können leicht eine Methode entwickeln, um menschliches Schreiben von ChatGPT-Schreiben zu unterscheiden, das sehr genau ist, angesichts des Kompromisses, dass Sie sich darauf beschränken, eine bestimmte Gruppe von Menschen zu berücksichtigen, die auf eine bestimmte Art und Weise schreiben“, sagte Desaire. „Bestehende KI-Detektoren sind in der Regel als allgemeine Werkzeuge konzipiert, die bei jeder Art von Schrift eingesetzt werden können. Sie sind für ihren beabsichtigten Zweck nützlich, aber bei einer bestimmten Art von Schrift werden sie nicht so genau sein wie ein dafür entwickeltes Werkzeug.“ spezifischer und enger Zweck.“

Desaire sagte, dass Universitätsdozenten, Zuschussgeber und Verlage alle eine präzise Methode benötigen, um KI-Ergebnisse zu erkennen, die als Arbeit eines menschlichen Geistes dargestellt werden.

„Wenn man über ‚KI-Plagiat‘ nachdenkt, ist eine Genauigkeit von 90 % nicht gut genug“, sagte Desaire. „Man kann nicht herumlaufen und Menschen beschuldigen, KI heimlich zu nutzen, und sich mit diesen Anschuldigungen häufig irren – Genauigkeit ist entscheidend. Aber um Genauigkeit zu erreichen, muss man meistens einen Kompromiss mit der Verallgemeinerbarkeit eingehen.“

Desaires Mitautoren stammten alle aus ihrer KU-Forschungsgruppe: Romana Jarosova, wissenschaftliche Assistenzprofessorin für Chemie an der KU; David Huax, Informationssystemanalytiker; und die Doktoranden Aleesa E. Chua und Madeline Isom.

Der Erfolg von Desaire und ihrem Team bei der Erkennung von KI-Texten könnte auf das hohe Maß an menschlicher Einsicht (im Vergleich zur Mustererkennung durch maschinelles Lernen) zurückzuführen sein, die in die Entwicklung des Codes eingeflossen ist.

„Wir haben einen viel kleineren Datensatz und viel mehr menschliche Eingriffe verwendet, um die Hauptunterschiede zu identifizieren, auf die sich unser Detektor konzentrieren sollte“, sagte Desaire. „Um genau zu sein, haben wir unsere Strategie mit nur 64 von Menschen geschriebenen Dokumenten und 128 KI-Dokumenten als Trainingsdaten aufgebaut. Das ist vielleicht 100.000 Mal kleiner als die Größe der Datensätze, die zum Training anderer Detektoren verwendet werden. Zahlen werden oft beschönigt. Aber.“ 100.000 Mal – das ist der Unterschied zwischen den Kosten einer Tasse Kaffee und einem Haus. Wir hatten also diesen kleinen Datensatz, der superschnell verarbeitet werden konnte und alle Dokumente tatsächlich von Menschen gelesen werden konnten. Wir haben unser menschliches Gehirn genutzt Um nützliche Unterschiede in den Dokumentensätzen zu finden, haben wir uns nicht auf die zuvor entwickelten Strategien zur Unterscheidung von Menschen und KI verlassen.“

Tatsächlich sagte der KU-Forscher, dass die Gruppe ihren Ansatz entwickelt habe, ohne sich auf die Strategien früherer Ansätze zur KI-Erkennung zu verlassen. Die resultierende Technik weist Elemente auf, die für den Bereich der KI-Texterkennung völlig einzigartig sind.

„Es ist mir ein wenig peinlich, das zuzugeben, aber wir haben die Literatur zur KI-Texterkennung erst dann konsultiert, als wir ein eigenes Arbeitstool in der Hand hatten“, sagte Desaire. „Wir basierten dabei nicht darauf, wie Informatiker über die Texterkennung denken, sondern nutzten unsere Intuition darüber, was funktionieren würde.“

In einem weiteren wichtigen Aspekt haben Desaire und ihre Gruppe die Methoden umgedreht, die von früheren Teams bei der Entwicklung von KI-Erkennungsmethoden verwendet wurden.

„Bei der Entwicklung der Schlüsselfunktionen haben wir den KI-Text nicht in den Mittelpunkt gestellt“, sagte sie. „Wir haben den menschlichen Text in den Mittelpunkt gestellt. Die meisten Forscher, die ihre KI-Detektoren bauen, scheinen sich zu fragen: ‚Wie sieht KI-generierter Text aus?‘ Wir fragten: „Wie sieht diese einzigartige Gruppe menschlicher Schriften aus und wie unterscheidet sie sich von KI-Texten?“ Letztlich handelt es sich bei KI-Schreiben um menschliches Schreiben, da die KI-Generatoren aus großen Beständen menschlicher Schrift bestehen, die sie zusammenfügen. Aber KI-Schreiben, zumindest von ChatGPT, ist verallgemeinertes menschliches Schreiben, das aus einer Vielzahl von Quellen stammt.

„Das Schreiben von Wissenschaftlern ist kein verallgemeinertes menschliches Schreiben. Es ist das Schreiben von Wissenschaftlern. Und wir Wissenschaftler sind eine ganz besondere Gruppe.“

Desaire hat den KI-Erkennungscode ihres Teams für Forscher, die ihn weiterentwickeln möchten, vollständig zugänglich gemacht. Sie hofft, dass andere erkennen, dass KI und KI-Erkennung für Menschen erreichbar sind, die sich jetzt vielleicht nicht als Computerprogrammierer betrachten.

„ChatGPT ist wirklich ein so radikaler Fortschritt und wurde so schnell von so vielen Menschen übernommen, dass dies wie ein Wendepunkt in unserer Abhängigkeit von KI zu sein scheint“, sagte sie. „Aber die Realität ist, dass ein Oberstufenschüler mit etwas Anleitung und Anstrengung das schaffen könnte, was wir getan haben.

„Es gibt riesige Möglichkeiten für Menschen, sich mit KI zu befassen, auch wenn sie keinen Abschluss in Informatik haben. Keiner der Autoren unseres Manuskripts hat einen Abschluss in Informatik. Ein Ergebnis, das ich mir von dieser Arbeit wünschen würde, ist: „Menschen, die sich für KI interessieren, wissen, dass die Hürden bei der Entwicklung echter und nützlicher Produkte wie unseres nicht so hoch sind. Mit ein wenig Wissen und etwas Kreativität können viele Menschen auf diesem Gebiet einen Beitrag leisten.“

Bildnachweis: Pexels

Die University of Kansas ist eine bedeutende umfassende Forschungs- und Lehruniversität. Die Mission der Universität besteht darin, Studenten und die Gesellschaft voranzubringen, indem sie Führungskräfte ausbildet, gesunde Gemeinschaften aufbaut und Entdeckungen macht, die die Welt verändern. Der KU News Service ist das zentrale PR-Büro für den Lawrence-Campus.

[email protected] | 1450 Jayhawk Blvd., Suite 37, Lawrence, KS 66045