Turnitin ist eines der bekanntesten und vertrauenswürdigsten Plagiatsprüfmodelle auf dem Markt und wird häufig von akademischen Einrichtungen verwendet. Im April 2023 wurde das System um ein KI-Erkennungsmodell erweitert und seine Funktionen erweitert, um mit der sich ständig verändernden Welt der KI Schritt zu halten.
Aber wie funktioniert dieses neue KI-Erkennungsmodell? Und kann man ihm vertrauen? In diesem Leitfaden erkunden wir den KI-Detektor von Turnitin von A bis Z, einschließlich seiner Funktionsweise, der Interpretation seiner Ergebnisse und der Genauigkeit des Tools.
Wenn Sie also bereit sind, in die Besonderheiten von Turnitin einzutauchen, fangen wir an.
Wie funktioniert Turnitin bei der KI-Erkennung?
Turnitin verfügt über einen einzigartigen Ansatz zur Erkennung von KI-generierten Inhalten. Es beinhaltet eine Kombination aus fortschrittlichen Algorithmen, maschinellem Lernen und Sprachanalyse.
Dieses System ist darauf ausgelegt, Textteile zu identifizieren, die Muster aufweisen, die mit der Generierung durch KI oder Large Language Models (LLMs) übereinstimmen. Dazu können ChatGPT-3, ChatGPT-3.5 und ähnliche KI-Modelle gehören.
So einfach diese Erklärung auch klingen mag, in diesem Prozess steckt viel mehr, als man auf den ersten Blick sieht. Das KI-Erkennungstool von Turnitin verwendet eine Reihe von Schritten, um von KI-Schreibtools generierte Inhalte zu kennzeichnen, wobei jeder Schritt eine entscheidende Rolle im Prozess spielt. Zu diesen Schritten gehören:
- Einreichungsbearbeitung: Wenn Sie eine Aufgabe über Turnitin einreichen, wird diese zunächst in kleinere Textabschnitte aufgeteilt. Dies sind normalerweise einige hundert Wörter pro Abschnitt, um die Analyse des Texts im Kontext zu erleichtern und die Genauigkeit von Turnitin zu verbessern.
- Segmentbewertung: Anschließend wird jedes Textsegment vom KI-Erkennungsmodell auf einer Skala von 0 bis 1 bewertet. Eine Bewertung von 0 deutet darauf hin, dass der Text menschlich ist, und eine Bewertung von 1 zeigt an, dass es sich bei dem Segment um KI-generierten Text handelt. Die Bewertungen werden ebenfalls gestaffelt, wobei Bewertungen von 0.5 bis 1 je nach Kontext innerhalb des Gesamtinhalts als KI gekennzeichnet werden.
- Aggregation und Vorhersage: Sobald alle Segmente bewertet wurden, werden diese Bewertungen kombiniert oder aggregiert, um eine Vorhersage darüber zu erstellen, wie viel Text wahrscheinlich KI-generiert sein wird. Diese Gesamtpunktzahl wird dann im KI-Erkennungsindikator von Turnitin dargestellt.
Es ist wichtig zu bedenken, dass das KI-Erkennungstool von Turnitin auf verschiedenen Sprachmodellen trainiert ist, wodurch es Text erkennen kann, der von mehreren verschiedenen KI-Tools generiert wurde. Darüber hinaus ist Turnitin im Gegensatz zu einigen anderen KI-Prüfprogrammen darauf ausgelegt, Sprachmerkmale zu erkennen, die von LLMs generiert werden.
Beispielsweise erzeugen LLMs in der Regel Text, bei dem die Wahrscheinlichkeit hoch ist, dass er das nächste Wort in einem Satz auswählt, basierend auf Mustern, die der KI-Autor aus seinen Trainingsdaten gelernt hat. Die KI-Detektorklassifikatoren von Turnitin werden dann darauf trainiert, diese Muster zu erkennen und sie von menschlicher Schrift zu unterscheiden.
Wie genau ist die KI-Schreiberkennung von Turnitin?
Eine der interessantesten Behauptungen von Turnitin ist, dass sein KI-Schrifterkennungsmodell bei der Identifizierung von KI-generiertem Text bis zu 98 % genau ist. Obwohl es viele akademische Einrichtungen gibt, die das KI-Erkennungstool von Turnitin verwenden, ist es wichtig zu verstehen, dass es kein KI-Erkennungstool gibt, das zu 100 % narrensicher ist.
Wie bei jedem KI-Detektor besteht auch bei Turnitin immer noch das Risiko falsch positiver Ergebnisse. Falsch positive Ergebnisse beziehen sich auf Fälle, in denen KI-Detektoren menschliches Schreiben fälschlicherweise als von KI generierte Inhalte klassifizieren. Dies kann natürlich dazu führen, dass Schülern fälschlicherweise vorgeworfen wird, sie würden KI-Tools zur Erstellung ihrer Aufgaben verwenden.
Um diese unnötige Komplikation bei der Verwendung eines KI-Detektors zu vermeiden, legt Turnitin Wert auf die Reduzierung falsch positiver Ergebnisse und führt regelmäßig Tests durch. Dies bedeutet, dass gelegentlich KI-generierter Text übersehen werden kann. Turnitin ist jedoch bestrebt, die Falsch-Positiv-Rate bei Aufgaben mit mehr als 1 % KI-Schreibanteil unter 20 % zu halten.
Obwohl Turnitin eine Möglichkeit ist, den Überprüfungsprozess für Einreichungen zu optimieren, kann die Kenntnis der Genauigkeit dieses KI-Detektors Ihren Bewertungsprozess genauer machen. Für noch genauere Bewertungsergebnisse können Sie auch verwenden Smodins KI-Grader Damit Sie mehr Einsendungen in noch kürzerer Zeit bearbeiten und bewerten können.
Welche KI-Schreibmodelle erkennt Turnitin?
Die KI-Schreiberkennungsfunktionen von Turnitin sind speziell für die Identifizierung von Inhalten konzipiert, die von verschiedenen KI-Modellen generiert wurden. Bei der ersten Einführung wurde Turnitin darauf trainiert, Modelle wie ChatGPT-3 und ChatGPT-3.5 sowie alle ihre Varianten zu erkennen. Dazu gehört die Erkennung von Inhalten, die von KI-Sprachmodellen generiert wurden, die auf dem ChatGPT-3-Modell basieren oder diesem ähneln.
Turnitin wurde auf Kompatibilität mit ChatGPT-4 (insbesondere ChatGPT Plus) getestet und gibt an, in den meisten Fällen das vom Modell erzeugte KI-Schreiben erkennen zu können. Dennoch muss der KI-Detektor optimiert und neu bewertet werden, um mit diesem KI-Generator eine bessere Genauigkeit zu erzielen.
Da sich die KI ständig weiterentwickelt, hat Turnitin die Notwendigkeit erkannt, seine KI-Schrifterkennungsfunktionen für neue oder aktualisierte KI-Modelle zu erweitern. Dies bedeutet, dass Pädagogen sich möglicher Falschmeldungen bewusst sein sollten, wenn Schüler fortgeschrittenere oder andere KI-Sprachmodelle verwenden.
Wenn Sie einen KI-Detektor verwenden möchten, der den von anderen Modellen generierten Text genau erkennen kann, dann schauen Sie sich unbedingt um Smodins KI-Inhaltsdetektor.
Die KI-Ergebnisse von Turnitin verstehen
Ein Teil der Verwendung des KI-Schrifterkennungstools von Turnitin besteht darin, zu wissen, wie die Ergebnisse zu interpretieren sind. Der Prozentsatz, der im Indikator für die KI-Schreiberkennung angezeigt wird, gibt normalerweise an, wie viel des übermittelten Textes nachweislich von KI-Schreibtools generiert wurde.
Normalerweise basiert dieser Prozentsatz auf „qualifizierendem“ Text. Dabei handelt es sich um Prosasätze, die in einer standardisierten grammatikalischen Form verfasst sind. Es enthält jedoch keinen Text, der möglicherweise in Form von Listen oder Aufzählungspunkten verfasst ist. Wenn Sie also Ihre Einsendungen prüfen, müssen Sie bedenken, dass möglicherweise nicht der gesamte Text gescannt wurde, sondern nur der qualifizierte Text.
Ein weiterer wichtiger Faktor, der bei der Arbeit mit einem KI-Erkennungstool berücksichtigt werden muss, besteht darin, dass es immer als ergänzendes Hilfsmittel und nicht als definitives Mittel zum Beweis oder zur Widerlegung der Verwendung von KI-Schreiben verwendet werden sollte. Da es keine gibt jedem Bei KI-Detektoren mit einer Genauigkeit von 100 % müssen Sie auch bei der Analyse der KI-Ergebnisse Ihr eigenes Urteilsvermögen einsetzen.
Ähnlichkeitsbericht von Turnitin
Die KI-Erkennungsfunktionen von Turnitin haben es zu einem leistungsstarken Tool für die Überprüfung gemacht, ob eine eingereichte Aufgabe in einem akademischen Kontext den Regeln und Vorschriften der Bildungseinrichtung entspricht. Allerdings verfügt Turnitin auch über einen integrierten Plagiatsprüfer.
Aus diesem Grund ist es für Pädagogen von entscheidender Bedeutung, den Unterschied zwischen dem KI-Score und dem Ähnlichkeitsscore zu verstehen. Andernfalls könnte es passieren, dass Sie Schülern unbeabsichtigt vorwerfen, dass sie KI-erstellten Text verwenden, obwohl ihre Aufgabe tatsächlich eine höhere Plagiatsbewertung aufweist – nicht ein hoher KI-Score.
Der Ähnlichkeitsbericht bietet Pädagogen eine detaillierte Analyse darüber, wie ähnlich eine eingereichte Aufgabe mit vorhandenen Quellen (innerhalb der Turnitin-Datenbank) ist. Der Plagiatsprüfer hebt neben dem Ähnlichkeitswert (dargestellt in Prozent) die Ähnlichkeiten zwischen den beiden Texten hervor.
FAQs
Markiert der KI-Schreibdetektor von Turnitin paraphrasierte Inhalte?
In einigen Fällen können Einsendungen umschriebene Inhalte enthalten, die mithilfe eines gesponnen wurden KI-Erkennungsentferner.
Der KI-Detektor von Turnitin kann in der Regel Fälle erkennen, in denen diese Tools verwendet wurden, obwohl je nach KI-Schreibmodell immer noch die Möglichkeit falsch positiver oder negativer Ergebnisse besteht.
Dies gilt insbesondere dann, wenn der Text eine Kombination aus KI-generierten Inhalten und von Menschen geschriebenen Inhalten enthält.
Wie unterscheidet sich die KI-Schreiberkennung von Turnitin von der Plagiatserkennung?
Die KI-Detektor- und Plagiatsprüffunktionen von Turnitin sind zwei unterschiedliche Prozesse auf der Plattform. Der Plagiatsprüfer soll nach Fällen suchen, in denen der Text Ähnlichkeiten mit anderen veröffentlichten Artikeln, Blogs, wissenschaftlichen Arbeiten und allgemeinen Inhalten aufweist. Dies wird im Ähnlichkeitsbericht dargestellt. Je höher der Ähnlichkeitswert, desto mehr Ähnlichkeiten hat das Tool gefunden.
Andererseits beschränken sich die KI-Erkennungsfunktionen von Turnitin darauf, Fälle von KI-Schreiben zu finden, bei denen festgestellt wird, dass der Inhalt von Sprachmodellen wie ChatGPT generiert wird. Dies wird durch einen KI-Prozentwert dargestellt.
Kann Turnitin KI-Inhalte in anderen Sprachen als Englisch erkennen?
Der KI-Detektor von Turnitin beschränkt sich auf die Analyse von Einsendungen in englischsprachigen Texten. Dies bedeutet, dass Institutionen, die hauptsächlich Aufsätze und Arbeiten in englischer Sprache erhalten, Turnitin zur Analyse dieser Dokumente verwenden können, der Prüfer jedoch nicht für Einreichungen in anderen Sprachen funktioniert.
Abschließende Überlegungen
Turnitin ist ein fantastisches Tool, um die akademische Integrität inmitten der Entwicklung von KI-Inhalten aufrechtzuerhalten. Mit einer Genauigkeit von bis zu 98 % ist das Tool zu einem unschätzbaren Hilfsmittel für Lehrkräfte und Schüler geworden und scheint sich zu verbessern und zu erweitern, um mit den Entwicklungen bei KI-Schreibwerkzeugen Schritt zu halten.
Zusätzlich zu seiner KI-Erkennungsfunktion verfügt es auch über eine integrierte Plagiatsprüfung, wodurch ein umfassendes Tool entsteht, das den Bedarf an mehreren Tools reduziert. Dies wiederum macht die Prüfung und Bewertung wissenschaftlicher Dokumente schneller und einfacher als je zuvor.
