Turnitin är en av de mest välkända och pålitliga plagiatkontrollmodellerna på marknaden och används flitigt av akademiska institutioner. I april 2023 utvecklades systemet till att inkludera en AI-detektionsmodell och utökade dess funktioner för att hänga med i den ständigt föränderliga världen av AI.
Men hur fungerar denna nya AI-detektionsmodell? Och kan du lita på det? I den här guiden kommer vi att utforska Turnitins AI-detektor från A till Ö, inklusive hur den fungerar, hur man tolkar dess resultat och hur exakt verktyget är.
Så om du är redo att fördjupa dig i Turnitin, låt oss börja.
Hur fungerar Turnitin för AI-detektion?
Turnitin har en unik metod för att upptäcka AI-genererat innehåll. Det involverar en kombination av avancerade algoritmer, maskininlärning och språkanalys.
Detta system är utformat för att identifiera textstycken som har mönster som överensstämmer med att de genereras av AI eller Large Language Models (LLM). Dessa kan inkludera ChatGPT-3, ChatGPT-3.5 och liknande AI-modeller.
Hur enkel den här förklaringen än låter, det finns mycket mer som går in i den här processen än vad man kan se. Det finns en serie steg som Turnitins AI-detektionsverktyg använder för att flagga innehåll som genereras av AI-skrivverktyg, där varje steg spelar en avgörande roll i processen. Dessa steg inkluderar:
- Inlämningsbearbetning: När du lämnar in en uppgift via Turnitin delas den först upp i mindre delar av texten. Detta är vanligtvis några hundra ord per portion för att hjälpa till att analysera texten i sitt sammanhang och förbättra Turnitins noggrannhet.
- Segmentpoäng: Sedan poängsätts varje textsegment av AI-detektionsmodellen på en skala från 0 till 1. En poäng på 0 tyder på att texten är mänsklig och en poäng på 1 indikerar att segmentet är AI-genererad text. Poängen går också i steg, med poäng från 0.5 till 1 flaggas som AI beroende på sammanhanget inom det övergripande innehållet.
- Aggregation och förutsägelse: När alla segment har poängsatts kombineras eller aggregeras dessa poäng för att generera en förutsägelse av hur mycket av texten som sannolikt kommer att genereras av AI. Denna totala poäng presenteras sedan i Turnitins AI-detektionsindikator.
Det är viktigt att komma ihåg att Turnitins AI-detektionsverktyg är tränat på olika språkmodeller, vilket hjälper det att fånga upp text som genereras av flera olika AI-verktyg. Plus, till skillnad från vissa andra AI-pjäser, är Turnitin designad för att känna igen språkegenskaper som genereras av LLM:er.
Till exempel producerar LLM vanligtvis text som har en hög sannolikhet att välja nästa ord i en mening baserat på mönster som AI-skribenten har lärt sig från sin träningsdata. Turnitins AI-detektorklassificerare tränas sedan för att fånga upp dessa mönster och kan skilja dem från mänskligt skrivande.
Hur exakt är Turnitins AI-skrivdetektering?
Ett av de mest intressanta påståendena som Turnitin gör är att dess AI-skrivdetekteringsmodell är upp till 98 % korrekt när det gäller att identifiera text som genereras av AI. Även om det finns gott om akademiska institutioner som använder Turnitins AI-detektionsverktyg, är det viktigt att förstå att det inte finns något AI-detektionsverktyg som är 100 % idiotsäkert.
Som med alla AI-detektorer löper Turnitin fortfarande risk för falska positiva resultat. Falska positiva hänvisar till fall där AI-detektorer felaktigt klassificerar mänskligt skrivande som innehåll genererat av AI. Naturligtvis kan detta göra att elever blir felaktigt anklagade för att använda AI-verktyg för att generera sina uppgifter.
För att undvika denna onödiga komplikation med att använda en AI-detektor, betonar Turnitin vikten av att minska falska positiva resultat och genomgår regelbundet tester. Det betyder att den ibland kan missa AI-genererad text. Turnitin siktar dock på att hålla sin falska positiva andel under 1 % för uppdrag med över 20 % av AI-skrivandet.
Även om Turnitin är ett sätt att effektivisera granskningsprocessen för inlämningar, kan att veta hur exakt den här AI-detektorn är göra din betygsprocess mer exakt. För ännu mer exakta betygsresultat kan du också använda Smodins AI Grader för att hjälpa dig att bearbeta och betygsätta fler inlämningar på ännu kortare tid.
Vilka AI-skrivmodeller upptäcker Turnitin?
Turnitins AI-skrivdetekteringsfunktioner är speciellt utformade för att identifiera innehåll som genereras av olika AI-modeller. När den initialt lanserades var Turnitin utbildad för att upptäcka modeller som ChatGPT-3 och ChatGPT-3.5, såväl som alla deras varianter. Detta inkluderar att känna igen innehåll som genereras av AI-språkmodeller som är baserade på eller liknar ChatGPT-3-modellen.
Turnitin har testats för dess kompatibilitet med ChatGPT-4 (särskilt ChatGPT Plus) och påstår sig kunna upptäcka AI-skrivning som produceras av modellen i de flesta fall. Ändå måste AI-detektorn justeras och omvärderas för bättre noggrannhet med denna AI-generator.
När AI fortsätter att utvecklas har Turnitin erkänt behovet av att utöka sina AI-skrivdetekteringsmöjligheter för nya eller uppdaterade AI-modeller. Detta innebär att pedagoger bör vara medvetna om potentiella falska rapporter när elever använder mer avancerade eller olika AI-språkmodeller.
Om du vill använda en AI-detektor som exakt kan ta upp text som har genererats av andra modeller, se till att kolla in Smodins AI-innehållsdetektor.
Förstå Turnitins AI-resultat
En del av att använda Turnitins AI-skrivdetekteringsverktyg är att veta hur man tolkar dess resultat. Procentandelen som visas i AI-skrivdetekteringsindikatorn representerar vanligtvis hur mycket av den inskickade texten fastställts för att genereras av AI-skrivverktyg.
Vanligtvis är denna procentsats baserad på "kvalificerande" text. Det handlar om prosasatser som är skrivna i en vanlig grammatisk form. Den innehåller dock inte text som kan vara skriven i form av listor eller punktpunkter. Så när du kontrollerar bidrag är det viktigt att komma ihåg att inte all text kanske har skannats – bara den kvalificerande texten.
En annan viktig faktor att tänka på när man arbetar med ett AI-detektionsverktyg är att det alltid ska användas som ett kompletterande hjälpmedel och inte bör användas som ett definitivt sätt att bevisa eller motbevisa användningen av AI-skrivning. Eftersom det inte finns vilken som helst AI-detektorer som har 100 % noggrannhet, du måste använda ditt eget omdöme för att analysera AI-poängen också.
Turnitins likhetsrapport
Turnitins AI-detektionsförmåga har gjort det till ett kraftpaket för att kontrollera att en inlämnad uppgift inom ett akademiskt sammanhang följer utbildningsinstitutionens regler och föreskrifter. Turnitin inkluderar dock också en integrerad plagiatkontroll.
Av denna anledning är det avgörande för lärare att förstå skillnaden mellan AI-poängen och Similarity-poängen. Annars kan du oavsiktligt anklaga elever för att använda AI-skapad text när deras uppgift faktiskt har kommit tillbaka med ett högre plagiatpoäng – inte en hög AI-poäng.
Likhetsrapporten ger utbildare en detaljerad analys av hur lik en inlämnad uppgift är till befintliga källor (inom Turnitins databas). Plagiatkontrollen, vid sidan av likhetspoängen (representerad i procent), framhäver likheterna mellan de två texterna.
Vanliga frågor
Flaggar Turnitins AI-skrivdetektor parafraserat innehåll?
I vissa fall kan inlämningar innehålla omskrivet innehåll som har spunnits med en AI Detection Remover.
Turnitins AI-detektor kan vanligtvis fånga upp tillfällen där dessa verktyg har använts, även om det fortfarande finns möjlighet till falska positiva eller negativa resultat beroende på AI-skrivmodellen.
Detta gäller särskilt om texten innehåller en kombination av AI-genererat innehåll och mänskligt skrivet innehåll.
Hur skiljer sig Turnitins AI-skrivdetektering från plagiatdetektering?
Turnitins AI-detektor och plagiatkontrollfunktioner är två distinkta processer på plattformen. Plagiatkontrollen är utformad för att leta efter fall där texten delar likheter med andra publicerade artiklar, bloggar, akademiska artiklar och allmänt innehåll. Detta framgår av likhetsrapporten. Ju högre likhetspoäng, desto fler likheter har verktyget hittat.
Å andra sidan är Turnitins AI-detekteringsmöjligheter begränsade till att hitta instanser av AI-skrivning, där innehållet visar sig vara genererat av språkmodeller som ChatGPT. Detta representeras av en AI-procentpoäng.
Kan Turnitin upptäcka AI-innehåll på andra språk än engelska?
Turnitins AI-detektor är begränsad till att analysera inlämningar i engelska texter. Det innebär att institutioner som i första hand tar emot uppsatser och uppsatser på engelska kan använda Turnitin för att analysera dessa dokument, men kontrollören fungerar inte för inlämningar på andra språk.
Avslutande tankar
Turnitin är ett fantastiskt verktyg för att upprätthålla akademisk integritet mitt i utvecklingen av AI-innehåll. Med verktyget som hävdar upp till 98 % noggrannhet har det blivit ett ovärderligt hjälpmedel för både lärare och studenter och verkar förbättras och expanderas för att hänga med i utvecklingen av AI-skrivverktyg.
Förutom sin AI-detektionsfunktion har den också en integrerad plagiatkontroll, vilket skapar ett omfattande verktyg som minskar behovet av flera verktyg. Detta gör i sin tur kontroll och bedömning av akademiska dokument snabbare och enklare än någonsin.