Turnitin är en av de mest välkända och pålitliga plagiatkontrollmodellerna på marknaden och används ofta av akademiska institutioner. I april 2023 utvecklades systemet till att omfatta en AI-detekteringsmodell och utökade sina funktioner för att hålla jämna steg med den ständigt föränderliga AI-världen.
Men hur fungerar den här nya AI-detekteringsmodellen? Och kan du lita på den? I den här guiden kommer vi att utforska Turnitins AI-detektor från A till Ö, inklusive hur den fungerar, hur man tolkar dess resultat och hur exakt verktyget är.
Så om du är redo att fördjupa dig i Turnitins detaljer, låt oss komma igång.
Hur fungerar Turnitin för AI-detektering?
Turnitin har ett unikt tillvägagångssätt för att upptäcka AI-genererat innehåll. Det innebär en kombination av avancerade algoritmer, maskininlärning och språkanalys.
Detta system är utformat för att identifiera textstycken som har mönster som överensstämmer med att de har genererats av AI eller stora språkmodeller (LLM). Dessa kan inkludera ChatGPT-3, ChatGPT-3.5 och liknande AI-modeller.
Så enkel som denna förklaring kan låta, det är mycket mer som går in i denna process än vad som syns. Det finns en rad steg som Turnitins AI-detekteringsverktyg använder för att flagga innehåll som genereras av AI-skrivverktyg, där varje steg spelar en avgörande roll i processen. Dessa steg inkluderar:
- Bearbetning av inlämningar: När du skickar in en uppgift via Turnitin delas den först upp i mindre delar av texten. Detta är vanligtvis några hundra ord per del för att hjälpa till att analysera texten i sitt sammanhang och förbättra Turnitins noggrannhet.
- Poängsättning av segment: Därefter poängsätts varje textsegment av AI-detekteringsmodellen på en skala från 0 till 1. En poäng på 0 tyder på att texten är mänsklig och en poäng på 1 tyder på att segmentet är AI-genererad text. Poängen går också i steg, med poäng från 0,5 till 1 som flaggas som AI beroende på sammanhanget i det övergripande innehållet.
- Aggregering och prediktion: När alla segment har poängsatts kombineras eller aggregeras dessa poäng för att generera en förutsägelse av hur mycket av texten som sannolikt kommer att vara AI-genererad. Denna övergripande poäng presenteras sedan i Turnitins AI-detekteringsindikator.
Det är viktigt att komma ihåg att Turnitins AI-detekteringsverktyg är utbildat på olika språkmodeller, vilket hjälper det att plocka upp text som genereras av flera olika AI-verktyg. Dessutom, till skillnad från vissa andra AI-kontroller, är Turnitin utformat för att känna igen språkkarakteristika som genereras av LLM.
Till exempel producerar LLM:er vanligtvis text som har en hög sannolikhet för att välja nästa ord i en mening baserat på mönster som AI-skrivaren har lärt sig från sina träningsdata. Turnitins AI-detektorklassificerare tränas sedan för att plocka upp dessa mönster och kan skilja dem från mänskligt skrivande.
Hur exakt är Turnitins AI-skrivningsdetektering?
Ett av de mest intressanta påståendena som Turnitin gör är att dess AI-skrivningsdetekteringsmodell är upp till 98% korrekt när det gäller att identifiera text som genereras av AI. Även om det finns gott om akademiska institutioner som använder Turnitins AI-detekteringsverktyg är det viktigt att förstå att det inte finns något AI-detekteringsverktyg som är 100% idiotsäkert.
Som med alla AI-detektorer är Turnitin fortfarande i riskzonen för falska positiva resultat. Falska positiva refererar till fall där AI-detektorer felaktigt klassificerar mänskligt skrivande som innehåll genererat av AI. Naturligtvis kan detta leda till att studenter felaktigt anklagas för att använda AI-verktyg för att generera sina uppgifter.
För att undvika denna onödiga komplikation med att använda en AI-detektor betonar Turnitin vikten av att minska falska positiva resultat och genomgår regelbundet tester. Detta innebär att det ibland kan missa AI-genererad text. Turnitin strävar dock efter att hålla sin falskpositivfrekvens under 1% för uppgifter med över 20% AI-skrivande.
Även om Turnitin är ett sätt att effektivisera granskningsprocessen för inlämningar, kan du göra din betygsprocess mer exakt genom att veta hur exakt denna AI-detektor är. För ännu mer exakta betygsresultat kan du också använda Smodins AI Grader för att hjälpa dig att bearbeta och betygsätta fler inlämningar på ännu kortare tid.
Vilka AI-skrivningsmodeller upptäcker Turnitin?
Turnitins AI-skrivningsdetekteringsfunktioner är särskilt utformade för att identifiera innehåll som genereras av olika AI-modeller. När det ursprungligen lanserades utbildades Turnitin för att upptäcka modeller som ChatGPT-3 och ChatGPT-3.5, liksom alla deras varianter. Detta inkluderar att känna igen innehåll som genererats av AI-språkmodeller som är baserade på eller liknar ChatGPT-3-modellen.
Turnitin har testats för sin kompatibilitet med ChatGPT-4 (särskilt ChatGPT Plus) och påstår sig kunna upptäcka AI-skrivning som produceras av modellen i de flesta fall. Ändå måste AI-detektorn justeras och omvärderas för bättre noggrannhet med denna AI-generator.
Eftersom AI fortsätter att utvecklas har Turnitin erkänt behovet av att utöka sina AI-skrivningsdetekteringsfunktioner för nya eller uppdaterade AI-modeller. Detta innebär att lärare bör vara medvetna om potentiella falska rapporter när studenter använder mer avancerade eller annorlunda AI-språkmodeller.
Om du vill använda en AI-detektor som exakt kan plocka upp text som har genererats av andra modeller, se till att kolla in Smodins AI Content Detector.
Förstå Turnitins AI-resultat
En del av att använda Turnitins AI-skrivningsdetekteringsverktyg är att veta hur man tolkar dess resultat. Den procentandel som visas i indikatorn för AI-skrivdetektering representerar vanligtvis hur mycket av den inlämnade texten som bestämdes vara genererad av AI-skrivverktyg.
Vanligtvis baseras denna procentsats på "kvalificerad" text. Det handlar om prosameningar som är skrivna i en grammatisk standardform. Det inkluderar dock inte text som kan vara skriven i form av listor eller punktlistor. När du kontrollerar inlämnade texter är det därför viktigt att komma ihåg att det inte är säkert att hela texten har skannats, utan bara den kvalificerande texten.
En annan viktig faktor att tänka på när man arbetar med ett AI-detekteringsverktyg är att det alltid ska användas som ett kompletterande hjälpmedel och inte ska användas som ett definitivt sätt att bevisa eller motbevisa användningen av AI-skrivning. Eftersom det inte finns några AI-detektorer som har 100% noggrannhet måste du använda ditt eget omdöme när du analyserar AI-poängen också.
Turnitins likhetsrapport
Turnitins AI-detekteringsfunktioner har gjort det till ett kraftpaket för att kontrollera att ett inlämnat uppdrag i ett akademiskt sammanhang följer utbildningsinstitutionens regler och förordningar. Turnitin innehåller dock också en integrerad plagiatkontroll.
Av den anledningen är det viktigt för lärare att förstå skillnaden mellan AI-poängen och likhetspoängen. Annars kan du oavsiktligt anklaga studenter för att använda AI-skapad text när deras uppgift i själva verket har kommit tillbaka med en högre plagiatpoäng - inte en hög AI-poäng.
Likhetsrapporten ger utbildare en detaljerad analys av hur lik en inlämnad uppgift är befintliga källor (i Turnitins databas). Plagiatkontrollen, tillsammans med likhetsresultatet (representerat som en procentsats), belyser likheterna mellan de två texterna.
Vanliga frågor
Flaggar Turnitins AI-skrivningsdetektor parafraserat innehåll?
I vissa fall kan inlämningar innehålla omskrivet innehåll som har spunnits med hjälp av en AI Detection Remover.
Turnitins AI-detektor kan vanligtvis fånga upp fall där dessa verktyg har använts, även om det fortfarande finns möjlighet till falska positiva eller negativa resultat beroende på AI-skrivmodellen.
Detta gäller i synnerhet om texten innehåller en kombination av AI-genererat innehåll och mänskligt skrivet innehåll.
Hur skiljer sig Turnitins AI-skrivningsdetektering från plagiatdetektering?
Turnitins AI-detektor och plagiatkontrollfunktioner är två distinkta processer på plattformen. Plagiatkontrollen är utformad för att leta efter fall där texten delar likheter med andra publicerade artiklar, bloggar, akademiska artiklar och allmänt innehåll. Detta representeras i likhetsrapporten. Ju högre likhetspoäng, desto fler likheter har verktyget hittat.
Å andra sidan är Turnitins AI-detekteringsfunktioner begränsade till att hitta förekomster av AI-skrivning, där innehållet visar sig vara genererat av språkmodeller som ChatGPT. Detta representeras av en AI-procentuell poäng.
Kan Turnitin upptäcka AI-innehåll på andra språk än engelska?
Turnitins AI-detektor är begränsad till att analysera inlämningar i engelskbaserade texter. Detta innebär att institutioner som främst tar emot uppsatser och artiklar på engelska kan använda Turnitin för att analysera dessa dokument, men kontrollen fungerar inte för inlämningar på andra språk.
Slutliga tankar
Turnitin är ett fantastiskt verktyg för att upprätthålla akademisk integritet mitt i utvecklingen av AI-innehåll. Med verktyget som hävdar upp till 98% noggrannhet har det blivit ett ovärderligt hjälpmedel för både lärare och studenter och verkar förbättras och utvidgas för att hålla jämna steg med utvecklingen av AI-skrivverktyg.
Förutom funktionen för AI-detektering har programmet även en integrerad plagiatkontroll, vilket skapar ett heltäckande verktyg som minskar behovet av flera olika verktyg. I sin tur gör detta att det går snabbare och enklare än någonsin att kontrollera och bedöma akademiska dokument.