Turnitin je jedným z najznámejších a najdôveryhodnejších modelov na kontrolu plagiátov na trhu a je široko používaný akademickými inštitúciami. V apríli 2023 sa systém vyvinul tak, aby zahŕňal model detekcie AI a rozšíril svoje funkcie, aby držal krok s neustále sa meniacim svetom AI.
Ako však tento nový model detekcie AI funguje? A dá sa tomu veriť? V tejto príručke preskúmame detektor AI spoločnosti Turnitin od A po Z vrátane toho, ako funguje, ako interpretovať jeho výsledky a ako presný je nástroj.
Takže, ak ste pripravení ponoriť sa do jemností Turnitinu, začnime.
Ako funguje Turnitin pri detekcii AI?
Turnitin má jedinečný prístup k zisťovaniu obsahu generovaného AI. Zahŕňa kombináciu pokročilých algoritmov, strojového učenia a jazykovej analýzy.
Tento systém je navrhnutý tak, aby identifikoval časti textu, ktoré majú vzory, ktoré sú konzistentné s generovaním pomocou AI alebo veľkých jazykových modelov (LLM). Môžu zahŕňať ChatGPT-3, ChatGPT-3.5 a podobné modely AI.
Akokoľvek jednoducho toto vysvetlenie môže znieť, do tohto procesu ide oveľa viac, než sa na prvý pohľad zdá. Nástroj na detekciu AI spoločnosti Turnitin používa sériu krokov na označenie obsahu generovaného nástrojmi na písanie AI, pričom každý krok zohráva v tomto procese kľúčovú úlohu. Tieto kroky zahŕňajú:
- Spracovanie odoslania: Keď odošlete úlohu cez Turnitin, najprv sa rozdelí na menšie časti textu. Zvyčajne ide o niekoľko stoviek slov na porciu, ktoré pomôžu analyzovať text v kontexte a zlepšiť presnosť Turnitin.
- Skóre segmentu: Potom je každý segment textu ohodnotený modelom detekcie AI na stupnici od 0 do 1. Skóre 0 naznačuje, že text je ľudský a skóre 1 znamená, že segment je text vygenerovaný AI. Skóre sa tiež zvyšuje, pričom skóre od 0.5 do 1 je označené ako AI v závislosti od kontextu v rámci celkového obsahu.
- Agregácia a predpoveď: Po ohodnotení všetkých segmentov sa tieto skóre kombinujú alebo agregujú, aby sa vytvorila predpoveď, aká veľká časť textu bude pravdepodobne vygenerovaná AI. Toto celkové skóre sa potom zobrazí v indikátore detekcie AI spoločnosti Turnitin.
Je dôležité si uvedomiť, že nástroj na detekciu AI spoločnosti Turnitin je vyškolený na rôznych jazykových modeloch, čo mu pomáha zachytiť text generovaný viacerými rôznymi nástrojmi AI. Navyše, na rozdiel od niektorých iných kontrolórov AI, Turnitin je navrhnutý tak, aby rozpoznával jazykové charakteristiky, ktoré sú generované LLM.
Napríklad LLM zvyčajne vytvárajú text, ktorý má vysokú pravdepodobnosť výberu ďalšieho slova vo vete na základe vzorov, ktoré sa autor AI naučil zo svojich tréningových údajov. Klasifikátory detektorov AI spoločnosti Turnitin sú potom vycvičené, aby zachytili tieto vzory a dokázali ich odlíšiť od ľudského písania.
Aká presná je Turnitinova detekcia AI písania?
Jedným z najzaujímavejších tvrdení spoločnosti Turnitin je, že jeho model detekcie písania AI je až 98% presný pri identifikácii textu generovaného AI. Aj keď existuje veľa akademických inštitúcií, ktoré používajú nástroj na detekciu AI Turnitin, je dôležité pochopiť, že neexistuje žiadny nástroj na detekciu AI, ktorý by bol 100% spoľahlivý.
Ako pri každom detektore AI, aj Turnitin je stále vystavený riziku falošných poplachov. Falošné poplachy označujú prípady, keď detektory AI nesprávne klasifikujú ľudské písanie ako obsah generovaný AI. Samozrejme, môže to spôsobiť, že študenti budú falošne obvinení z používania nástrojov AI na generovanie svojich úloh.
Aby sa predišlo tejto zbytočnej komplikácii pri používaní detektora AI, Turnitin zdôrazňuje dôležitosť zníženia falošných poplachov a pravidelne sa podrobuje testovaniu. To znamená, že občas môže chýbať text vygenerovaný AI. Turnitin sa však snaží udržať mieru falošnej pozitivity pod 1 % pre úlohy s viac ako 20 % písania AI.
Hoci Turnitin je spôsob, ako zefektívniť proces preverovania príspevkov, vedomím toho, aký presný je tento detektor AI, môže váš proces hodnotenia spresniť. Pre ešte presnejšie výsledky triedenia môžete použiť aj Smodinov AI Grader ktoré vám pomôžu spracovať a ohodnotiť viac príspevkov za ešte kratší čas.
Aké modely písania AI Turnitin zisťuje?
Funkcie detekcie písania AI spoločnosti Turnitin sú špeciálne navrhnuté na identifikáciu obsahu generovaného rôznymi modelmi AI. Keď bol Turnitin pôvodne spustený, bol vyškolený na detekciu modelov ako ChatGPT-3 a ChatGPT-3.5, ako aj všetkých ich variantov. To zahŕňa rozpoznávanie obsahu generovaného jazykovými modelmi AI, ktoré sú založené na modeli ChatGPT-3 alebo sú mu podobné.
Turnitin bol testovaný na svoju kompatibilitu s ChatGPT-4 (najmä ChatGPT Plus) a tvrdí, že vo väčšine prípadov dokáže rozpoznať písanie AI produkované modelom. Detektor AI je však potrebné vyladiť a prehodnotiť, aby bol s týmto generátorom AI presnejší.
Keďže AI sa neustále vyvíja, Turnitin uznal potrebu rozšíriť svoje možnosti detekcie písania AI pre nové alebo aktualizované modely AI. To znamená, že pedagógovia by si mali byť vedomí potenciálnych falošných správ, keď študenti používajú pokročilejšie alebo iné jazykové modely AI.
Ak chcete použiť detektor AI, ktorý dokáže presne zachytiť text vygenerovaný inými modelmi, určite si pozrite Smodinov detektor obsahu AI.
Pochopenie výsledkov Turnitinovej AI
Súčasťou používania nástroja na detekciu písania AI od spoločnosti Turnitin je vedieť, ako interpretovať jeho výsledky. Percento, ktoré sa zobrazuje v indikátore detekcie písania AI, zvyčajne predstavuje, koľko z odoslaného textu bolo určené ako generované nástrojmi na písanie AI.
Zvyčajne je toto percento založené na „kvalifikujúcom“ texte. Ide o prozaické vety, ktoré sú napísané štandardnou gramatickou formou. Nezahŕňa však text, ktorý môže byť napísaný vo forme zoznamov alebo odrážok. Keď teda kontrolujete príspevky, je dôležité mať na pamäti, že nie všetok text mohol byť naskenovaný – iba príslušný text.
Ďalším dôležitým faktorom, ktorý je potrebné zvážiť pri práci s nástrojom na detekciu AI, je, že by sa mal vždy používať ako doplnková pomôcka a nemal by sa používať ako definitívny spôsob, ako dokázať alebo vyvrátiť používanie písania AI. Keďže neexistujú akékoľvek Detektory AI, ktoré majú 100% presnosť, budete musieť pri analýze skóre AI použiť aj vlastný úsudok.
Turnitinova správa o podobnosti
Vďaka schopnostiam detekcie umelej inteligencie spoločnosti Turnitin sa stala elektrárňou na kontrolu, či zadaná úloha v akademickom kontexte dodržiava pravidlá a predpisy vzdelávacej inštitúcie. Turnitin však obsahuje aj integrovanú kontrolu plagiátov.
Z tohto dôvodu je pochopenie rozdielu medzi skóre AI a skóre podobnosti pre pedagógov kľúčové. V opačnom prípade môžete neúmyselne obviniť študentov z používania textu vytvoreného umelou inteligenciou, aj keď sa ich úloha v skutočnosti vrátila s vyšším skóre plagiátorstva – nie vysoké skóre AI.
Správa o podobnosti poskytuje pedagógom podrobnú analýzu toho, do akej miery je zadaná úloha podobná existujúcim zdrojom (v rámci databázy Turnitin). Kontrola plagiátov spolu so skóre podobnosti (vyjadrené v percentách) zvýrazňuje podobnosti medzi týmito dvoma textami.
Často kladené otázky
Označuje Turnitinov detektor písania AI parafrázovaný obsah?
V niektorých prípadoch môžu príspevky obsahovať parafrázovaný obsah, ktorý bol natočený pomocou Odstraňovač detekcie AI.
Detektor AI spoločnosti Turnitin zvyčajne dokáže zachytiť prípady, keď boli tieto nástroje použité, aj keď stále existuje možnosť falošných pozitívnych alebo negatívnych výsledkov v závislosti od modelu písania AI.
Platí to najmä vtedy, ak text obsahuje kombináciu obsahu vytvoreného AI a obsahu napísaného ľuďmi.
Ako sa detekcia písania AI Turnitin líši od detekcie plagiátov?
Funkcie detektora AI spoločnosti Turnitin a funkcie kontroly plagiátov sú dva odlišné procesy na platforme. Kontrola plagiátov je navrhnutá tak, aby hľadala prípady, v ktorých má text podobnosti s inými publikovanými článkami, blogmi, akademickými prácami a všeobecným obsahom. Toto je uvedené v správe o podobnosti. Čím vyššie je skóre podobnosti, tým viac podobností nástroj našiel.
Na druhej strane, možnosti detekcie AI spoločnosti Turnitin sú obmedzené na vyhľadávanie prípadov písania AI, kde sa zistí, že obsah je generovaný jazykovými modelmi, ako je ChatGPT. Predstavuje to percentuálne skóre AI.
Dokáže Turnitin rozpoznať obsah AI v iných jazykoch ako v angličtine?
Turnitinov detektor AI je obmedzený na analýzu príspevkov v anglických textoch. To znamená, že inštitúcie, ktoré primárne dostávajú eseje a príspevky v angličtine, môžu použiť Turnitin na analýzu týchto dokumentov, ale kontrola nebude fungovať pre príspevky v iných jazykoch.
Záverečné myšlienky
Turnitin je fantastický nástroj na udržanie akademickej integrity uprostred vývoja obsahu AI. S nástrojom, ktorý si nárokuje presnosť až 98 %, sa stal neoceniteľnou pomôckou pre pedagógov aj študentov a zdá sa, že sa zlepšuje a rozširuje, aby držal krok s vývojom nástrojov na písanie AI.
Okrem funkcie detekcie AI má tiež integrovanú kontrolu plagiátov, čím vytvára komplexný nástroj, ktorý znižuje potrebu viacerých nástrojov. Vďaka tomu je kontrola a hodnotenie akademických dokumentov rýchlejšie a jednoduchšie ako kedykoľvek predtým.