Turnitin je jedním z nejznámějších a nejdůvěryhodnějších modelů pro kontrolu plagiátorství na trhu a je široce používán akademickými institucemi. V dubnu 2023 se systém vyvinul tak, aby zahrnoval model detekce AI a rozšířil své funkce, aby držel krok s neustále se měnícím světem AI.
Jak ale tento nový model detekce AI funguje? A dá se tomu věřit? V této příručce prozkoumáme detektor AI Turnitin od A do Z, včetně toho, jak funguje, jak interpretovat jeho výsledky a jak je nástroj přesný.
Takže, pokud jste připraveni ponořit se do jemností a nevýhod Turnitinu, začněme.
Jak Turnitin funguje pro detekci AI?
Turnitin má jedinečný přístup k detekci obsahu generovaného umělou inteligencí. Zahrnuje kombinaci pokročilých algoritmů, strojového učení a jazykové analýzy.
Tento systém je navržen tak, aby identifikoval části textu, které mají vzory, které jsou konzistentní s generováním pomocí AI nebo velkých jazykových modelů (LLM). Mohou zahrnovat ChatGPT-3, ChatGPT-3.5 a podobné modely AI.
Jakkoli může toto vysvětlení znít jednoduše, do tohoto procesu vstupuje mnohem více, než se na první pohled zdá. Detekční nástroj AI společnosti Turnitin používá řadu kroků k označení obsahu generovaného nástroji pro psaní AI, přičemž každý krok hraje v procesu klíčovou roli. Mezi tyto kroky patří:
- Zpracování příspěvku: Když odešlete úkol přes Turnitin, je nejprve rozdělen na menší části textu. Obvykle se jedná o několik set slov na porci, která pomůže analyzovat text v kontextu a zlepšit přesnost Turnitin.
- Hodnocení segmentu: Poté je každý segment textu ohodnocen modelem detekce AI na stupnici od 0 do 1. Skóre 0 naznačuje, že text je lidský a skóre 1 znamená, že segment je text generovaný AI. Skóre se také zvyšuje, přičemž skóre od 0.5 do 1 je označeno jako AI v závislosti na kontextu v rámci celkového obsahu.
- Agregace a predikce: Jakmile jsou ohodnoceny všechny segmenty, jsou tato skóre kombinována nebo agregována, aby se vytvořila předpověď, jak velká část textu bude pravděpodobně generována AI. Toto celkové skóre je pak uvedeno v indikátoru detekce AI společnosti Turnitin.
Je důležité si uvědomit, že nástroj pro detekci umělé inteligence společnosti Turnitin je trénován na různých jazykových modelech, což mu pomáhá zachytit text generovaný několika různými nástroji umělé inteligence. Navíc, na rozdíl od některých jiných kontrolérů AI, je Turnitin navržen tak, aby rozpoznával jazykové charakteristiky, které jsou generovány LLM.
Například LLM obvykle vytvářejí text, který má vysokou pravděpodobnost výběru dalšího slova ve větě na základě vzorů, které se autor AI naučil ze svých školicích dat. Klasifikátory detektorů AI společnosti Turnitin jsou poté vycvičeny, aby zachytily tyto vzory a dokázaly je odlišit od lidského písma.
Jak přesná je Turnitinova detekce AI psaní?
Jedním z nejzajímavějších tvrzení společnosti Turnitin je, že její model detekce psaní AI je až 98% přesný při identifikaci textu generovaného AI. I když existuje spousta akademických institucí, které používají nástroj pro detekci AI společnosti Turnitin, je důležité pochopit, že neexistuje žádný nástroj pro detekci AI, který by byl 100% spolehlivý.
Stejně jako u každého detektoru AI je i Turnitin stále vystaven riziku falešných poplachů. Falešné poplachy se týkají případů, kdy detektory umělé inteligence nesprávně klasifikují lidské psaní jako obsah generovaný umělou inteligencí. To samozřejmě může způsobit, že studenti budou falešně obviněni z používání nástrojů umělé inteligence ke generování svých úkolů.
Aby se předešlo této zbytečné komplikaci používání detektoru AI, Turnitin zdůrazňuje důležitost snížení falešných poplachů a pravidelně podstupuje testování. To znamená, že občas může chybět text vygenerovaný AI. Turnitin se však snaží udržet míru falešně pozitivních výsledků pod 1 % u úkolů s více než 20 % psaní AI.
Přestože Turnitin je způsob, jak zefektivnit proces prověřování příspěvků, znalost toho, jak přesný je tento detektor AI, může váš proces hodnocení zpřesnit. Pro ještě přesnější výsledky klasifikace můžete také použít Smodinův srovnávač umělé inteligence které vám pomohou zpracovat a ohodnotit více příspěvků za ještě kratší dobu.
Jaké modely psaní AI Turnitin detekuje?
Možnosti detekce psaní AI společnosti Turnitin jsou speciálně navrženy k identifikaci obsahu generovaného různými modely AI. Když byl Turnitin původně spuštěn, byl vyškolen k detekci modelů jako ChatGPT-3 a ChatGPT-3.5, stejně jako všech jejich variant. To zahrnuje rozpoznávání obsahu generovaného jazykovými modely AI, které jsou založeny na modelu ChatGPT-3 nebo jsou mu podobné.
Turnitin byl testován na svou kompatibilitu s ChatGPT-4 (zejména ChatGPT Plus) a tvrdí, že je ve většině případů schopen detekovat AI psaní vytvořené modelem. Přesto je třeba detektor AI vyladit a přehodnotit pro lepší přesnost s tímto generátorem AI.
Vzhledem k tomu, že se umělá inteligence neustále vyvíjí, společnost Turnitin uznala, že je třeba rozšířit své schopnosti detekce psaní pomocí umělé inteligence pro nové nebo aktualizované modely umělé inteligence. To znamená, že pedagogové by si měli být vědomi potenciálních falešných zpráv, když studenti používají pokročilejší nebo jiné jazykové modely umělé inteligence.
Pokud chcete použít detektor AI, který dokáže přesně zachytit text, který byl vygenerován jinými modely, pak se určitě podívejte Smodinův detektor obsahu AI.
Porozumění výsledkům AI společnosti Turnitin
Součástí používání nástroje Turnitin pro detekci AI psaní je znalost, jak interpretovat jeho výsledky. Procento, které se zobrazuje v indikátoru detekce psaní AI, obvykle představuje, kolik z odeslaného textu bylo určeno jako generované nástroji pro psaní AI.
Obvykle je toto procento založeno na „kvalifikačním“ textu. Jedná se o prozaické věty, které jsou psány standardní gramatickou formou. Nezahrnuje však text, který může být napsán ve formě seznamů nebo odrážek. Když tedy kontrolujete příspěvky, je důležité si uvědomit, že ne celý text mohl být naskenován – pouze kvalifikační text.
Dalším důležitým faktorem, který je třeba vzít v úvahu při práci s nástrojem pro detekci AI, je, že by měl být vždy používán jako doplňková pomůcka a neměl by být používán jako definitivní způsob, jak dokázat nebo vyvrátit použití psaní AI. Protože neexistují žádný Detektory AI, které mají 100% přesnost, budete muset při analýze skóre AI také použít svůj vlastní úsudek.
Turnitinova zpráva o podobnosti
Díky schopnostem detekce umělé inteligence Turnitin se stala elektrárnou pro kontrolu, zda odevzdaný úkol v akademickém kontextu odpovídá pravidlům a předpisům vzdělávací instituce. Turnitin však obsahuje i integrovanou kontrolu plagiátorství.
Z tohoto důvodu je pro pedagogy klíčové pochopení rozdílu mezi skóre AI a skóre podobnosti. V opačném případě můžete neúmyslně obvinit studenty z používání textu vytvořeného umělou inteligencí, i když se jejich úkol ve skutečnosti vrátil s vyšším skóre plagiátorství – ne vysoké skóre AI.
Zpráva o podobnosti poskytuje pedagogům podrobnou analýzu toho, nakolik je zadaný úkol podobný existujícím zdrojům (v databázi Turnitin). Kontrola plagiátorství vedle skóre podobnosti (vyjádřené v procentech) zvýrazňuje podobnosti mezi těmito dvěma texty.
Nejčastější dotazy
Označuje detektor psaní AI Turnitin parafrázovaný obsah?
V některých případech mohou příspěvky obsahovat parafrázovaný obsah, který byl natočen pomocí Odstraňovač detekce AI.
Turnitinův detektor umělé inteligence obvykle dokáže zachytit případy, kdy byly tyto nástroje použity, i když stále existuje možnost falešně pozitivních nebo negativních výsledků v závislosti na modelu zápisu AI.
To platí zejména v případě, že text obsahuje kombinaci obsahu vytvořeného umělou inteligencí a obsahu napsaného lidmi.
Jak se liší detekce psaní AI Turnitin od detekce plagiátů?
Funkce detektoru AI společnosti Turnitin a funkce kontroly plagiátorství jsou dva odlišné procesy na platformě. Kontrola plagiátů je navržena tak, aby hledala případy, kdy text sdílí podobnosti s jinými publikovanými články, blogy, akademickými pracemi a obecným obsahem. To je uvedeno ve zprávě o podobnosti. Čím vyšší skóre podobnosti, tím více podobností nástroj našel.
Na druhou stranu jsou schopnosti detekce AI společnosti Turnitin omezeny na vyhledávání případů psaní AI, kde se zjistí, že obsah je generován jazykovými modely, jako je ChatGPT. To je reprezentováno procentuálním skóre AI.
Dokáže Turnitin detekovat obsah AI v jiných jazycích než v angličtině?
Turnitinův detektor umělé inteligence je omezen na analýzu příspěvků v anglických textech. To znamená, že instituce, které primárně dostávají eseje a příspěvky v angličtině, mohou použít Turnitin k analýze těchto dokumentů, ale kontrola nebude fungovat pro příspěvky v jiných jazycích.
Závěrečné myšlenky
Turnitin je fantastický nástroj pro udržení akademické integrity uprostřed vývoje obsahu AI. S nástrojem prohlašujícím až 98% přesnost se stal neocenitelnou pomůckou pro pedagogy i studenty a zdá se, že se zlepšuje a rozšiřuje, aby držel krok s vývojem nástrojů pro psaní AI.
Kromě funkce detekce umělé inteligence má také integrovanou kontrolu plagiátů, což vytváří komplexní nástroj, který snižuje potřebu více nástrojů. Díky tomu je kontrola a hodnocení akademických dokumentů rychlejší a jednodušší než kdykoli předtím.