O Turnitin é um dos modelos de verificador de plágio mais conhecidos e confiáveis do mercado e é amplamente utilizado por instituições acadêmicas. Em abril de 2023, o sistema evoluiu para incluir um modelo de detecção de IA e expandiu seus recursos para acompanhar o mundo em constante mudança da IA.
Mas como funciona esse novo modelo de detecção de IA? E você pode confiar nisso? Neste guia, exploraremos o detector de IA do Turnitin de A a Z, incluindo como ele funciona, como interpretar seus resultados e quão precisa é a ferramenta.
Então, se você está pronto para se aprofundar nos meandros do Turnitin, vamos começar.
Como o Turnitin funciona para detecção de IA?
O Turnitin tem uma abordagem única para detectar conteúdo gerado por IA. Envolve uma combinação de algoritmos avançados, aprendizado de máquina e análise de linguagem.
Este sistema foi projetado para identificar trechos de texto que possuem padrões consistentes com os gerados por IA ou modelos de linguagem grande (LLMs). Estes podem incluir ChatGPT-3, ChatGPT-3.5 e modelos de IA semelhantes.
Por mais simples que essa explicação possa parecer, há muito mais coisas envolvidas nesse processo do que aparenta. Há uma série de etapas que a ferramenta de detecção de IA da Turnitin usa para sinalizar o conteúdo gerado pelas ferramentas de escrita de IA, com cada etapa desempenhando um papel crucial no processo. Essas etapas incluem:
- Processamento de envio: Quando você envia uma tarefa pelo Turnitin, ela primeiro é dividida em partes menores de texto. Geralmente são algumas centenas de palavras por porção para ajudar a analisar o texto no contexto e melhorar a precisão do Turnitin.
- Pontuação do segmento: Em seguida, cada segmento de texto é pontuado pelo modelo de detecção de IA em uma escala de 0 a 1. Uma pontuação de 0 sugere que o texto é humano e uma pontuação de 1 indica que o segmento é um texto gerado por IA. As pontuações também variam em incrementos, com pontuações de 0.5 a 1 sendo sinalizadas como IA, dependendo do contexto do conteúdo geral.
- Agregação e previsão: Depois que todos os segmentos tiverem sido pontuados, essas pontuações serão combinadas ou agregadas para gerar uma previsão de quanto do texto provavelmente será gerado por IA. Essa pontuação geral é então apresentada no indicador de detecção de IA do Turnitin.
É importante lembrar que a ferramenta de detecção de IA do Turnitin é treinada em vários modelos de linguagem, o que o ajuda a detectar textos gerados por diversas ferramentas de IA diferentes. Além disso, ao contrário de alguns outros verificadores de IA, o Turnitin foi projetado para reconhecer características de linguagem geradas por LLMs.
Por exemplo, os LLMs geralmente produzem texto que tem uma alta probabilidade de selecionar a próxima palavra em uma frase com base em padrões que o redator de IA aprendeu com seus dados de treinamento. Os classificadores de detectores de IA da Turnitin são então treinados para captar esses padrões e podem diferenciá-los da escrita humana.
Quão precisa é a detecção de escrita de IA do Turnitin?
Uma das afirmações mais interessantes que o Turnitin faz é que seu modelo de detecção de escrita por IA é até 98% preciso na identificação de texto gerado por IA. Embora existam muitas instituições acadêmicas que usam a ferramenta de detecção de IA da Turnitin, é crucial entender que não existe uma ferramenta de detecção de IA que seja 100% infalível.
Tal como acontece com qualquer detector de IA, o Turnitin ainda corre o risco de falsos positivos. Os falsos positivos referem-se a casos em que os detectores de IA classificam incorretamente a escrita humana como conteúdo gerado pela IA. É claro que isso pode fazer com que os alunos sejam falsamente acusados de usar ferramentas de IA para gerar suas tarefas.
Para evitar esta complicação desnecessária do uso de um detector de IA, a Turnitin enfatiza a importância de reduzir falsos positivos e realiza testes regularmente. Isso significa que ocasionalmente pode perder texto gerado por IA. No entanto, o Turnitin pretende manter sua taxa de falsos positivos abaixo de 1% para tarefas com mais de 20% de escrita de IA.
Embora o Turnitin seja uma forma de agilizar o processo de verificação de envios, saber o quão preciso é esse detector de IA pode tornar seu processo de classificação mais preciso. Para resultados de classificação ainda mais precisos, você também pode usar Graduador de IA de Smodin para ajudá-lo a processar e avaliar mais envios em ainda menos tempo.
Quais modelos de escrita de IA o Turnitin detecta?
Os recursos de detecção de gravação de IA do Turnitin são projetados especificamente para identificar conteúdo gerado por vários modelos de IA. Quando foi lançado inicialmente, o Turnitin foi treinado para detectar modelos como ChatGPT-3 e ChatGPT-3.5, bem como todas as suas variantes. Isso inclui o reconhecimento de conteúdo gerado por modelos de linguagem de IA baseados ou semelhantes ao modelo ChatGPT-3.
Turnitin foi testado quanto à sua compatibilidade com ChatGPT-4 (particularmente ChatGPT Plus) e afirma ser capaz de detectar escrita de IA produzida pelo modelo na maioria dos casos. Ainda assim, o detector de IA precisa ser ajustado e reavaliado para melhor precisão com este gerador de IA.
À medida que a IA continua a evoluir, a Turnitin reconheceu a necessidade de expandir seus recursos de detecção de gravação de IA para modelos de IA novos ou atualizados. Isso significa que os educadores devem estar cientes de possíveis relatos falsos quando os alunos usam modelos de linguagem de IA mais avançados ou diferentes.
Se você quiser usar um detector de IA que possa detectar com precisão o texto gerado por outros modelos, não deixe de conferir Detector de conteúdo AI de Smodin.
Compreendendo os resultados de IA do Turnitin
Parte do uso da ferramenta de detecção de escrita de IA da Turnitin é saber como interpretar seus resultados. A porcentagem exibida no indicador de detecção de escrita de IA geralmente representa quanto do texto enviado foi determinado como gerado por ferramentas de escrita de IA.
Normalmente, esta percentagem é baseada no texto “qualificado”. Isso envolve frases em prosa escritas em uma forma gramatical padrão. No entanto, não inclui textos que possam ser escritos na forma de listas ou marcadores. Portanto, ao verificar os envios, é importante lembrar que nem todo o texto pode ter sido digitalizado – apenas o texto qualificado.
Outro fator importante a considerar ao trabalhar com uma ferramenta de detecção de IA é que ela deve sempre ser usada como um auxílio complementar e não como uma forma definitiva de provar ou refutar o uso da escrita de IA. Como não existem qualquer Detectores de IA com 100% de precisão, você também precisará usar seu próprio julgamento ao analisar as pontuações de IA.
Relatório de similaridade do Turnitin
Os recursos de detecção de IA do Turnitin tornaram-no uma ferramenta poderosa para verificar se uma tarefa enviada em um contexto acadêmico segue as regras e regulamentos da instituição educacional. No entanto, o Turnitin também inclui um verificador de plágio integrado.
Por esse motivo, compreender a diferença entre a pontuação de IA e a pontuação de similaridade é crucial para os educadores. Caso contrário, você pode acusar involuntariamente os alunos de usarem texto criado por IA quando, na verdade, a tarefa deles retornou com uma pontuação de plágio mais alta – não uma alta pontuação de IA.
O Relatório de similaridade fornece aos educadores uma análise detalhada da semelhança entre uma tarefa enviada e as fontes existentes (no banco de dados do Turnitin). O verificador de plágio, juntamente com a pontuação de similaridade (representada em porcentagem), destaca as semelhanças entre os dois textos.
Perguntas Frequentes:
O detector de escrita de IA do Turnitin sinaliza conteúdo parafraseado?
Em alguns casos, os envios podem incluir conteúdo parafraseado que foi criado usando um Removedor de detecção de IA.
O detector de IA do Turnitin geralmente pode detectar casos em que essas ferramentas foram usadas, embora ainda haja a possibilidade de falsos positivos ou negativos, dependendo do modelo de escrita de IA.
Isto é particularmente verdadeiro se o texto contiver uma combinação de conteúdo gerado por IA e conteúdo escrito por humanos.
Qual a diferença entre a detecção de escrita por IA do Turnitin e a detecção de plágio?
Os recursos de detector de IA e verificador de plágio do Turnitin são dois processos distintos na plataforma. O verificador de plágio foi desenvolvido para procurar casos em que o texto compartilhe semelhanças com outros artigos publicados, blogs, trabalhos acadêmicos e conteúdo geral. Isso está representado no relatório de similaridade. Quanto maior a pontuação de similaridade, mais semelhanças a ferramenta encontrou.
Por outro lado, os recursos de detecção de IA do Turnitin são limitados a encontrar instâncias de escrita de IA, onde o conteúdo é gerado por modelos de linguagem como ChatGPT. Isso é representado por uma pontuação percentual de IA.
O Turnitin pode detectar conteúdo de IA em outros idiomas além do inglês?
O detector de IA do Turnitin limita-se a analisar envios em textos em inglês. Isso significa que as instituições que recebem principalmente ensaios e artigos em inglês podem usar o Turnitin para analisar esses documentos, mas o verificador não funcionará para submissões em outros idiomas.
Considerações Finais
O Turnitin é uma ferramenta fantástica para manter a integridade acadêmica em meio à evolução do conteúdo de IA. Com a ferramenta alegando precisão de até 98%, ela se tornou uma ajuda inestimável para educadores e estudantes e parece estar melhorando e se expandindo para acompanhar as evoluções nas ferramentas de escrita de IA.
Além do recurso de detecção de IA, também possui um verificador de plágio integrado, criando uma ferramenta abrangente que reduz a necessidade de múltiplas ferramentas. Por sua vez, isso torna a verificação e avaliação de documentos acadêmicos mais rápida e fácil do que nunca.