Smodin é o principal avaliador de IA do mundo, tendo avaliado centenas de milhares de tarefas. Os AI Graders estão lentamente se tornando o novo padrão na educação: eles fornecem feedback imparcial e informações detalhadas sobre todos os aspectos de uma tarefa, fornecem uma escala de notas consistente e aliviam a carga dos professores, permitindo-lhes se concentrar no ensino. Aqui vamos nos aprofundar em como o AI Grader de Smodin pode ser usado para avaliar uma ou uma turma inteira de tarefas.
Primeiro, escolha um tipo de nota
Escolha em uma lista de diferentes tipos de tarefas para avaliar. A partir de agosto, existem apenas tipos de trabalhos de redação disponíveis que também podem ser usados para vários tipos de redação aberta. Em setembro também ofereceremos um avaliador de questões de ciências e um avaliador de respostas curtas. Mais tipos de notas serão adicionados periodicamente durante 2023.
Adicionar informações da tarefa
Escolha informações relacionadas à turma e à tarefa, como série, configuração de inteligência de IA, tipo de tarefa e qualquer outra informação relevante.
Qual configuração de IA devo usar?
Embora a IA padrão produza feedback de qualidade, se você planeja usar o resultado do AI Grader para resultados finais de desempenho acadêmico, deverá usar as configurações avançadas. Somente nossas configurações avançadas de IA foram capazes de atingir 82% de precisão nos resultados humanos, produzir feedback da mais alta qualidade e é improvável que classifiquem incorretamente as tarefas em relação à sua nota real.
Escolha os critérios de avaliação ou carregue os seus próprios
Para padronizar o processo de classificação, deve-se utilizar uma rubrica que contenha critérios objetivos nos quais se baseia a avaliação das notas. Uma rubrica é uma coleção de critérios em que cada um gera uma nota, por exemplo, “Pensamento Crítico”, “Pensamento Analítico”, “Organização”, “Gramática”, etc. crie o seu próprio ou carregue aqueles que você já usa.
Escolhendo seus critérios
Critérios pré-fabricados
Critérios predefinidos são critérios amplamente aceitos em diversas disciplinas acadêmicas para avaliar a nota da tarefa de um aluno. Eles foram gerados por meio de testes rigorosos de nossas notas humanas em centenas de testes de tarefas. Eles produzem notas confiáveis e consistentes para as respectivas métricas.
Criando critérios personalizados
Critérios personalizados são critérios que você decide usar para avaliação de notas em um intervalo especificado (o padrão é de 1 a 10). Critérios personalizados podem ser gerados usando apenas uma descrição simples ou a partir de uma rubrica existente. Um exemplo de entrada para a criação de critérios personalizados denominados “Pensamento Crítico” poderia ser “O pensamento crítico é definido como a eficácia com que os assuntos, conceitos e ideias presentes no ensaio estão logicamente conectados entre si e quão bem ele fornece argumentos a favor e contra cada um deles.". Isso produziria, do nosso lado, uma métrica de avaliação de 1 a 10.
Você também pode usar rubricas existentes. Depois que você fornecer uma rubrica existente (para qualquer faixa inferior a 10), pegamos essa rubrica e a modificamos para ser usada pelo nosso modelo de classificação de IA de uma forma que possa fornecer notas confiáveis, consistentes e objetivas. Embora não haja necessidade de retocar suas rubricas, torná-las o mais claras possível ajuda nossa IA a produzir resultados de avaliação mais confiáveis.
Criando uma rubrica
As rubricas são uma coleção de critérios. Por exemplo, sua rubrica pode ser “Ensaio de história sobre a Segunda Guerra Mundial”, que inclui a lista de critérios que você usa para avaliar sua redação de história. Ao criar uma rubrica, adicione um nome e uma breve descrição (apenas para sua referência).
Em seguida, adicione seus critérios fazendo upload de uma rubrica existente em formato de planilha (analisaremos o arquivo para determinar os critérios) ou escolhendo os critérios individualmente. Se você enviar uma rubrica, certifique-se de verificar se ela foi analisada corretamente clicando no botão “editar” de cada critério para ver seus detalhes.
Adicionar tarefas
Você pode avaliar uma única tarefa ou um grupo de tarefas. Uma única tarefa será avaliada em tempo real, no entanto, um grupo de tarefas será avaliado um de cada vez, a uma taxa de uma tarefa a cada 2 a 5 minutos, dependendo da carga do sistema. Isso ajuda a garantir que cada tarefa seja avaliada com sucesso.
Carregando tarefas dos alunos
Ao enviar as tarefas dos alunos, certifique-se de que o título esteja na primeira linha do arquivo e que o conteúdo (de preferência sem referências) esteja em uma nova linha após o título. O nome do arquivo será o nome do arquivo de notas. É recomendado usar um identificador de aluno, como uma identificação como “stu1083723” em vez do nome pessoal do aluno.
Revisar notas
A nota final é calculada em uma escala AF padrão com A sendo 90-100%, B sendo 80-89%, C sendo 70-79%, D sendo 60-69% e F sendo 59% e abaixo. A nota total é calculada como uma média par das notas dos critérios ou pela rubrica específica (se aplicável).
Você pode editar as notas finais se desejar (esta funcionalidade de edição será lançada no início de setembro), fazer download da nota ou fazer download de todo o conjunto de notas na visualização de envio em massa.
Isenção de responsabilidade: as imagens acima podem estar desatualizadas, pois a interface do usuário do Smodin passa por melhorias constantes.