Como avaliar exercícios com IA

Smodin is the leading AI Grader in the world, having graded hundreds of thousands of assignments. AI Graders are slowly becoming the new standard in Education: They provide unbiased feedback, and detailed information about every aspect of an assignment, provide a consistent grade scale, and ease the burden on teachers allowing them to focus on teaching. Here we’re going to dive into how Smodin’s AI Grader can be used to grade one, or an entire class of assignments.

Primeiro, escolha um tipo de nota

Escolha de entre uma lista de diferentes tipos de trabalhos para classificar. A partir de agosto, apenas estão disponíveis tipos de trabalhos de redação, que também podem ser utilizados para vários tipos de escrita aberta. Em setembro, iremos também disponibilizar um avaliador de perguntas sobre ciências e um avaliador de respostas curtas. Durante 2023, serão adicionados periodicamente mais tipos de avaliação.

Adicionar informações de atribuição

Escolha as informações relacionadas com a turma e o trabalho, como o nível de escolaridade, a definição de inteligência artificial, o tipo de trabalho e quaisquer outras informações relevantes.

Que definição de IA devo utilizar?

Embora a IA padrão produza comentários de qualidade, se tenciona utilizar o resultado do AI Grader para obter resultados finais de desempenho académico, tem de utilizar as definições avançadas. Apenas as nossas definições avançadas de IA conseguiram atingir 82% de exatidão em relação aos resultados humanos, produzem comentários da mais elevada qualidade e é pouco provável que classifiquem incorretamente os trabalhos em relação à sua verdadeira nota.

Escolha critérios de avaliação ou carregue os seus próprios critérios

Para normalizar o processo de classificação, é necessário utilizar uma rubrica para ter critérios objectivos nos quais se baseia a avaliação de uma nota. Uma grelha de avaliação é uma coleção de critérios em que cada um gera uma nota, por exemplo, "Pensamento crítico", "Pensamento analítico", "Organização", "Gramática", etc. Ao escolher os seus critérios de avaliação, pode selecionar entre os nossos critérios pré-definidos, criar os seus próprios critérios ou carregar os que já utiliza.

Seleção dos critérios

Critérios pré-definidos

Os critérios pré-fabricados são critérios amplamente aceites em várias disciplinas académicas para avaliar a nota do trabalho de um aluno. Estes foram gerados através de testes rigorosos das nossas notas humanas em centenas de testes de trabalhos. Estes produzem notas fiáveis e consistentes para os respectivos critérios.

Criar critérios personalizados

Os critérios personalizados são critérios que decide utilizar para a avaliação das notas num intervalo especificado (a predefinição é 1-10). Os critérios personalizados podem ser gerados utilizando apenas uma descrição simples ou a partir de um critério de avaliação existente. Um exemplo de entrada para a criação de critérios personalizados denominados "Pensamento crítico" poderia ser "O pensamento crítico é definido como a eficácia com que os assuntos, conceitos e ideias presentes no ensaio estão logicamente ligados uns aos outros, e como ele fornece argumentos a favor e contra cada um deles". Isto produziria, do nosso lado, uma métrica de avaliação de 1-10.

Também pode utilizar critérios de avaliação existentes. Depois de fornecer um critério de avaliação existente (para qualquer intervalo inferior a 10), pegamos nesse critério de avaliação e modificamo-lo para ser utilizado pelo nosso modelo de avaliação da IA de forma a fornecer notas fiáveis, consistentes e objectivas. Embora não seja necessário retocar as suas rubricas, tornar a sua rubrica tão clara quanto possível ajuda a nossa IA a produzir o resultado de classificação mais fiável.

Criar uma grelha de avaliação

As rubricas são uma coleção de critérios. Por exemplo, a sua rubrica pode ser "Ensaio de história sobre a 2ª Guerra Mundial", que inclui a lista de critérios que utiliza para classificar o seu ensaio de história. Ao criar uma rubrica, adicione um nome e uma breve descrição (apenas para referência).

Em seguida, adicione os seus critérios, carregando uma rubrica existente em formato de folha de cálculo (analisaremos o ficheiro para determinar os critérios) ou escolhendo os critérios individualmente. Se carregar uma grelha de avaliação, certifique-se de que verifica se foi analisada corretamente, carregando no botão "editar" de cada critério para ver os respectivos detalhes.

Adicionar tarefas(s)

É possível avaliar um único exercício ou um grupo de exercícios em massa. Um único exercício será avaliado em tempo real, no entanto, um grupo de exercícios será avaliado um de cada vez a uma taxa de um exercício por 2-5 minutos, dependendo da carga do sistema. Isto ajuda a garantir que cada exercício é avaliado com êxito.

Carregamento de trabalhos de alunos

Ao carregar os trabalhos dos alunos, certifique-se de que o título é a primeira linha do ficheiro e que o conteúdo (idealmente sem referências) está numa nova linha a seguir ao título. O nome do ficheiro será o nome do ficheiro de notas. Recomenda-se a utilização de um identificador do aluno, como um ID do tipo "stu1083723", em vez do nome pessoal do aluno.

Notas de revisão

A nota final é calculada numa escala padrão de A a F, sendo A 90-100%, B 80-89%, C 70-79%, D 60-69% e F 59% ou menos. A nota total é calculada como uma média uniforme das notas dos critérios, ou pela rubrica específica (se aplicável).

Pode editar as notas finais se assim o desejar (esta funcionalidade de edição será lançada no início de setembro), descarregar a nota ou descarregar todo o conjunto de notas na vista de envio em massa.

Aviso: As imagens acima podem estar desactualizadas, uma vez que a interface de utilizador Smodin está constantemente a ser melhorada.