Come valutare i compiti con l'intelligenza artificiale

Smodin è il principale AI Grader al mondo, avendo valutato centinaia di migliaia di compiti. Gli AI Grader stanno lentamente diventando il nuovo standard nel settore dell'istruzione: Forniscono un feedback imparziale e informazioni dettagliate su ogni aspetto di un compito, forniscono una scala di voti coerente e alleggeriscono il carico degli insegnanti, consentendo loro di concentrarsi sull'insegnamento. Qui vedremo come l'AI Grader di Smodin può essere utilizzato per valutare uno o un'intera classe di compiti.

First, Choose a Grade Type

Scegliete da un elenco di diversi tipi di compiti da valutare. A partire da agosto, sono disponibili solo compiti di tipo saggio, che possono essere utilizzati anche per vari tipi di scrittura aperta. A settembre saranno disponibili anche un classificatore di domande di scienze e un classificatore di risposte brevi. Altri tipi di valutazione saranno aggiunti periodicamente nel corso del 2023.

Add Assignment Info

Scegliere le informazioni relative alla classe e al compito, come il livello di istruzione, l'impostazione dell'intelligenza artificiale, il tipo di compito e qualsiasi altra informazione pertinente.

Quale impostazione dell'intelligenza artificiale devo usare?

Mentre l'IA standard produce un feedback di qualità, se si intende utilizzare i risultati di AI Grader per i risultati accademici finali, è necessario utilizzare le impostazioni avanzate. Solo le impostazioni avanzate dell'intelligenza artificiale sono state in grado di raggiungere un'accuratezza dell'82% rispetto ai risultati umani, di produrre un feedback di altissima qualità e di evitare di classificare erroneamente i compiti rispetto al loro vero voto.

Scegliere i criteri di valutazione o caricarne di propri

Per standardizzare il processo di valutazione, è necessario utilizzare una rubrica per avere criteri oggettivi su cui basare la valutazione del voto. Una griglia è una raccolta di criteri che generano ciascuno un voto, ad esempio "Pensiero critico", "Pensiero analitico", "Organizzazione", "Grammatica", ecc. Quando si scelgono i criteri di valutazione, è possibile scegliere tra i nostri criteri predefiniti, crearne di propri o caricare quelli già utilizzati.

Choosing Your Criteria

Premade Criteria

I criteri predefiniti sono criteri ampiamente accettati in diverse discipline accademiche per valutare il voto di un compito di uno studente. Questi criteri sono stati generati attraverso test rigorosi dai nostri voti umani in centinaia di prove di valutazione dei compiti. Questi criteri producono voti affidabili e coerenti per le rispettive metriche.

Creating Custom Criteria

I criteri personalizzati sono criteri che l'utente decide di utilizzare per la valutazione dei voti in un intervallo specificato (il valore predefinito è 1-10). I criteri personalizzati possono essere generati utilizzando una semplice descrizione o una rubrica esistente. Un esempio di input per la creazione di criteri personalizzati denominati "Pensiero critico" potrebbe essere "Il pensiero critico è definito come l'efficacia con cui gli argomenti, i concetti e le idee presenti nel saggio sono logicamente collegati tra loro e come fornisce argomenti a favore e contro ciascuno di essi". Questo produrrebbe, da parte nostra, una metrica di valutazione da 1 a 10.

Potete anche utilizzare rubriche esistenti. Se ci fornite una griglia esistente (per qualsiasi intervallo inferiore a 10), noi la prendiamo e la modifichiamo per essere utilizzata dal nostro modello di valutazione AI in modo da fornire voti affidabili, coerenti e oggettivi. Anche se non è necessario ritoccare le vostre rubriche, renderle il più chiare possibile aiuta la nostra IA a produrre voti più affidabili.

Creating a Rubric

Le rubriche sono una raccolta di criteri. Ad esempio, la vostra rubrica potrebbe essere "Saggio di storia sulla Seconda guerra mondiale", che include l'elenco dei criteri che userete per valutare il vostro saggio di storia. Quando si crea una rubrica, aggiungere un nome e una breve descrizione (solo per riferimento).

Quindi, aggiungete i vostri criteri caricando una rubrica esistente in forma di foglio di calcolo (analizzeremo il file per determinare i criteri), oppure scegliendo i criteri individualmente. Se caricate una griglia, verificate che sia stata analizzata correttamente premendo il pulsante "modifica" per ogni criterio, per vederne i dettagli.

Add Assignments(s)

È possibile valutare un singolo compito o un gruppo di compiti. Un singolo compito viene valutato in tempo reale, mentre un gruppo di compiti viene valutato uno alla volta alla frequenza di un compito ogni 2-5 minuti, a seconda del carico del sistema. In questo modo si garantisce che ogni compito venga valutato correttamente.

Uploading Student Assignments

Quando si caricano i compiti degli studenti, assicurarsi che il titolo sia la prima riga del file e che il contenuto (idealmente senza riferimenti) sia su una nuova riga dopo il titolo. Il nome del file sarà il nome del file di valutazione. Si consiglia di usare un identificativo dello studente, come un ID come "stu1083723", invece del nome personale dello studente.

Review Grades

Il voto finale è calcolato su una scala standard A-F: A corrisponde al 90-100%, B all'80-89%, C al 70-79%, D al 60-69% e F al 59% o meno. Il voto totale è calcolato come media uniforme dei voti dei criteri, o in base alla specifica rubrica (se applicabile).

Se lo desiderate, potete modificare i voti finali (la funzionalità di modifica verrà rilasciata all'inizio di settembre), scaricare il voto o l'intera serie di voti nella vista di presentazione Bulk.

Disclaimer: le immagini qui sopra potrebbero essere obsolete, poiché l'interfaccia utente di Smodin è soggetta a continui miglioramenti.