Opdrachten beoordelen met AI

Smodin is de toonaangevende AI Grader ter wereld en heeft honderdduizenden opdrachten beoordeeld. AI-cijferaars worden langzaam maar zeker de nieuwe standaard in het onderwijs: Ze geven onbevooroordeelde feedback en gedetailleerde informatie over elk aspect van een opdracht, bieden een consistente beoordelingsschaal en ontlasten docenten, zodat zij zich kunnen concentreren op het lesgeven. Hier gaan we kijken hoe Smodin's AI Grader gebruikt kan worden om één opdracht of een hele klas te beoordelen.

31 aug 2023 - 5 min gelezen

Kies eerst een Grade Type

Kies uit een lijst met verschillende opdrachttypes om te beoordelen. Vanaf augustus zijn er alleen nog maar opstelopdrachten beschikbaar, die ook gebruikt kunnen worden voor verschillende open schrijfopdrachten. In september bieden we ook een sorteerder voor wetenschapsvragen en een sorteerder voor korte antwoorden aan. Meer opdrachttypes zullen periodiek worden toegevoegd in de loop van 2023.

Info over opdracht toevoegen

Kies informatie over de klas en de opdracht, zoals het niveau, de AI-instellingen, het type opdracht en andere relevante informatie.

Welke AI-instelling moet ik gebruiken?

Standaard AI produceert feedback van hoge kwaliteit, maar als je het resultaat van AI Grader wilt gebruiken voor de uiteindelijke academische prestaties, moet je de geavanceerde instellingen gebruiken. Alleen onze geavanceerde AI-instellingen zijn in staat geweest om 82% nauwkeurigheid te bereiken ten opzichte van menselijke resultaten, produceren feedback van de hoogste kwaliteit en het is onwaarschijnlijk dat opdrachten verkeerd worden beoordeeld.

Kies beoordelingscriteria of upload je eigen criteria

Om het beoordelingsproces te standaardiseren, moet een rubric gebruikt worden om objectieve criteria te hebben waarop een cijferbeoordeling gebaseerd wordt. Een cijferlijst is een verzameling criteria die elk een cijfer opleveren, bijvoorbeeld "kritisch denken", "analytisch denken", "organisatie", "grammatica", enz. Bij het kiezen van beoordelingscriteria kun je kiezen uit onze vooraf gemaakte criteria, je eigen criteria maken of de criteria die je al gebruikt uploaden.

Je criteria kiezen

Vooraf opgestelde criteria

Vooraf opgestelde criteria zijn criteria die algemeen aanvaard worden in verschillende academische disciplines om het cijfer voor een opdracht van een student te evalueren. Deze zijn gegenereerd door strenge tests van onze menselijke cijfers over honderden testruns van opdrachten. Deze produceren betrouwbare en consistente cijfers voor de respectieve meeteenheden.

Aangepaste criteria maken

Aangepaste criteria zijn criteria die je beslist te gebruiken voor de evaluatie van cijfers binnen een opgegeven bereik (de standaardwaarde is 1-10). Aangepaste criteria kunnen gegenereerd worden op basis van een eenvoudige beschrijving of op basis van een bestaande rubriek. Een voorbeeldinvoer voor het maken van aangepaste criteria met de naam "Kritisch denken" zou kunnen zijn: "Kritisch denken wordt gedefinieerd als hoe effectief de onderwerpen, concepten en ideeën in het essay logisch met elkaar verbonden zijn, en hoe goed het argumenten biedt voor en tegen elk van hen.". Dit zou aan onze kant een beoordelingscijfer van 1-10 opleveren.

Je mag ook bestaande beoordelingsschema's gebruiken. Als je een bestaand beoordelingsschema opgeeft (voor elk bereik onder de 10), dan passen wij dat schema aan zodat het gebruikt kan worden door ons AI-cijfermodel op een manier die betrouwbare, consistente en objectieve cijfers oplevert. Hoewel het niet nodig is om je beoordelingsschema's aan te passen, helpt het onze AI om de meest betrouwbare cijfers te geven als je je beoordelingsschema zo duidelijk mogelijk maakt.

Een beoordelingskader maken

Rubrics zijn een verzameling criteria. Je rubriek kan bijvoorbeeld "Geschiedenis opstel over WO2" zijn, met daarin de lijst met criteria die je gebruikt om je geschiedenis opstel te beoordelen. Als je een rubriek maakt, voeg dan een naam en een korte beschrijving toe (alleen als referentie).

Voeg vervolgens je criteria toe door een bestaande rubriek in spreadsheetvorm te uploaden (we zullen het bestand ontleden om de criteria te bepalen), of door criteria individueel te kiezen. Als je een werkblad uploadt, controleer dan of het correct is verwerkt door op de knop "bewerken" te klikken voor elk criterium om de details te zien.

Opdrachten toevoegen

Je kunt één opdracht beoordelen of een groep opdrachten. Een enkele opdracht wordt in realtime beoordeeld, maar een groep opdrachten wordt één voor één beoordeeld met een snelheid van één opdracht per 2-5 minuten, afhankelijk van de systeembelasting. Dit zorgt ervoor dat elke opdracht met succes beoordeeld wordt.

Studentenopdrachten uploaden

Wanneer je opdrachten van leerlingen uploadt, zorg er dan voor dat de titel op de eerste regel van het bestand staat en de inhoud (idealiter zonder verwijzingen) op een nieuwe regel na de titel. De bestandsnaam is de naam van het cijferbestand. Het is aanbevolen om een leerlingidentificatie te gebruiken, zoals een ID zoals "stu1083723" in plaats van de persoonlijke naam van de leerling.

Beoordelingscijfers

Het eindcijfer wordt berekend op een standaard A-F schaal waarbij A staat voor 90-100%, B voor 80-89%, C voor 70-79%, D voor 60-69% en F voor 59% en lager. Het totaalcijfer wordt berekend als een even gemiddelde van de criteria, of volgens de specifieke rubriek (indien van toepassing).

Je kunt de eindcijfers bewerken als je dat wilt (deze bewerk-functionaliteit wordt begin september vrijgegeven), het cijfer downloaden of de hele reeks cijfers downloaden in de Bulk-inleverweergave.

Disclaimer: De bovenstaande afbeeldingen kunnen verouderd zijn, omdat de gebruikersinterface van Smodin voortdurend wordt verbeterd.