Grafik: Ein Datensatz mit Aufsätzen wurde von professionellen Bewertern auf einer Skala von 1 bis 10 bewertet und mit den detaillierten Kriterien in der Rubrik verglichen, um ihre tatsächlichen Ergebnisse zu ermitteln. Die Abweichung wurde durch die Abweichung der Ergebnisse vom tatsächlichen Ergebnis definiert. Die Grafik enthält eine Gesamtpunktzahl (den Durchschnitt aller Kriterien) sowie jedes einzelne Kriterium. Bei den Kriterien handelt es sich um die vorgefertigten Kriterien, die im AI Grader von Smodin verfügbar sind und im Diagramm als Spaltenüberschriften aufgeführt sind. Die benutzerdefinierten Rubriken wurden mit dem benutzerdefinierten Kriteriengenerator AI Grader von Smodin erstellt, um alle in den vorgefertigten Kriterien von Smodin aufgeführten Kriterien zu erstellen (dieselben Kriterien wie die Spaltenüberschriften). Die Gesamtpunktzahl für die vorgefertigten Smodin-Rubriken entsprach in 73 % der Fälle der menschlichen Bewertung mit unserer fortschrittlichen KI, während die von Smodins benutzerdefiniertem Rubrikengenerator generierten benutzerdefinierten Rubriken mit unserer fortschrittlichen KI in 82 % der Fälle den menschlichen Bewertungen entsprachen. Die durchschnittliche Abweichung von den tatsächlichen Werten für alle Kriterien ist oben dargestellt.

*Mit den benutzerdefinierten KI-Kriterien von Smodin erstellte Rubriken entsprachen in der erweiterten KI-Einstellung in 82 % der Fälle den menschlichen Bewertungen. Smodins vorgefertigte Kriterien stimmten in 73 % der Fälle mit menschlichen Bewertungen überein. Wenn sich der KI-Wert vom menschlichen Wert unterschied, unterschied sich der Wert in 86 % der Fälle nur um 1 Punkt auf einer 10-Punkte-Skala.

**Der KI-Bewerter bietet 100 % Konsistenz, was bedeutet, dass derselbe Aufsatz bei jeder Bewertung die gleiche Punktzahl erzielt. Alle in den Daten verwendeten Noten wurden dreimal wiederholt und ergaben bei allen drei Bewertungsversuchen eine 100-prozentige Konsistenz.