Γράφημα: Ένα σύνολο δεδομένων δοκιμίων βαθμολογήθηκε από επαγγελματίες βαθμολογητές σε ένα εύρος από 1-10 και διασταυρώθηκε με τα λεπτομερή κριτήρια εντός της ρουμπρίκας για τον προσδιορισμό της πραγματικής βαθμολογίας τους. Η απόκλιση ορίστηκε από τη διακύμανση των βαθμολογιών από την πραγματική βαθμολογία. Το γράφημα περιέχει μια συνολική βαθμολογία (ο μέσος όρος όλων των κριτηρίων) καθώς και κάθε μεμονωμένο κριτήριο. Τα κριτήρια είναι τα προκατασκευασμένα κριτήρια που είναι διαθέσιμα στο AI Grader του Smodin, που αναφέρονται στο γράφημα ως επικεφαλίδες στηλών. Οι προσαρμοσμένες ρουμπρίκες δημιουργήθηκαν χρησιμοποιώντας τη γεννήτρια προσαρμοσμένων κριτηρίων AI Grader του Smodin για την παραγωγή κάθε κριτηρίου που αναφέρεται στα προκατασκευασμένα κριτήρια του Smodin (τα ίδια κριτήρια με τις επικεφαλίδες στηλών). Η συνολική βαθμολογία για το Smodin Premade Rubrics ταίριαζε με τις ανθρώπινες βαθμολογίες στο 73% των περιπτώσεων με το προηγμένο AI μας, ενώ οι προσαρμοσμένες ρουμπρίκες που δημιουργήθηκαν από τη δημιουργία προσαρμοσμένων ρουμπρικών του Smodin ταίριαζαν με τους ανθρώπινους βαθμούς το 82% των περιπτώσεων με το προηγμένο AI μας. Η μέση απόκλιση από τις πραγματικές βαθμολογίες για όλα τα κριτήρια φαίνεται παραπάνω.

*Οι ρουμπρίκες που δημιουργήθηκαν με βάση τα προσαρμοσμένα κριτήρια τεχνητής νοημοσύνης του Smodin αντιστοιχούσαν σε ανθρώπινες βαθμολογίες κατά 82% των περιπτώσεων στη ρύθμιση προηγμένης τεχνητής νοημοσύνης. Τα προκατασκευασμένα κριτήρια του Smodin ταίριαζαν με τις ανθρώπινες βαθμολογίες στο 73% των περιπτώσεων. Όταν η βαθμολογία τεχνητής νοημοσύνης διέφερε από τη βαθμολογία του ανθρώπου, το 86% των φορών η βαθμολογία διέφερε μόνο κατά 1 βαθμό σε μια κλίμακα 10 βαθμών.

**Ο βαθμολογητής AI παρέχει 100% συνέπεια, που σημαίνει ότι το ίδιο δοκίμιο θα παράγει την ίδια βαθμολογία κάθε φορά που βαθμολογείται. Όλοι οι βαθμοί που χρησιμοποιήθηκαν στα δεδομένα επαναλήφθηκαν 3 φορές και παρήγαγαν 100% συνέπεια και στις 3 προσπάθειες βαθμολόγησης.