Graf: Podatkovni niz esejev so ocenili profesionalni ocenjevalci v razponu od 1 do 10 in jih navzkrižno primerjali s podrobnimi merili znotraj rubrike, da bi določili njihove dejanske rezultate. Odstopanje je bilo definirano z odstopanjem rezultatov od realnega rezultata. Graf vsebuje skupno oceno (povprečje vseh kriterijev) in vsak posamezen kriterij. Merila so vnaprej pripravljena merila, ki so na voljo v Smodinovem AI Graderju in so navedena v grafu kot naslovi stolpcev. Rubrike po meri so bile ustvarjene z uporabo Smodinovega generatorja kriterijev po meri AI Grader za izdelavo vsakega kriterija, navedenega v Smodinovih predhodno izdelanih kriterijih (isti kriteriji kot naslovi stolpcev). Skupni rezultat za Smodin Premade Rubrics se je z našo napredno umetno inteligenco v 73 % primerov ujemal s človeškimi ocenami, medtem ko so se rubrike po meri, ki jih ustvari Smodinov generator rubrik po meri, z našo napredno umetno inteligenco v 82 % primerov ujemale s človeškimi ocenami. Zgoraj je prikazano povprečno odstopanje od realnih ocen za vse kriterije.

*Rubrike, ustvarjene s Smodinovim merilom umetne inteligence po meri, so se v 82 % primerov ujemale s človeškimi rezultati pri napredni nastavitvi umetne inteligence. Smodinova predhodno izdelana merila so se 73 % časa ujemala s človeškimi rezultati. Ko se je rezultat AI razlikoval od rezultatov pri ljudeh, se je rezultat v 86 % primerov razlikoval le za 1 točko na 10-točkovni lestvici.

**Ocenjevalnik z umetno inteligenco zagotavlja 100-odstotno doslednost, kar pomeni, da bo isti esej dal enako oceno vsakič, ko bo ocenjen. Vse ocene, uporabljene v podatkih, so bile ponovljene 3-krat in ustvarile 100-odstotno doslednost v vseh 3 poskusih ocenjevanja.