图：专业评分者对论文数据集进行评分，评分范围为 1-10，并与评分细则中的详细标准进行交叉引用，以确定其真实分数。偏差是通过分数与真实分数的差异来定义的。该图包含总分（所有标准的平均值）以及每个单独的标准。这些标准是 Smodin 的 AI Grader 上可用的预制标准，在图表中作为列标题列出。自定义评分标准是使用 Smodin 的 AI Grader 自定义标准生成器制作的，以生成 Smodin 预制标准中列出的每个标准（与列标题相同的标准）。 Smodin 预制评分标准的总体分数与我们的高级人工智能在 73% 的情况下匹配人类分数，而由 Smodin 的自定义评分标准生成器生成的自定义评分标准在 82% 的情况下与我们的高级人工智能匹配人类评分。上面显示了所有标准与真实分数的平均偏差。

*在高级 AI 设置中，使用 Smodin 的 AI 自定义标准创建的评分标准在 82% 的情况下与人类得分相匹配。斯莫丁的预先制定的标准在 73% 的情况下与人类分数相匹配。当人工智能分数与人类分数不同时，86% 的情况下，按照 10 分制计算，分数仅相差 1 分。

**AI 评分器提供 100% 的一致性，这意味着同一篇文章每次评分都会产生相同的分数。数据中使用的所有评分均重复 3 次，并在所有 3 次评分尝试中产生 100% 的一致性。