JudgmentBench: рубрики против попарных оценок

Работа: JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment сравнивает два способа экспертной оценки юридических ответов: баллы по рубрике и попарный выбор лучшего из двух. Набор включает 30 реальных задач, 1 539 оценок по рубрике и 1 530 попарных сравнений от практикующих американских адвокатов; одни и те же эксперты применяли оба протокола к одним материалам. Попарные сравнения восстановили заданный порядок качества с корреляцией Спирмена 0,908, рубрики дали 0,150, и попарная оценка заняла меньше половины времени. Ограничение: ответы были трех заранее заданных уровней качества, поэтому на близкие модели результат переносить нельзя. Для рейтинга Lexometrica это довод дополнить абсолютные оценки IRAC слепыми попарными сравнениями по спорным критериям.