LegalRewardBench: оценка reward-моделей в праве

Reward-модель сравнивает два ответа языковой модели и выбирает лучший; по её сигналу модель дообучают. Авторы собрали бенчмарк таких оценщиков для права: 1331 пара ответов на запросы по праву Китая, 41 тип задач на пяти уровнях — знание норм, понимание текста, анализ, решение и составление документов. Ответы сгенерировали около 30 моделей размером от 3 млрд до 1 трлн параметров. Юристы составили рубрики по эталонным ответам, автоматическая оценка отобрала пары с заметным разрывом в баллах, затем пять магистрантов-юристов проверили каждую пару: 560 человеко-часов, согласие разметчиков около 80%.

Первое место у Claude-Opus-4.7: 86,9% верно выбранных ответов. Специально обученные reward-модели набрали от 62 до 78%, юридическая модель LegalOne-8B — 74,7%, на уровне универсальных моделей своего размера. Хуже всего оценщики справляются с пониманием длинных текстов и составлением документов. Эталонный ответ во входных данных поднимает точность на 3–8 пунктов, а рубрики, которые модель пишет себе сама, устойчивого прироста не дают. Собственная reward-модель авторов, обученная на 39 тыс. пар, прибавила к Qwen3-8B 3,3 пункта; добавление эталона к той же модели без обучения — 6,6.

Места в рейтинге совпали с пользой на практике: при отборе лучшего из четырёх ответов на LawBench и LexEval порядок десяти оценщиков почти повторил бенчмарк (корреляция Спирмена 0,98). Для автоматической проверки юридических ответов отсюда следует, что эталон и проверенные юристами критерии дают больше, чем дообучение отдельного оценщика. Данные ограничены правом Китая, перенос на другие правовые системы авторы не проверяли.