BenGER: бенчмарк субсумции в немецком праве

Работа: BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law проверяет модели на немецкой методике субсумции: норма раскладывается на элементы, факты последовательно подводятся под каждый, затем формулируется вывод. Набор содержит 596 экзаменационных казусов разных ступеней юридического образования и 531 доктринальную задачу; сравнивались 12 систем, включая закрытые флагманы и открытые модели. Оценка моделью-судьей совпала с человеческой панелью с корреляцией 0,96 на выборке из 30 работ. Авторы отмечают небольшой объем проверки людьми и специфику немецкого юридического образования. Для Lexometrica это ближайший аналог протокола Rule и Application в континентальном праве: проверять каждый элемент состава и явное соответствие фактов элементам, а не только итоговый вывод.