Прогноз решения по взглядам судьи на право

Авторы проверяют, умеют ли языковые модели работать с правовой философией судьи - его взглядами на природу и источники права, из-за которых судьи, опираясь на одни и те же нормы и прецеденты, приходят к разным решениям. Для этого собран набор LePhilBench: 489 дел Верховного суда США с декабря 2005 по июнь 2025 года, в каждом одно мнение суда и одно особое мнение с противоположными ответами на ключевой вопрос дела. Вместе с профессором конституционного права авторы составили 14 измерений правовой позиции, каждое - пара противоположных взглядов, например естественное право против правового позитивизма или консервативный и либеральный взгляд на роль государства. Тестовую часть, 110 дел и 220 мнений, три аннотатора с юридической подготовкой разметили по всем 14 вопросам, всего 9240 меток; согласие между ними умеренное, каппа Флейса 0,474.

Задач две. В первой модель читает мнение и сама отвечает на 14 вопросов, ее ответы сравниваются с разметкой людей. Во второй модель получает факты дела, ключевой вопрос и профиль судьи, собранный по его прошлым мнениям, но не имя судьи и не сторону, которую он занял, и предсказывает его ответ, да или нет. Поскольку мнение суда и особое мнение отвечают на вопрос противоположно, без профиля точность по построению равна 50%, и прирост над этим уровнем показывает вклад правовой позиции. Проверены десять моделей семейств GPT-5.6, Claude 5, Qwen3.7, Gemini 3.7 и Muse Spark, каждый опыт повторен трижды.

В первой задаче модели ошибаются там же, где расходятся люди: на пяти измерениях с наибольшим согласием аннотаторов (76,4-81,2%) у моделей тоже наибольшее согласие с людьми (75,3-78,9%), а на двух самых спорных - наименьшее. Чаще всего модель отвечает «неясно» там, где человек выбирает сторону. Во второй задаче без профиля модели в 90,88% случаев называют ответ, совпадающий с мнением суда. Профиль снижает точность на мнениях суда на 7,94 процентного пункта, но повышает на особых мнениях на 31,42, и общая точность растет у каждой модели, в среднем на 11,74 пункта. Лучший из четырех способов свести прошлые мнения в профиль - больший вес недавним мнениям. Если убрать из профиля измерение, ближе всего стоящее к политической идеологии, прирост остается 10,14 пункта.

Ограничения авторы называют сами: разметка покрывает только 110 дел, на одно дело у аннотатора уходит больше часа; измерения построены по американской правовой философии и для континентального права их придется пересматривать; не исключено, что модели знают эти дела из обучающих данных. Набор обещают опубликовать после принятия статьи. Для аналитики судов работа показывает способ описывать судью явным профилем правовых взглядов вместо имени и отдельно измерять, сколько прогноз получает от этого профиля, а сколько от памяти модели о делах.