Система предсказательной аналитики.

В работе: Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness авторы исследуют зависимость судебных решений больших языковых моделей от указанных ими правовых норм. Исследование проводилось путем подмены юридических источников при неизменных фактах дела и анализа скрытых состояний семи моделей разного масштаба. Было обнаружено, что модели часто называют верные нормы, однако итоговые вердикты не меняются при замене этих норм в значительной части случаев. Это означает, что наличие ссылки на закон не гарантирует логическую связь между нормой и решением, поэтому сгенерированное обоснование нельзя использовать как аудиторский след без отдельной проверки зависимости вердикта от нормы.

В работе исследуется адаптация агентов к длинным юридическим процессам во время использования, без обновления параметров модели. Предложены два механизма: эволюция памяти, которая извлекает опыт из предыдущих дел, подстраивает его под фактический и процедурный контекст текущего дела и накапливает для следующих решений, и согласование по рубрикам, которое проверяет и исправляет действия каждой роли по поведенческим и процедурным требованиям, связывая роли и стадии процесса. Эксперименты на наборах J1-EVAL и LegalWorld с пятью базовыми моделями показали прирост относительно reasoning-подходов и агентных бейзлайнов при умеренных затратах на взаимодействие и вычисления. Абляции показывают, что два механизма дополняют друг друга: один отвечает за перенос опыта, другой за координацию ролей.

В работе: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection представлен бенчмарк PARCEL для проверки, подтверждается ли юридическое утверждение цитируемым источником. Авторы собрали 3396 утверждений в формате parenthetical по недавним решениям Апелляционного суда штата Нью-Йорк с метками «подтверждено», «опровергнуто», «не найдено» и проверили современные языковые модели в режиме zero-shot как задачу трехклассового вывода. Лучшие модели достигают точности 0,97, но при этом помечают неподтвержденные утверждения как подтвержденные даже при полном тексте решения. Отсутствие подтверждения модели находят хуже, чем прямое противоречие, а сильнее всего точность падает на вымышленных, но правдоподобных ссылках. Бенчмарк дает способ измерять обоснованность ответов юридических систем RAG на уровне отдельного утверждения.