Бенчмарк поиска прецедентов для правового анализа

Работа: A Reasoning-Focused Legal Retrieval Benchmark, авторы Lucia Zheng, Neel Guha и соавторы из Stanford, строит бенчмарк поиска по американской судебной практике. В отличие от наборов, где нужно найти документ по сходству с запросом, задания требуют определить источники, необходимые для юридического анализа, и затем сформировать обоснованный ответ. Главный вклад в методике: поиск и генерация анализа оцениваются раздельно, поэтому видно, не нашла ли система определяющий прецедент, выбрала не то дело или неверно применила найденное. Ограничения: право США, английский язык и структура американских ссылок. Для Lexometrica подход переносим на российские дела: отдельно оценивать поиск применимой нормы, поиск практики и соответствие вывода найденным источникам.