PARCEL: проверка утверждения по источнику

В работе: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection представлен бенчмарк PARCEL для проверки, подтверждается ли юридическое утверждение цитируемым источником. Авторы собрали 3396 утверждений в формате parenthetical по недавним решениям Апелляционного суда штата Нью-Йорк с метками «подтверждено», «опровергнуто», «не найдено» и проверили современные языковые модели в режиме zero-shot как задачу трехклассового вывода. Лучшие модели достигают точности 0,97, но при этом помечают неподтвержденные утверждения как подтвержденные даже при полном тексте решения. Отсутствие подтверждения модели находят хуже, чем прямое противоречие, а сильнее всего точность падает на вымышленных, но правдоподобных ссылках. Бенчмарк дает способ измерять обоснованность ответов юридических систем RAG на уровне отдельного утверждения.