Названная норма не меняет вердикт LLM

В работе: Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness авторы исследуют зависимость судебных решений больших языковых моделей от указанных ими правовых норм. Исследование проводилось путем подмены юридических источников при неизменных фактах дела и анализа скрытых состояний семи моделей разного масштаба. Было обнаружено, что модели часто называют верные нормы, однако итоговые вердикты не меняются при замене этих норм в значительной части случаев. Это означает, что наличие ссылки на закон не гарантирует логическую связь между нормой и решением, поэтому сгенерированное обоснование нельзя использовать как аудиторский след без отдельной проверки зависимости вердикта от нормы.