Hallucination-Free?: доля галлюцинаций legal RAG

Работа: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, опубликованная в Journal of Empirical Legal Studies, проверяет три коммерческих инструмента юридического поиска: Lexis+ AI, Westlaw AI-Assisted Research и Ask Practical Law AI. Исследование было предварительно зарегистрировано; авторы составили юридические запросы, проверяли утверждения и ссылки и разделяли галлюцинацию, фактическую ошибку и содержательный ответ. Несмотря на RAG и доступ к базам, системы галлюцинировали в 17-33% ответов. Это ниже, чем у GPT-4 общего назначения, но не подтверждает заявления поставщиков о надежности. Отдельный вывод: отказ или уклончивый ответ снижает долю галлюцинаций, не делая продукт полезнее. Для рейтинга Lexometrica это основание считать точность ссылок, точность содержания и долю ответов разными показателями.