Place Matters: галлюцинации по юрисдикциям

Работа: Place Matters: Comparing LLM Hallucination Rates for Place-Based Legal Queries проверяет, зависит ли доля галлюцинаций от места. Авторы взяли сценарии из обращений по семейному, жилищному, трудовому и уголовно-дорожному праву, локализовали их для Лос-Анджелеса, Лондона и Сиднея и отдали ответы моделей юристам на разметку. Средняя доля галлюцинаций составила 0,45 для Лос-Анджелеса, 0,55 для Лондона и 0,61 для Сиднея; по отраслям выше всего в жилищном праве, 0,649, ниже всего в трудовом, 0,440. Согласованность ответов при повторной генерации отрицательно коррелировала с долей галлюцинаций. Причин различий авторы не устанавливают. Для Lexometrica это довод публиковать показатели по юрисдикциям и отраслям отдельно: общий балл скрывает разрыв между хорошо и слабо представленными нормами.